一、培训简介
微调、蒸馏垂域专属大模型实战培训，紧扣国家“十五五”规划人工智能+行动、发展新质生产力、数实深度融合核心战略要求，聚焦全国一体化算力网建设、行业AI规模化落地、轻量化可控部署产业刚需，破解通用大模型行业适配弱、算力成本高、落地门槛高、可控性不足等产业痛点。课程采用“理论筑基+全流程实战”模式，贴合十五五AI产业差异化、场景化、轻量化发展导向，系统覆盖垂域大模型预训练（PT）、监督微调（SFT）、主流对齐技术（RLHF/DPO/GRPO）、模型蒸馏四大核心技术体系，精准匹配千行百业智能化升级落地需求。
课程深度对标十五五人工智能产业高质量发展要求，摒弃纯理论教学，立足产业自主可控、降本增效、规模化落地核心目标，结合各行业智能化升级真实案例，详解垂域大模型合规数据治理、算力资源适配、定制化调优、轻量化蒸馏、工程部署全流程实操方案，解决模型精度损耗、收敛异常、场景适配差、算力成本高昂等落地难题。通过本次培训，学员可掌握符合国家产业导向的垂域大模型全链路研发与落地能力，可独立完成行业专属轻量化大模型定制迭代与规模化部署，助力企业抢抓十五五AI产业发展机遇，赋能实体经济数字化、智能化转型升级，培育产业新质生产力。
二、培训要点
1. 价值定位：明确通用大模型的行业落地短板，厘清垂域大模型适配行业场景、解决专属痛点的核心价值，确认微调、蒸馏技术落地的必要性与性价比。
2. 技术体系：拆解大模型预训练、微调、蒸馏、对齐全生命周期链路，区分基础模型、垂域模型、轻量化模型层级关系，掌握行业落地算力、数据、算法三大核心门槛与技术选型逻辑。
3. 核心技术原理：掌握垂域二次预训练（PT）的数据筛选、参数更新与优化方法；精通垂域场景SFT监督微调的数据集构建、超参数配置与问题优化；对比RLHF、DPO、GRPO三类对齐技术的原理、优势与垂域选型场景；理解模型蒸馏轻量化、降本提速的核心逻辑，掌握师生模型适配与精度损耗规避方案。
4. 数据与环境：完成实战软硬件环境搭建，掌握垂域行业数据合规采集、清洗脱敏、格式适配、数据集定制化制作全流程技巧。
5. 全链路实操：落地垂域PT二次预训练、SFT指令微调、DPO偏好对齐、模型蒸馏四大核心实操，涵盖模型加载、参数配置、脚本调试、算力适配、断点续训、训练监控与异常排查。
6. 优化与落地：掌握单/多轮对话微调差异化配置、DPO正负样本筛选、蒸馏模型架构适配技巧；完成全链路模型整合测评，复盘常见问题，总结各行业定制化训练方案与轻量化模型部署最佳实践，明确模型进阶优化方向。
三、证书
课程结束，颁发中科院计算所培训中心“微调、蒸馏垂域专属大模型实战”结业证书。
培训对象
- 各行业数字化转型技术负责人、AI项目落地实施与运维人员；
- 企业AI算法工程师、大模型研发工程师、深度学习工程师、数据工程师；
- 从事人工智能、大模型应用落地、自然语言处理（NLP）相关技术研发的从业人员；
- 需要定制行业专属大模型、优化模型落地效果、降低模型部署成本的技术团队；
- 高校及科研机构人工智能、大数据、计算机相关专业的研究人员与进阶学习者；
- 对垂域大模型微调、蒸馏、轻量化部署技术有进阶学习需求的技术爱好者。
本课程无需学员具备顶尖算法功底，具备基础深度学习、Python编程常识即可参与，重点聚焦产业实战落地，兼顾理论理解与实操落地。
第1天：垂域大模型基础理论、核心原理与技术体系搭建
模块1：通用大模型痛点与垂域专属大模型价值解析
1. 通用大模型的能力边界与行业落地短板
2. 垂域场景大模型落地的核心诉求与痛点问题
3. 行业专属大模型相较于通用模型的核心优势
4. 各主流行业大模型落地应用通用案例解析
5. 垂域大模型微调与蒸馏的落地必要性与性价比分析
模块2：大模型完整训练链路整体架构概述
1. 大模型从预训练到落地的全生命周期流程拆解
2. 基础大模型、垂域模型、轻量化模型的层级关系
3. 大模型训练、微调、蒸馏的技术定位与区别
4. 垂域大模型项目落地的技术选型逻辑
5. 行业大模型部署的算力、数据、算法核心门槛
模块3：大模型预训练PT核心原理与底层逻辑
1. 大模型预训练（PT）的核心目标与训练范式
2. 通用预训练与垂域二次预训练的差异对比
3. PT训练的损失函数与模型参数更新机制
4. 垂域PT训练的数据筛选与清洗核心标准
5. 行业二次预训练的效果瓶颈与优化方向
模块4：大模型监督微调SFT核心原理与适配逻辑
1. SFT监督微调的核心作用与落地场景
2. 通用SFT与垂域场景SFT的适配差异
3. SFT高质量指令数据集构建核心规范
4. SFT训练的超参数设置与模型收敛逻辑
5. 行业SFT微调常见问题与基础优化方案
模块5：大模型对齐技术RLHF/DPO/GRPO核心原理
1. 大模型对齐技术的核心价值与应用意义
2. 传统RLHF基于人类反馈的对齐原理拆解
3. DPO直接偏好优化的技术优势与底层逻辑
4. GRPO广义偏好优化的迭代机制与适配场景
5. 三种对齐技术在垂域模型中的选型对比
模块6：大模型模型蒸馏核心原理与轻量化逻辑
1. 大模型蒸馏的核心目的：降本、提速、轻量化
2. 师生模型架构的匹配逻辑与选型标准
3. 知识蒸馏的核心损失函数与知识传递机制
4. 垂域大模型蒸馏的特殊适配要求
5. 模型蒸馏后精度损耗的核心规避方案
第2天：垂域大模型微调、蒸馏全流程实战落地
模块1：垂域大模型实战环境搭建与数据预处理
1. 微调与蒸馏实战硬件、软件环境配置
2. 垂域行业原始数据采集与合规处理规范
3. 训练数据清洗、去重、脱敏实战操作
4. 数据集划分、格式转换与适配模型预处理
5. 行业专属高质量数据集制作实战技巧
模块2：垂域大模型PT二次预训练实战演练
1. 基础开源大模型权重加载与环境适配
2. 垂域PT预训练任务配置与参数初始化
3. 批量训练脚本调试与算力资源配置
4. PT训练过程监控、日志分析与异常排查
5. 二次预训练模型效果评估与迭代优化
模块3：垂域大模型SFT监督微调全流程实战
1. 垂域指令微调数据集定制化构建实战
2. SFT微调核心超参数调优实战操作
3. 单轮、多轮对话SFT微调差异化配置
4. SFT模型训练、断点续训实战操作
5. 微调模型能力测评与垂域适配优化
模块4：垂域大模型DPO偏好对齐实战落地
1. 垂域偏好数据集构建与正负样本筛选
2. DPO训练框架部署与模型参数配置
3. DPO训练超参数调优与收敛控制
4. DPO对齐后模型问答效果优化调试
5. DPO与传统RLHF落地效果对比实测
模块5：垂域大模型蒸馏轻量化实战操作
1. 师生模型组合选型与架构适配配置
2. 垂域专属蒸馏数据集构建与预处理
3. 模型蒸馏训练脚本开发与实战运行
4. 蒸馏模型精度、速度、性能综合测评
5. 轻量化垂域模型迭代优化实战技巧
模块6：模型整合测评、问题复盘与行业落地总结
1. PT+SFT+DPO+蒸馏全链路模型整合测试
2. 垂域模型微调蒸馏常见故障复盘排查
3. 不同行业大模型定制化训练方案总结
4. 轻量化垂域模型部署落地最佳实践
5. 垂域大模型优化方向与进阶技术展望
汇款、微信转账
汇款信息：
单位名称：北京市海淀区中科院计算所职业技能培训学校
开户行：工行海淀西区支行
账号：0200 0045 1920 0043 667
开户银行代码：1021 0000 0458
微信转账：
步骤一：打开微信，扫描二微码付款时，点击打开微信右下角里的“发现”，在列表界面有一个“扫一扫”选项，点击打开“扫一扫”（如下图）：
步骤二：点击打开“扫一扫”后，会出现一个扫描框，将中科院计算所培训中心二维码/条码放入框内，即可自动扫描，并显示支付信息，输入付款金额。
（中科院计算所培训中心二维码）
步骤三：点击 “添加付款备注”，填写付款人姓名和单位全称，所有信息核对无误后，点击“确认付款”，完成支付。
