一、培训简介
为响应国务院《关于深入实施“人工智能+”行动的意见》中“推动人工智能与实体经济深度融合、降低企业AI应用门槛、培育场景化AI解决方案”的核心要求，结合国家及地方层面持续出台人工智能产业扶持政策，明确将垂域大模型研发与落地列为 AI 产业高质量发展的核心方向，鼓励企业突破通用大模型适配行业场景的技术瓶颈，同时要求兼顾模型部署的合规性与成本可控性。在此背景下，通用大模型 “水土不服”、部署成本高、行业知识适配性弱等问题，已成为金融、医疗等领域企业 AI 转型的核心阻碍。
本培训聚焦企业级AI落地痛点之一，垂域专属大模型的微调与蒸馏核心技术，依托最新的技术框架，设置全流程实战课程。深度拆解 “PT（预训练）→SFT（监督指令微调）→DPO（偏好优化）” 完整微调链路，覆盖参数高效微调（PEFT）、QLoRA 量化微调等核心技术；专攻大模型压缩技术，包含量化、剪枝、蒸馏三大轻量化方案，并落地垂直领域 “微调 + 压缩” 全流程部署实操。课程融合政策导向与企业实际需求，通过 “理论讲解 + 实操演示” 的双轨模式，助力学员掌握垂域大模型从技术选型到端侧落地的全栈能力。
培训为学员提供专属算力平台支持，支撑学员的实战环节。
二、培训要点
1、契合政策导向，把握技术风口
帮助学员理解国家 AI 产业政策对垂域大模型的发展要求，掌握政策鼓励的参数高效微调、轻量化部署等核心技术，确保技术研发与产业政策方向同频，提升企业 AI 项目的政策适配性与申报竞争力。
2、攻克企业落地痛点，夯实技术能力
解决企业通用大模型适配行业场景的核心瓶颈，让学员熟练掌握垂域数据构建、低秩适配器配置、DPO 偏好对齐等关键技术，具备独立完成金融/医疗等等垂域大模型定制化微调的能力。
3、实现降本增效，推动端侧落地
针对企业大模型部署成本高、边缘设备适配难的需求，传授量化、剪枝、蒸馏等轻量化技术，让学员掌握 “微调 + 压缩” 的组合优化策略，实现垂域模型在移动端等边缘设备的高精度、高速度部署，降低企业 AI 技术落地的算力与运维成本。
4、构建全流程技术体系，赋能业务创新
帮助学员打通从数据预处理、模型微调、偏好对齐到轻量化部署的全链路技术闭环，能够结合所在行业业务需求，输出可落地的垂域大模型解决方案，助力企业实现 AI 技术与核心业务的深度融合。
三、证书
课程结束，颁发中科院计算所培训中心“微调、蒸馏垂域专属大模型实战”结业证书。
培训对象
1、企业 AI 技术研发人员
包括科技公司、行业解决方案厂商的算法工程师、模型训练工程师，以及负责大模型技术落地的研发人员，可通过课程提升垂域大模型微调与压缩的实战能力，解决技术落地中的具体问题。
2、传统行业垂域企业技术骨干
如金融机构的智能风控、投研技术团队，医疗机构的医疗 AI 产品研发、医学数据处理人员等等，此类人群可掌握行业专属大模型的定制方法，满足行业合规与业务场景的特殊需求。
3、AI 产品与解决方案从业者
企业 AI 产品经理、行业解决方案架构师，能够通过课程理解垂域大模型的技术逻辑与落地流程，更精准地对接业务需求与技术实现，输出符合企业实际的大模型解决方案。
4、科研机构与高校相关研究人员
从事大模型轻量化、行业适配方向研究的科研人员、高校师生，可学习前沿技术进展与实操方案，将技术成果转化为符合产业需求的落地应用，契合科研成果产业化的政策导向。
5、企业数字化转型负责人
负责企业 AI 战略规划与落地的技术负责人、数字化转型主管，可全面了解垂域大模型的技术路径与成本控制方案，为企业 AI 转型制定科学的技术选型与落地策略。
培训内容
|
天次 |
主题 |
知识点 |
授课方式 |
|
第01天 大模型微调全流程实战 |
1，大模型微调概述 |
1，大模型微调的产业价值与应用场景 ① 大模型落地的核心瓶颈：从万亿参数模型到行业定制的适配需求 ② 微调技术的演进：从全量微调到参数高效微调（PEFT）的主流转变 |
理论讲解 + 实操演示 |
|
2，微调技术体系与工具链 ① 微调三阶段技术框架：PT→SFT→DPO 的完整链路 ② 主流工具：Transformers、PEFT、TRL、LLaMA-Factory的环境搭建与配置 |
|||
|
3，实操准备：GPU 环境与数据集预处理 ① 单机 / 集群 GPU 环境适配（RTX 4090/A100） ② 开源数据集（Alpaca、ShareGPT）的清洗与格式化 |
|||
|
2，大模型微调第 1 阶段：预训练 PT |
1，预训练的核心目标与技术原理 ① 预训练的本质：通用知识的高效注入 ② 预训练优化方向：低秩分解 Dobi-SVD与混合精度训练 |
||
|
2，增量预训练的关键技术 ① 领域数据的构建与标注规范（金融 / 医疗领域案例） ② 参数高效预训练方案：LoRA 与 Dobi-SVD 的结合使用 |
|||
|
3，实操演练：基于 DeepSeek-R1 的领域增量预训练 ① 数据准备：构建垂直领域文本语料库 ② 模型配置：冻结主干网络 + 低秩适配器初始化 ③ 训练监控：loss 曲线分析与过拟合抑制 ④ 效果验证：领域知识问答准确率评估 |
|||
|
3，大模型微调第 2 阶段：监督指令微调 SFT |
1，SFT 的技术原理与最新方案 ① SFT 的核心逻辑：指令遵循能力的对齐 ② 主流算法对比：全量微调 vs LoRA vs QLoRA vs PortLLM |
||
|
2，指令数据集的构建与 ChatML 格式化 ① 指令模板设计：系统提示词 + 用户指令 + 助手回复的标准化 ② 数据增强：指令多样性生成与质量过滤 |
|||
|
3，实操演练：基于 QLoRA 的 Llama-3 SFT 实战 ① 模型量化：4-bit NormalFloat 量化与双重量化配置 ② 训练参数调优：学习率调度、批量大小与梯度累积 ③ 分页优化器（Paged Optimizer）的部署与显存监控 ④ 效果评估：MT-Bench 指令遵循能力测评 |
|||
|
4，大模型微调第 3 阶段：偏好优化 DPO |
1，偏好对齐技术演进：从 RLHF 到 DPO ① DPO 的核心优势：无奖励模型训练的高效对齐 ② DPO 衍生算法：多偏好 DPO、任务感知 DPO |
||
|
2，偏好数据集的构建：对比样本的标注逻辑 ① 赢 / 输样本对的生成标准与质量控制 ② 开源偏好数据集（UltraFeedback）的适配 |
|||
|
3，实操演练：DPO 偏好对齐与效果验证 ① DPO 训练框架搭建：TRL 库的 DPOConfig 配置 ② 训练过程：温度系数调整与对抗样本处理 ③ 对齐效果评估：人工评估 + 自动化偏好测评 |
|||
|
第02天 大模型压缩技术实战 |
1，大模型压缩概述 |
1，大模型压缩的核心目标与技术体系 ① 压缩技术的产业需求：边缘部署与成本控制 ② 压缩技术分类：量化、剪枝、蒸馏的技术特性对比 |
理论讲解 + 实操演示 |
|
2，压缩技术的评估指标 ① 核心指标：精度损失率、推理速度提升比、显存占用降低比 ② 行业基准：MLPerf 推理基准的适配方法 |
|||
|
2，大模型量化技术 |
1，量化技术的最新进展 ① 量化技术分类：权重量化 / 激活量化 / 混合精度量化 / 量化感知训练（QAT） ② 前沿方案：2-4bit 极低比特量化、硬件感知自适应量化 |
||
|
2，量化工具链与部署适配 ① NVIDIA TensorRT-LLM 量化工具的使用 ② 字节跳动 UltraMem 架构的量化 + 稀疏计算融合 |
|||
|
3，实操演练：FP4 量化与 QAT 实战 ① 离线量化：Llama-3 模型的 FP4 精度量化与性能测试 ② 量化感知训练：QAT 流程搭建与精度损失修复 ③ 推理加速：TensorRT-LLM 部署与吞吐量对比 |
|||
|
3，大模型剪枝技术 |
1，剪枝技术的核心原理与创新方向 ① 剪枝分类：结构化剪枝 / 非结构化剪枝 / 混合粒度剪枝 ② 创新方案：动态稀疏性调整、任务感知剪枝 |
||
|
2，剪枝的关键流程：敏感度分析与迭代微调 ① 基于梯度的参数敏感度评估方法 ② 剪枝 - 微调的迭代优化策略 |
|||
|
3，实操演练：Meta Llama-3 混合粒度剪枝 ① 敏感度分析：识别非关键注意力头与通道 ② 结构化剪枝：通道级剪枝的实现与配置 ③ 性能验证：保持 95% 性能下的模型体积压缩 |
|||
|
4，大模型蒸馏技术 |
1，蒸馏技术的最新进展 ① 蒸馏核心逻辑：教师模型知识向学生模型的迁移 ② 创新方案：自蒸馏、多教师蒸馏框架 |
||
|
2，蒸馏的关键技术：知识表示与损失函数设计 ① 软标签 / 硬标签的融合使用 ② 注意力蒸馏与特征蒸馏的结合 |
|||
|
3，实操演练：多教师蒸馏实战 ① 教师模型选择：Claude 3+DeepSeek-R1 多教师配置 ② 学生模型训练：小参数量模型的知识迁移 ③ 效果对比：蒸馏前后的任务性能与推理速度 |
|||
|
5，综合实战 —— 微调 + 压缩全流程落地 |
1，全流程整合：微调模型的轻量化部署 ① 流程设计：SFT+DPO 微调→量化→剪枝的组合策略, |
||
|
2，实操任务：医疗领域模型的端侧部署 ① 模型压缩：量化 + 剪枝的联合优化 ② 边缘部署：移动端模型的推理速度测试 ③ 效果验收：医疗问答任务的精度与速度双指标达标 |
汇款、微信转账
汇款信息：
单位名称：北京市海淀区中科院计算所职业技能培训学校
开户行：工行海淀西区支行
账号：0200 0045 1920 0043 667
开户银行代码：1021 0000 0458
微信转账：
步骤一：打开微信，扫描二微码付款时，点击打开微信右下角里的“发现”，在列表界面有一个“扫一扫”选项，点击打开“扫一扫”（如下图）：
步骤二：点击打开“扫一扫”后，会出现一个扫描框，将中科院计算所培训中心二维码/条码放入框内，即可自动扫描，并显示支付信息，输入付款金额。
（中科院计算所培训中心二维码）
步骤三：点击 “添加付款备注”，填写付款人姓名和单位全称，所有信息核对无误后，点击“确认付款”，完成支付。
