SFT 监督微调原理与工程落地

项目概述

预训练出来的基座模型，只会“预测下一个字”，不会对话、不会服从指令、容易乱输出。想要模型变成可用的智能助手，必须经过 SFT（监督指令微调）。

SFT 是大模型工业化落地的必经步骤，本文完整讲解 SFT 作用、流程、数据集规范与工程要点。

架构设计

SFT 核心作用

• 将预训练模型的“语言能力”对齐为“指令能力”
• 让模型学会识别用户指令、遵循格式、稳定输出
• 消除随机乱生成、续写跑偏问题
• 统一对话风格、问答逻辑

SFT 训练流程

1. 清洗高质量指令数据集
2. 固定对话模板
3. 冻结基座模型或低秩训练
4. 学习指令与输出对应关系
5. 验证集评估收敛

核心实现要点

标准对话模板

SFT 训练必须统一模板，否则推理错乱：

<user>
{query}
</user>
<assistant>
{answer}
</assistant>

损失函数优化

SFT 只计算 assistant 部分 loss，不计算 user 部分，避免模型学习用户输入。

训练方案对比

训练阶段	核心作用	模型状态
预训练 Pretrain	学知识、学语言	不会听话、不可用
SFT 指令微调	学指令、学对话	可用、稳定、能交互
RLHF/RLAIF	学偏好、对齐人类	更拟人、更安全

总结

预训练赋予模型能力上限，SFT 赋予模型使用能力。没有 SFT 的大模型只是一个语言随机生成器。所有商用模型、开源可用模型，全部依赖 SFT 完成工业化对齐，是大模型从“底座”变成“产品”的关键一步。