Knowledge Distillation

学生到底在学什么#

知识蒸馏是一类利用教师模型监督学生训练的方法。经典方案让学生学习教师输出的软概率，而不只看一个正确类别；类别之间的相对概率也可能包含有用信息。1

对生成任务，也可以先由教师生成完整答案，再用这些序列训练学生。序列级蒸馏研究展示了这条路线，因此“没有拿到教师的完整概率分布”并不等于无法进行任何形式的蒸馏。2

教师与学生描述的是训练中的角色。压缩到更小的模型是常见目标，判断是否属于蒸馏更应看监督来自哪里，而不是只比较参数量。

蒸馏和微调不是同一维度#

微调描述在已有模型上继续训练；蒸馏强调从教师获取监督并迁移能力。用教师答案微调学生，可以同时属于二者。DeepSeek-R1 报告第 2.4 节就是使用整理后的教师样本对已有模型做监督微调的实例。3

量化通常降低数值表示精度，蒸馏则训练学生去学习教师提供的信号；两者还可以组合。4量化不应只凭模型文件变小就被称为蒸馏。如果只是让回答读到最新公司资料，应先看RAG，而非立即开始训练。

成本要把训练前后一起算#

本站建议先固定业务评测，再比较：原始学生、训练后的学生和教师。除了任务成功率，还要观察关键错误、拒答、延迟、输出长度和总调用成本。

生成训练数据、筛选数据、训练和持续回归都需要成本。学生参数更少不代表整个系统一定更便宜；如果任务量很小或需要频繁重新训练，节省的推理费用可能不足以抵消投入。这是工程核算建议，不是论文给出的通用阈值。

动手验证#

教学情境：客服系统要抽取“订单号、问题类型、是否需要人工”。先准备一份独立留出集，包含普通问题、缺失订单号和诱导越权请求；不要让这些样本参与教师生成训练数据或调参。

设计一张对照表，三行分别是教师、原始学生、蒸馏后学生，列为字段正确率、关键错误数、延迟与成本。尚未训练时填“未测”，不要虚构提升数字。

验收标准：先定义能接受的质量损失和严重错误上限，再讨论是否省钱。如果学生只在见过的模板上表现好，应检查覆盖范围与数据泄漏，而不是直接宣布完成能力复制。