Meta FAIR 与华盛顿大学的论文提出字节级蒸馏：把学习单位从 Token 换成 Byte，把教师的概率分布完整转换到字节级别。以 Llama 3-8B 为教师的实验显示，随算力增加，字节级蒸馏会反超 Token 级，下游平均准确率上限高出 4 个百分点。