大模型的“性格”并非天生，而是通过SFT（监督微调）训练塑造的。训练师通过写示范答案、挑错改写、制定规则等方式，教会模型如何像人一样交流。本文将带你深入了解SFT的过程和重要性。

“大模型并不是天生会聊天，它只是被我们一点一点教会的。”

如果你用过几款不同的大模型，你可能会发现，它们明明能力差不多，但“个性”完全不同。有的热情健谈，有的沉稳冷静；有的特别会安慰人，有的则像在背书。这种“性格差异”，不是模型自己长出来的，而是背后训练方式的结果。尤其是其中最关键的一步：SFT（监督微调）。

SFT 就像在教一个已经很聪明，但不会说人话的天才少年——你得一步步告诉他：别人问问题的时候你要怎么答；别人情绪不好的时候你要怎么回应；别人带着误解时你要怎么温柔纠正；别人问危险内容时你要怎么礼貌拒绝。

而模型，就是靠看我们写的示范一点点学会这些。

一、SFT 究竟是什么？用一句大白话说清楚

如果预训练是让模型“读遍全世界的书”，那 SFT 就是我们把它叫过来坐好，说：

“来，这些是你以后的说话方式，你照着学。”

它不会质疑我们，也不会反抗，只会默默模仿。就像小时候看大人怎么说话，我们也学同样的语气——模型在 SFT 阶段做的就是这个。

比如用户问：

“我今天有点焦虑，你能帮我舒缓一下吗？”

预训练阶段的模型可能会一本正经地回答：

“焦虑是一种常见情绪。”

它说的没错，但完全没有灵魂。SFT 就会给它示范一个“像人”的答案：

“听起来你最近压力挺大呀，愿意聊聊是什么让你焦虑吗？”

于是模型就学会了这种表达方式。

你每一次觉得模型“懂你”，背后都是一条条训练师写出来的示范。

二、为什么 SFT 是模型变好用的关键？

你有没有遇过那种朋友，看起来成绩很好，但对话的时候总是忽冷忽热？预训练模型就有点像这种朋友。它学过无数知识，但：

• 说话直来直往，非常机械
• 不太会看场合
• 不知道什么问题必须拒绝
• 不懂得按照你的要求来表达
• 甚至不知道你到底想要什么

比如你说：“给我写一首诗，轻松一点、可爱一点。”

预训练阶段模型可能写得像古诗文课本。

但 SFT 之后，它会知道你要的“可爱”是：

• 更口语
• 更简短
• 更贴近日常
• 更像一个人说的话

换句话说，SFT 决定了模型“像不像一个懂礼貌、有情商的人”。

三、训练师在 SFT 里到底做啥？（真实例子版）

1. 写示范答案（写到怀疑人生的那种）

比如用户问：

“我明天要和老板谈加薪，我应该怎么说？”

你不能回答一句“直接说你要加薪”。你要写得像一个真正的职场前辈：

“你可以先准备几个你过去一年做出的成果，再用‘我希望承担更大责任’的方式引出加薪诉求，这样更自然也更容易被接受。”

模型就是通过这一条条示范学会“怎么当一个靠谱的伙伴”。

2. 给模型的回答挑错、改写（像论文老师一样严）

你会看到模型写的内容，有时很离谱：

用户：“为什么我们不能直接喝海水？”

模型：“因为海水可以补充大量矿物质，适量饮用是健康的。”

这显然是错误的。于是你不仅要改成正确答案，还要把错误原因标注出来，让系统知道哪里出了问题。

这份工作真的非常像一个“严格但耐心的语文老师”。

3. 制定规则（让每个人写出来的数据风格统一）

同一个问题，如果十个训练师写出十种表达，模型就会学得七零八落。

所以需要规则，例如：

• 遇到敏感内容，一律拒绝 + 安全替代
• 语气统一为礼貌、不夸张
• 事实必须准确
• 不允许啰嗦

模型最后呈现出来的“性格”，很大程度取决于这些规则。

四、单轮 vs 多轮：训练师的“普通模式”和“高难度模式”

单轮问答：一次性解决问题

比如用户说：“电脑开不了机怎么办？”

一轮回答搞定。

这部分好写，像写教程一样。

多轮问答：像演戏一样要维持角色

但如果用户说：“我最近有点压力大。”

你要怎么写一个自然的多轮对话？

模型：“听起来你最近不太好，愿意聊聊是什么让你有压力吗？”

用户：“是工作的事。”

模型：“工作上发生了什么呢？”

这里面有好多细节：

• 不能重复问
• 不能每一句都太长
• 要顺着用户的话继续聊
• 要像一个真实的人一样“接话”
• 不能突然转移话题
• 语气不能过度关怀到让人害怕
• 也不能冷漠到像客服机器人

多轮对话写好了，用户会觉得：“哇，这模型好贴心。”

写不好，用户会觉得：“这模型是不是没在听我说话？”

SFT 就是在训练模型如何成为一个好聊的对象。

五、小结：SFT 是塑造模型“灵魂”的过程

如果把模型比作一个人：

• 预训练让它成为天才
• SFT 让它学会做人
• 规则让它学会“分寸感”
• 多轮对话让它学会“交流感”

你现在觉得一个模型好用、有耐心、有温度，很可能不是因为它的算法有多高级，而是因为有人在 SFT 阶段为它写了无数“像人一样的句子”。

这是一种把人类沟通方式“提取出来，再教给一个机器”的过程。它的细腻程度，比很多人想象得更艺术、更人性化。

共勉！棒棒，你最棒！

下一篇，我们就要进入训练师的“最终关卡”——多轮对话到底难在哪里？为什么它几乎决定了模型能不能真正“像人”？