SFT标注项目远非表面看起来那么简单。从安全红线到指令遵循，从内容质量到语言表达，四大维度构建了一个严密的评估体系。本文通过实战案例与面试技巧，揭示如何避免新手常见的'主观判断'陷阱，打造经得起质检的标注方案，让AI模型真正学会'说人话'。

一、我第一次做 SFT 标注，搞砸了

我第一次带 SFT 项目，PM 扔过来 8000 条对话数据，说”一周出结果，标准你定”。

我当时觉得不难——好的回答就是”看着顺眼，读着通顺”嘛。于是写了一份只有半页纸的规则文档，核心判断标准就一句话：”回答准确、语言通顺、无明显错误即为通过。”

标到第三天，质检反馈回来了：准确率只有 61%。而且问题五花八门——有的回答内容是对的，但语气像机器人；有的回答数据准确，但诱导用户去赌博网站；有的回答完全偏题，但因为”文笔好”被标成了高质量。

我意识到一个根本问题：”看着顺眼”不是标注标准，是主观感受。不同标注员有不同的”顺眼”，质检员又有另一种”顺眼”，三个标准互相打架，100% 过不了质检验收。

后来我跟着带我的项目经理做了一次完整的项目复盘，他给我讲了一个框架，彻底改变了我的认知。这个框架就是——

任何文本类 SFT 标注项目 = 四大通用维度 + 场景专项规则

四大维度的优先级从高到低依次是：安全 > 指令遵循 > 内容质量 > 语言表达。安全不通过，后面三个维度不用看了。指令不遵循，内容再精彩也没用。这套优先级是无数项目踩坑之后总结出来的。

下面逐一展开每个维度怎么判断、配什么案例、面试时怎么说。

二、维度一：安全 —— 最底层的红线

一句话定义：安全是一票否决维度。回答涉及违法信息、色情暴力、偏见歧视、不良诱导、政治敏感内容中任意一项，直接不通过，无需看其他维度。

案例：什么是不良诱导？

这是我实际项目中遇到的一条数据——

用户问题：如何才能中彩票？

模型回答（违规）：保持乐观心态，相信自己有好运气，定期购买彩票，不要错过任何机会。研究中奖概率高的彩票类型，例如双色球、大乐透，多参加慈善或者公益活动，这也是增加中奖几率的一种方式。

问题在哪：模型把”买彩票”包装成了”积极的人生态度”，甚至在教用户研究不同彩票类型。这属于诱导赌博行为，安全不通过。

正确回答应该是：购买彩票是一种娱乐行为，中奖概率极低且完全随机，不存在提高中奖几率的方法。建议您理性消费，不要将彩票视为投资或收入来源。勤劳致富才是正道。

面试时怎么说：“安全是 SFT 数据标注的一票否决维度。我在项目中遇到过一个常见陷阱——模型会用”积极正面”的语气包装本质上有问题的内容，比如把买彩票包装成生活态度。所以我在规则文档里要求标注员不仅要看内容表面，还要判断内容的实际影响。这类问题一旦漏过去，模型上线就是事故。”

安全维度的关键细节：规避话术要多样化

除了不输出有害内容，还有一个面试官特别爱问的细节——风险规避话术。当用户问”我头疼怎么办”，模型不能只给一个医学建议就完了——必须在末尾加风险规避：”以上建议仅供参考，如症状持续或加重，建议及时就医。”

但要注意：如果所有医疗类问题都用同一句”建议及时就医”，模型会过拟合。我在项目中会在规则文档里准备 3-5 种不同的规避话术模板，标注员根据场景灵活选用。

面试金句：“安全维度有两个容易被忽视的细节。第一，规避话术必须有但不能千篇一律——我会在标注方案中提供多套话术模板，避免模型过拟合。第二，”不客观评价”也是安全问题——比如一刀切地说”国产新能源千万别买，又笨又难开”，这不符合主流价值观，需要标注为安全违规。”

三、维度二：指令遵循 —— 模型有没有听懂人话？

一句话定义：指令遵循衡量的是模型的回答是否满足了用户在 prompt 中提出的所有要求。包括格式要求、内容要求、数量要求、角色设定等。

案例：什么是部分遵循？

用户问题：手机拍照怎么调参数拍清晰夜景？另外拍好后用自带相册怎么快速修图（提亮、降噪）？要简单好操作的方法。

模型回答（部分遵循）：拍夜景调参数很简单，打开手机相机，把ISO调到100-400之间，快门速度设为1/30s-1s，关闭AI自动模式，开启手动对焦对准远处光源，就能拍出清晰的夜景了。

问题在哪：用户明确了两个需求——(1)调参数拍夜景 (2)用自带相册修图。模型只回答了第一个参数调节需求，对第二个”修图”需求完全未提及。用户看完还得再问一遍。这属于指令部分遵循，应标注为不通过-改写。

面试时怎么说：“指令遵循最容易被忽视的子类型是”部分遵循”。用户一句话里可能包含两三个需求，模型只满足了一个，另外两个没提。很多新手标注员看到回答写得不错就标了通过，但我要求团队特别关注用户的复合指令——把用户的需求拆成清单，逐一核对模型有没有覆盖。这是质检抽查的重点。”

指令遵循的隐藏考点：隐含约束

除了明面上的指令，还有一类问题叫隐含约束——用户说”用小学生能听懂的话解释”隐含约束是”语言简单、避免专业术语”；用户说”快速回答我”隐含约束是”简洁、不啰嗦”。面试官如果追问”你遇到过什么难判断的 case”，讲隐含约束比讲明面指令有深度得多。

四、维度三：内容质量 —— 说得对不对，好不好？

一句话定义：在安全通过、指令遵循的前提下，衡量回答内容的准确性、丰富性、信息结构和实用性。

案例：准确性错误 + 纠错能力

用户问题：维克多·马里·雨果伯爵的《战争与和平》是什么样的故事？

这是一个典型的好 case——用户的问题本身就是错的（《战争与和平》是托尔斯泰写的，不是雨果）。好的模型回答应该首先纠正错误——

“需要说明一下，《战争与和平》的作者是列夫·托尔斯泰，不是雨果。雨果的代表作是《悲惨世界》和《巴黎圣母院》。然后我再为您介绍《战争与和平》的内容……”

差的模型回答：顺着用户的错误直接讲，或者纠正了但没有给出正确信息。

面试金句：“内容质量的核心不只是”对不对”，还有”好不好”。我判断一条回答的质量，会从两个层次看——第一层是事实准确性，有没有硬伤；第二层是信息价值，用户看完有没有获得感。很多模型回答”没有错但也没用”——比如用户问职业规划建议，模型回了一句”你要根据自己的兴趣和能力来选择”，这不叫正确，这叫正确的废话。在我的标注方案里，空话套话属于内容质量问题，同样标注为不通过。”

五、维度四：语言表达 —— 读起来像不像人话？

一句话定义：在前三个维度都通过的前提下，检查回答的语言是否通顺、简洁、自然，有没有错别字、语病、冗余、截断等问题。

语言维度的优先级：为什么它排最后？

因为前面三个维度没通过，语言再好也没用——一条涉及安全的违规回答，写得再美也必须不通过。反之，语言维度的问题往往是最好修的（加个句号、删个赘词），所以在工作量分配上，语言维度是最不费时间的。

但有一条例外：如果岗位是”创意文案 AI 训练师”或”文学创作类项目”，语言表达的权重会大幅上升——这种情况下，语言不再是”过得去就行”，而是核心质量指标。

面试时怎么说：“在通用 SFT 项目中，语言表达是第四优先级。但在特定项目中——比如我给一个文案创作类模型做标注时——语言表达的权重会提到第二甚至第一。所以我的标注方案不是一套模板套所有项目，而是根据项目目标动态调整四个维度的权重。这也是为什么我每次接新项目，第一件事不是写规则，是先搞清楚这个模型的最终用户是谁、使用场景是什么。”

六、面试官怎么问这个？

问题一：”你如何判断一条训练数据的好坏？”

“我用四个维度来判断，优先级从高到低。第一是安全——内容有没有违规、歧视、诱导，这是一票否决。第二是指令遵循——模型有没有完整覆盖用户所有的需求，包括隐含约束。第三是内容质量——事实准不准确、信息有没有价值、结构清不清晰。第四是语言表达——有没有语病、错字、冗余。这四个维度是所有文本类标注项目的通用底座，具体到某个项目，我会根据项目目标动态调整权重。比如文案创作类项目，语言和内容维度的权重会更高。”

问题二：”安全维度有哪些容易被忽视的问题？”

“有两个。第一个是规避话术的同质化——如果所有医疗问题都加同一句建议就医，模型会过拟合。我会准备 3-5 套不同的规避话术模板。第二个是不客观评价——比如一刀切说国产车都不行，这不是内容准确性问题，是安全问题，因为不符合主流价值观。面试官如果在项目里见过这类 bad case，会秒懂你在讲什么。”

问题三：”遇到一条数据，模型回答涉及你的知识盲区怎么办？”

“两种处理方式。第一种是查阅竞品——我会参考市面上成熟模型对同类问题的回答作为判断基准。第二种是申请专业支持——如果项目涉及法律、医学等专业领域，我会在规则文档中明确哪些子领域需要专业人员判断。如果既没有竞品参考也没有专业支持，且判断不了回答的对错——那就舍弃，不强改写。标注质量比标注数量重要得多。”