AI,个人随笔 训练一个”懂事”的 AI:SFT 和 RLHF 到底在做什么? AI能回答你的问题,却总是答非所问?从博学的'续写机器'到贴心的智能助手,中间差了SFT和RLHF两道关键工序。本文将深入拆解这两大核心技术如何让AI学会'听话'和'懂事',揭示13亿参数小模型如何靠对齐能力碾压1750亿巨无霸的底层逻辑,带你穿透AI产品'不好用'的本质。 哲子在*** pm AI助手AI训练DPO
AI,个人随笔 总结:模型为什么越来越像人,而你为什么会在意这一点 大模型的每一次进化,背后都是人类经验的深度编码。从预训练的基础语言理解,到SFT的行为规范,再到RLHF的情感分寸,这条技术链的本质是人类如何将自己的沟通逻辑、价值判断和社交规则系统化地注入AI。本文将揭示大模型训练过程中那些看不见的人类‘脚手架’,以及它们如何塑造AI的行为边界与人格特质。 青蓝色的海 AI训练DPORLHF
AI,个人随笔 DPO:当行业开始嫌 RLHF 太累的时候 DPO的诞生揭示了AI训练领域的一个残酷真相:RLHF虽有效却如同苦役。这种新方法摒弃复杂的评分体系,回归人类最本能的偏好判断,不仅解放了训练师,更重塑了大模型对齐的工程实践。本文将深入解析DPO如何用『二选一』的朴素智慧,解决RLHF时代的技术沉疴与人性困境。 青蓝色的海 AI对齐DPORLHF