AI,个人随笔 总结:模型为什么越来越像人,而你为什么会在意这一点 大模型的每一次进化,背后都是人类经验的深度编码。从预训练的基础语言理解,到SFT的行为规范,再到RLHF的情感分寸,这条技术链的本质是人类如何将自己的沟通逻辑、价值判断和社交规则系统化地注入AI。本文将揭示大模型训练过程中那些看不见的人类‘脚手架’,以及它们如何塑造AI的行为边界与人格特质。 青蓝色的海 AI训练DPORLHF
AI,个人随笔 DPO:当行业开始嫌 RLHF 太累的时候 DPO的诞生揭示了AI训练领域的一个残酷真相:RLHF虽有效却如同苦役。这种新方法摒弃复杂的评分体系,回归人类最本能的偏好判断,不仅解放了训练师,更重塑了大模型对齐的工程实践。本文将深入解析DPO如何用『二选一』的朴素智慧,解决RLHF时代的技术沉疴与人性困境。 青蓝色的海 AI对齐DPORLHF