"注意力机制"相关的文章
AI,个人随笔
ChatGPT背后那个”幽灵”,到底是什么

ChatGPT背后那个”幽灵”,到底是什么

Transformer 架构的诞生彻底改写了 AI 领域的游戏规则。从 ChatGPT 到 Sora,从 AlphaFold 到 ViT,看似毫不相关的技术突破背后都藏着相同的 DNA。本文将带你穿越 RNN 与 CNN 的旧世界,揭示注意力机制如何突破长程建模的困境,并探索这种『关系处理机器』是如何从语言领域溢出,重塑我们对世界的认知方式。
AI,个人随笔
拒绝神话:Transformer 并不神秘,它只是概率的极致艺术

拒绝神话:Transformer 并不神秘,它只是概率的极致艺术

Transformer架构正在重塑AI产品的思维逻辑,但其工作原理往往被复杂公式所掩盖。本文将用职场场景隐喻拆解AI引擎的核心机制:从RNN的死记硬背到Transformer的全局视野,揭秘编码器的全景复盘与解码器的蒙眼推理,剖析QKV机制的侦探游戏与Softmax的残酷淘汰,带你穿透技术迷雾重新认知这台万亿级推理机器。