在文字创作领域，我们可以看到现在 AI 写文章仍然可以看到一些“机器感”。用 AI 真的可以创作出无法识别出是 AI 生成的作品吗？最近，作为一名作家 Sierra Elman 做了一个对诗歌的图灵测试，调查了一个由 38 位“ AI 专家”（来自OpenAI、谷歌、苹果、亚马逊）和 39 位英语专家（英语教师、教授、作家、作者等）组成的小组来分别判断由人和 AI 创作的诗歌质量。

叔本华认为，艺术和诗歌能够揭示世界的本质，为人们提供从日常生活中解脱出来的途径。诗歌也是文字创作里是最具“艺术性“的体裁。那么，来写一首关于日出的诗。

Sense 思考：

我们尝试基于文章内容，提出更多发散性的推演和深思，欢迎交流。

AI 诗歌尚未达到艺术创作的水平，但其拥有极强的学习能力和速度。从最终实验结果来看，用人创作的诗得分第一，Bard、ChatGPT-4、Claude 位列其次。同时，人类相比 AI 更容易辨别出哪些是 AI 写的诗。

当初计算器和电脑被发明时一样，人们也会担心自己被取代，然而计算器和电脑并没有取代人类——它们成为了工具。基于 Gen-AI 的创作工具可以成为艺术创造者的工具来帮助放大他们的创造力。

模型的训练同样需要艺术创作者的参与，包括数据的标注、模型的测评和优化，以提升模型的能力。另一方面，对各种素材进行整合并保持灵动其实也正是创作者的 DNA 之一，适应使用 Gen-AI 工具可以加速其创作水平的迭代。

大语言模型发展，关于 AI 可以取代人类作家角色以及随之而来的真实人类创造力的匮乏有很多讨论。与其他 AI 生成的写作不同，诗歌对 AI 来说是一个更大的挑战，因为它需要真实的人类情感，而 AI 本质上缺乏这一点。Keith Holyoak 在《麻省理工学院出版社读者》中写道：“诗歌可能作为一种煤矿中的金丝雀——一个早期指标，表明 AI 承诺在多大程度上挑战人类作为艺术创造者。”

一、何以为诗？

何以为创造？以小见大，从个别的事物描述中刻画更大的事物宇宙为创造，艺术家、工程师、科学家都可以称之为一种创造性的工作，去创造一种美，发现一种“真相”。

何以为诗？总结四个诗歌的特质，分析 AI 在其中可发挥的价值。

1. 语言的艺术性：

• 解释：诗歌使用高度凝练、富有象征意义的语言，通过修辞手法创造出独特的意象和情境。
• AI能力：AI可以通过学习大量的诗歌文本，模仿使用比喻、隐喻等修辞手法，并生成具有一定艺术性的语言。然而，AI生成的语言可能缺乏深层次的文化和情感内涵，因为它无法真正体验情感和文化。

2. 情感表达：

• 解释：诗歌传达诗人的情感体验和心灵感悟，与读者产生情感共鸣。
• AI能力：AI能够模仿情感表达的模式，生成看似情感丰富的文本。但是，AI并不具备真实的情感体验，它所生成的情感表达是基于算法和数据分析的结果，而非真实的情感反应。

3. 节奏与韵律：

• 解释：诗歌具有特定的节奏和韵律，增强了朗读时的美感。
• AI能力：AI可以学习和模仿诗歌的节奏与韵律模式，创作出符合特定格律的诗句。在这方面，AI可以做得相当准确，因为它能够精确地分析和复制诗歌的结构特征。

4. 思想的深度：

• 解释：优秀的诗歌往往包含深刻的思想和哲理。
• AI能力：AI可以组合现有的信息和概念，生成看似有深度的文本。但是，AI 缺乏原创性和真正的哲学思考能力，它无法产生真正原创的、具有哲学深度的思想。

总的来说，AI在模仿诗歌的语言艺术性、节奏韵律方面表现出较高的能力，但它在情感传达和思想深度方面存在局限。AI的创作是基于大量数据分析和模式模仿的结果，缺乏人类诗人的真实情感体验和深层次的创造性思考。因此，尽管 AI能够创作出在形式上类似于诗歌的作品，但它们可能无法完全达到人类诗歌在情感和哲学深度上的艺术境界。

二、图灵测试详述

AI 真的能写好诗吗？

2023年2月，Walt Hunter 在《大西洋月刊》上检查了AI 诗歌，得出结论认为 AI 诗歌陈词滥调，充满了令人尴尬的韵脚。作家 Sierra 想要看看大约一年后 AI 能力有何变化。主要是想要更多地了解这对诗歌未来以及创造力一般的含义。核心讨论三个问题：

1. 图灵测试：人们能否正确地检测出诗歌是由 AI 生成的？
2. AI 生成的诗歌实际上是好诗吗？
3. 英语专家和 AI 专家之间是否存在判断差异？

为了分析这些问题，Sierra 在 2024 年 1 月调查了 38 位 AI 专家（AI 工程师、产品经理以及在 OpenAI、谷歌、苹果、亚马逊等公司的领导）和 39 位英语专家（英语教师、教授、作家、作者等）。调查展示了分别由以下实体在2023年12月27日生成的四首诗歌：

1. Anthropic 的 Claude 2.1
2. 谷歌的 Bard（当时还未发布Gemini）
3. Sierra，模仿一个八年级的学生（不想选择一首可搜索的、或者受访者可能之前遇到过的现成诗歌。没有特别努力，大约15分钟就拼凑出了这首诗）
4. OpenAI 的 ChatGPT-4

（诗歌的全文可以在本末找到。）

调查要求受访者根据感知的质量对每首诗歌进行 1 到 10 的评分，并判断他们认为诗歌是由 AI 还是人类写的。他们不知道有多少首诗歌是由AI 或人类写的，也不知道人类诗歌的作者。

测试选择了日出作为主题，这对 AI 聊天机器人来说似乎相对简单。

图灵测试：人们能否正确地检测出诗歌是由AI 生成的？

大多数受访者（89.6%）正确地检测出人类的诗歌是人类写的。而且大多数人对哪些诗歌是由AI 写的有很好的感觉。18.2% 的受访者正确识别了4/4 首诗歌的作者。超过一半的受访者（58.4%）正确猜测了3/4 首诗歌的作者。18.2% 正确猜测了2/4，3.9% 正确猜测了1/4。只有一个人（1.3%）全部猜错。

总的来说，33.8% 的受访者错误地认为 AI 诗歌是人类写的。按 AI 聊天机器人细分，Bard 愚弄了最多的人。46.8% 的受访者认为 Bard 的诗歌是人类写的，相比之下，ChatGPT 为29.9%，Claude 为24.7%，如图1 中的绿条所示。

AI 生成的诗歌真的是好诗吗？

AI 竞争者在这方面表现得更好，但仍然不如人类，人类的作品平均评分最高。然而，人类的诗歌被AI 诗歌更紧密地跟随。具体来说，人类诗歌的质量平均评分最高，为6.9/10，其次是Bard 生成的诗歌6.2/10，ChatGPT 的5.8/10，Claude 的5.4/10，如图1 中的蓝条所示。AI 诗歌的整体平均质量评分为5.8/10。

受访者对 AI 有明显的偏见

平均而言，如果受访者认为诗歌是由人类写的，他们会在质量上给予诗歌更高的评分。具体来说，如图2 所示：

认为 Claude 的诗歌是人类写的受访者平均评分高1.79 分。

认为 Bard 的诗歌是人类写的受访者平均评分高1.9 分。

认为 ChatGPT 的诗歌是人类写的受访者平均评分高1.95 分。

认为人类诗歌是人类写的受访者平均评分高2.14 分。

也就是说，受访者要么会认为一首诗很糟糕，因此认为是 AI 写的，要么认为一首诗是 AI 写的，因此很糟糕。（请注意，受访者被要求先对诗歌进行评分，然后猜测它是否是AI 生成的，所以更可能是前者。）无论如何，对 AI 写作的感知质量存在明显的偏见。

下面的图片展示了质量评分与认为诗歌是由人类写的受访者百分比之间的高相关性（R² = 0.943），针对这四首诗歌。（R² = 1.0 表示完美相关，0.0 表示无关。）

英语专家和 AI 在判断上是否存在差异？

结论：英语专家最不容易上当

英语专家在识别诗歌作者方面明显更为出色。英语专家平均猜对了3.13次中的4次，而AI专家仅猜对了 2.61 次中的 4 次。考虑到英语专家至少对诗歌有一定的背景知识，这一点并不令人意外。

最引人注目的是，英语专家更有可能获得满分。在77位受访者中，只有14位（18%）正确识别了所有四首诗歌的作者。相比之下，英语专家更有可能做到这一点，有11位（28%）的英语专家与仅有3位（8%）的AI专家得分完美。

下面分析满分得主是如何做到的，以及他们的方法。

满分的英语专家注意到了押韵、过度使用的文学手法、陈词滥调和逻辑漏洞。马萨诸塞大学写作讲师Larry Flynn表示：“AI诗歌的韵律结构让我有些怀疑……由于现在许多诗人并不使用非常传统的尾韵，我认为这些作品可能是在尝试创造‘诗歌’的‘概念’，而不是真正的诗歌。”Nueva 学校中学部负责人（以及20年的前英语教师）Karen Tiegel表示：“我认出了几首诗歌的风格”，“还发现AI生成的诗歌过度使用了文学手法，尤其是明喻和隐喻！”Nueva学校的写作与研究中心主任Jennifer Paull经常看到一些元素，“看起来特别陈词滥调或不合逻辑，但并没有隐喻上的正当性（比如，你不会喝火苗）。”

满分的AI专家注意到了简单性和押韵问题、粗心和纯粹的“糟糕写作”。谷歌DeepMind的工程总监David Orr在LLMs上花费了大量时间，因此他对现在大多数AI写的文本有一种感觉。但有时，他会看到特定的线索。

Bard的诗歌“有一个明显的破绽——它将cloak与cloak押韵，这不是人类诗人会做的事情。而且押韵结构不一致：主要是ABCB，有时是ABAB；再说，我认为人类会更小心。”Chat-GPT的诗歌也有迹象。“‘每一笔都大胆，却又温柔地大胆’老实说就是糟糕的写作。诗中的最后一句，承载了很多重量，也没有真正意义。梦想不是在黎明时分发现的，而是在整个夜晚。我认为人类诗人会重新考虑这一点作为结尾。”苹果的数据科学经理Ted Hart基于“诗歌的简单性和押韵量”来猜测。

除了使用排除法来排除他们认为是AI明显作品的诗歌外，满分得主还指出了人类诗歌的“人性”特质。Flynn认为“人类诗歌具有最具创新性的自由形式，所以我认为是最有可能有人类生成的。”Orr认为人类诗歌“非常明显是人类的，我从未见过LLM在换行和视觉效果上做出有趣的事情。这可能在某个时候会发生，但我立刻知道这一个是‘真的’。”

英语专家在质量评分上更有辨识力

英语专家在质量评分上表现出比AI专家更高的辨识力。当从质量评分中移除AI专家的评分时，人类诗歌的评分上升，AI诗歌的评分下降。英语专家给人类诗歌的平均评分为7.2/10，相比之下，Bard的诗歌为6.1/10，ChatGPT的诗歌为5.4/10，Claude的诗歌为5.0/10，如下图中的蓝条所示。（仅AI专家的评分以绿色显示。）平均而言，英语专家给人类诗歌的评分比AI专家高0.6分。平均而言，英语专家给Bard的、ChatGPT-4的和Claude的诗歌的评分分别比AI专家低0.3、0.8和0.9分。

话虽如此，由于AI专家通常在诗歌方面的知识和专业技能不如英语专家，Sierra 认为英语专家的质量评分更为准确是一个合理的假设。无论如何，人类在这里获胜——而且当仅由英语专家评判时，优势更加明显。

三、结论

AI 诗歌尚未达到艺术创作的水平

总体而言，大多数受访者能够正确识别出哪些诗歌是由AI创作的，并且也认为它们的质量较低。这对于一个相对浅显的话题来说是如此，不用说现今大多数诗歌涉及的更为复杂的话题，如人类情感或社会正义。或许更重要的是，人类的诗歌是由一个八年级学生而非专业诗人所写。因此，与之竞争不应该那么具有挑战性。

即便如此，AI 诗歌并不差——许多调查受访者表示，这项调查比他们预期的更具挑战性。有些诗歌比其他的更难猜测。即使是像Orr这样的完美猜测者，对于其中一首诗歌也得依靠直觉，他觉得那首诗“相当不错，我认为是我最不确定的一首。但我认为只要稍作修改，它就可以变得更好，比如更清晰地分开三个部分。”（有趣的是，这是Claude的诗歌，也是受访者认为是人类创作的比例最低的一首。）

Flynn指出，在猜测中涉及到一种逆向心理的元素。尽管他将具有传统尾韵的诗歌归因于AI，但他也认为：“话说回来，这也可能是人类可能尝试做的事情——模仿经典形式。令人惊讶，是的，具有挑战性！”Orr相信，“总体而言，LLM诗歌的质量提升得非常快。我不确定我在未来一两年内还能分辨出来。”

悲观者预测，写作/创意领域的职业将会终结，就像当初计算器和电脑被发明时一样。但至少到目前为止，计算器和电脑并没有取代人类——它们成为了工具。同样，至少在目前的形式下，AI 真正能够做的只是作为作家/创意人士工具箱的一部分，为他们节省时间（只要他们仔细审查和编辑）在他们的写作/创意项目上。

但人类诗人可以帮助 AI 写诗

这里面观察到最有趣的一点是，英语专家在识别哪些诗歌是由AI创作方面要远远优于其他人——有11位英语专家与仅有3位AI专家完美猜对了所有4首诗歌。鉴于他们在诗歌方面的专业知识更为深厚，英语专家在质量评分上也比AI专家更为敏锐，他们给予人类诗歌的评分高于AI诗歌的质量评分，而且差距比AI专家更大。

这一切都指向了一个需求，即需要让英语专家加入到AI产品团队中，与AI专家合作，帮助完善产品并定义高质量输出的标准。毕竟，不知道黄金标准是什么，就很难构建一个产品。

诗人 Lee Rossi 通过将 AI 比作初级诗人来解释这一点：“许多初级诗人认为他们必须‘有诗意’，这意味着他们使用的是他们从阅读中记住的词语和形象，而不是依靠自己的经验和语言感。换句话说，他们像AI一样写作，而不是像诗人一样。”

这引出了一个有意思的问题——如果英语专家帮助开发AI算法，难道他们不是在自己“伤害”自己吗？短期内，让专业作家帮助 AI 团队改进未来的 AI 版本，对作家和 AI 社区都有好处。更好的AI版本可以让作家们释放出来，开发更丰富、更有创意的想法和项目。它将使他们能够更有效地编辑他们的作品。而且从长远来看，AI将为创意工作开辟新的道路和机会。这究竟会变成什么样子将不断演变（并值得单独研究）。但创意人士需要灵活并能适应变化，这也正是创意思维的DNA的一部分吗？

AI 最终会接管人类的角色吗？或许有可能，但至少在那时之前，显然需要英语专家来帮助开发、测试和进一步完善AI算法，以帮助提高 AI 写作的质量。与其对抗 AI，不如今天的作家应该在塑造AI的未来中发挥积极作用，不仅仅是在政策层面，还包括技术层面。

四、测试的四首诗 – 附原文

破晓 由 Claude 创作

金色的曙光窥视地平线

给沉睡的大地投下温暖

夜的黑暗毯子退缩

随着黎明的光线在天空中推进

玫瑰色的色调在低垂的云层上跳跃闪烁

沉睡的世界开始苏醒

生物出现，晨歌响起

新的一天破晓，明亮且充满希望

升起的太阳驱散黑暗照亮了一个新的开始

Daybreak by Claude

Golden rays peek over the horizonCasting warmth on the sleeping landThe dark blanket of night recoilsAs dawn’s light advances across the skyRosy hues dance and shimmerAcross low-hanging cloudsThe sleeping world begins to stirCreatures emerge and morning songs ariseA new day dawns, bright and full of promiseThe rising sun banishes the darkAnd illuminates a new beginning

日出的交响曲 由 Bard 创作

黎明的第一笔，

柔和的橙色在夜幕的画布上蔓延，

逐渐推开墨黑的暗色，一寸一寸，

如同光之手。

天际线上的剪影开始动起来，山脉从沉睡中苏醒，

树木伸展枝条朝向金色，

像长长的、凉爽的余烬般吸收着温暖。

一阵鸟鸣交响曲爆发，欢快的合唱迎接新生的日子，

当太阳，炽热的战车，越过山丘，在清晨的灰暗中撒下钻石。

世界伸展，打哈欠，甩掉它的斗篷，

被露水亲吻的草地在新生的光线中闪烁，影子退却，被太阳温暖的斗篷追逐，

消失在角落，白昼温柔的力量中。

空气充满了新的开始的承诺，在天空广阔的蓝色中刻下新的起点，

当太阳爬得更高，给云朵涂上翅膀，

世界沐浴在金色的光辉中。

所以让我们随着日出升起，心火燃烧，

张开双臂拥抱这一天，因为在光影的交响曲中，

我们的生活交织在一起，

在黎明的织锦中，美丽地刻画。

Symphony of Sunrise by Bard

The first brushstroke of dawn,A soft orange bled across the canvas of night,Pushing back the inky blackness,Inch by inch, like fingers of light.Silhouettes stir on the horizon’s edge,Mountains waking from their slumber,Trees stretching their branches towards the gold,Drinking in the warmth like a long, cool ember.A symphony of birdsong erupts,A joyous chorus greeting the newborn day,As the sun, a fiery chariot, crests the hill,Scattering diamonds across the morning’s gray.The world stretches, yawns, throws off its cloak,Dew-kissed grass sparkling in the newborn light,And shadows retreat, chased by the sun’s warm cloak,Vanishing into corners, day’s gentle might.The air hums with the promise of new beginnings,A fresh start etched in the sky’s vast blue,As the sun climbs higher, painting the clouds with wings,And the world basks in the golden hue.So let us rise with the sunrise, hearts ablaze,Embrace the day with open arms outstretched,For in this symphony of light and shade, our lives interweave,In the tapestry of dawn, beautifully etched.

阳光之吻 由 Sierra Elman（八年级的人）

创作公鸡咕咕叫。

我看着太阳亲吻地平线。

轻柔地——就像大地会因太多激情而裂开。

我看着金色的光线拥抱我的视野。

它涂过天空——黑暗褪成婴儿蓝，

带有紫罗兰和棉花糖粉色的指纹。

我呼吸着蜜糖般的空气。

我铭记这一刻，当太阳祝福大地

并驱走夜的魂。

Sunkissed by Sierra Elman (an 8th grade human)

The rooster warbles.I watch as the sun kissesthe horizon. Delicately —like the earth would splitopen with too much passion.I watch as gold light embracesmy view. It glosses over the sky —darkness fades into baby bluewith fingerprints of violet & cottoncandy pink. I breathe in the honey air.I memorize this moment, whenthe sun blesses the land & chases awaythe ghosts of night.

黎明的低语 由 ChatGPT-4 创作

在黎明的第一缕寂静之光中，

东方展开一幅画布，低语着温柔的力量，

一场奇观，一场视觉盛宴。

深红融入藏红花金，以画家的优雅溅洒天空，

每一笔都大胆，却又温柔地大胆，

在这个静谧的世界苏醒的空间里。

太阳，一个上升的火球，以缓慢而稳定的步伐攀升，

驱散夜晚残留的伪装，

在它辐射的拥抱中带来温暖。

鸟儿在甜美的合唱中鸣叫，迎接新的一天的开始，

在这个时刻，天地交汇，

自然的杰作，心灵的作品。

地平线，梦与光的融合，讲述着希望，

新的开始，在晨光短暂的美丽中，

生活找到了稳定而真实的节奏。

日出，天空中的承诺，每日的重生，世界的叹息，

在这一天的高峰之前，躺着静谧的魔法，梦想所在之处。

Whispers of Dawn by ChatGPT-4

In the hush of dawn’s first light,A canvas unfolds in the east,Whispering in hues of gentle might,A spectacle, a visual feast.Crimson bleeds into saffron gold,Splashing the sky with a painter’s grace,Each stroke bold, yet tenderly bold,In the quiet world’s waking space.The sun, a fiery orb on the rise,Climbs with a slow, steady pace,Banishing night’s lingering guise,With warmth in its radiant embrace.Birds trill in a chorus so sweet,Welcoming the day’s fresh start,In this moment, where earth and heaven meet,Nature’s masterpiece, a work of heart.The horizon, a blend of dream and light,Speaks of hope, of beginnings anew,In the transient beauty of morning’s sight,Life finds a rhythm, steady and true.Sunrise, a promise in the sky,A daily rebirth, a world’s sigh,In these moments before the day’s high,Lies the quiet magic, where dreams lie.

绽放的余烬 由 Gemini（生成于2/15/24）

创作 最初的脸红，犹豫的手在 夜的画布上作画，

推开炭黑色的阴影， 一场沉默而温柔的战斗。

靛蓝渐变成紫罗兰， 被金色和紫水晶亲吻，

星星一颗接一颗地投降， 低语着它们最后的幽会。

地平线的线，火红的缝隙， 余烬在深红色中绽放，

阳光倾泻，流动的梦， 追逐阴影至它们的末日。

树木被刻成黑色，现在披上绿色，

露水中撒满了钻石， 未看见的鸟儿的交响乐，

迎接清晨的色彩。

世界在光明中苏醒， 希望在脆弱的翅膀上展开，

新的一天诞生，充满活力和明亮，

日出的歌声轻轻响起。

Blooming Embers by Gemini (generated 2/15/24)

First blush, a hesitant hand paintsAcross the canvas of night,Pushing back the charcoal shades,A silent, gentle fight.Indigo bleeds to violet,Kissed by gold and amethyst,Stars, one by one, surrender,Whispering their final tryst.Horizon’s line, a fiery seam,Embers burst in crimson bloom,Sunlight spills, a liquid dream,Chasing shadows to their doom.Trees etched black, now clothed in green,Diamonds scattered on the dew,A symphony of birds unseen,Welcoming the morning hue.World awakens, bathed in light,Hope unfurls on fragile wings,A new day born, vibrant and bright,The song of sunrise gently sings.