钉钉AI助理体验报告:多项AI能力具备高可用性,偶发错误仍存

0 评论 802 浏览 1 收藏 12 分钟

钉钉先前正式发布了AI Agent,那么,钉钉AI助理的实际体验感如何?这篇文章里,作者分享了自己的体验和测评结果,一起来看看本文的梳理和分享。

于国内大模型市场而言,如果说2023年是比拼大模型发布和能力接入的一年,那么2024年或许比拼的就是各应用在大模型能力加持下,如何在实际工作流程中创造实际价值的一年。

在此,钉钉显然是一个无法回避的存在——其既是用户在日常工作流中高频使用的超级应用,也是最早拥抱大模型,既是用户在日常工作流中高频使用的超级应用,也是最早宣布“全面智能化,所有产品要用大模型重塑一遍”的产品之一。

回顾一下钉钉用大模型重塑一遍产品的几大重要时间节点:

一是在2023年4月份,钉钉正式宣布接入“通义千问”大模型,开启全面智能化,并在现场展示了正在内测中的斜杠“/”智能唤起功能;

二是在随后的十一月份,将斜杠“/”智能唤起功能升级为“钉钉AI魔法棒”并正式上线,用户可以快速调用“钉钉AI魔法棒”所提供的多项AI能力;

三是在今年一月,在钉钉7.5产品发布会上,钉钉正式发布AI Agent(钉钉AI助理);

四是4月18日,上线AI助理市场。

至此,钉钉用一年时间完成了17条产品线、60+场景、近百项AI技能全面开放用户测试、并于近日实现AI助理市场上线。

那么在全面智能化上走在了业界前列的钉钉,其AI能力在用户的工作流中究竟可以做什么?

这是我想探究的。

在过去几周,笔者以科技自媒体的身份在日常内容输出中深度使用钉钉AI能力后:个人认为钉钉AI助理虽然偶发Bug仍存,但内置的多项AI能力还是具备了较高的可用性,可以助力我实现效率提升。

众所周知,科技自媒体在内容输出上的困境在于:一是对热点信息收集把控不足,二是相关资料收集分析耗时耗力,三是标题确定更是苦不堪言。

所以在此困境下,个人对一个好用的AI助理的功能诉求是:一是能帮助我锁定热点、二是能够帮助我归纳相关资料信息、三是能够推荐相关标题、四是能够快速为我生成一些符合各平台风格的内容与稿件。

那么钉钉的AI助理能力能否实现我对好用AI助理的功能诉求?

以下是对其功能使用的实例测试:

测试案例:

前段时间,新能源汽车市场氛围热闹,小米SU7上市火爆,随后智己L6发布并在发布会上对标小米SU7,但因参数错误问题而引起小米强烈反应,随即智己汽车陷入舆论危机。

面对这一互联网热点,我用钉钉内置的AI助理分别进行了热点搜索、相关信息收集、标题创作、内容生成、“好物种草”创作测试,并在AI助理市场使用了小红书工具、内容运营助理在平台进行测试。而从整体使用表现来看,钉钉内置的AI助理在相关能力上,已具备相当可用性。

一、热点收集测试

小米SU7和智己L6这两款作为当前市场关注度颇高的车型,围绕这两款车型的热点话题也是层出不穷,对此我尝试利用钉钉AI助手进行这两款车型的热点信息收集。

从收集情况来看,钉钉AI助手在指令明确的情况下能够实现相关热点信息,但也存在一定的局限性,诸如不具备事实热点更新能力,同时也会在部分热点信息收集时出现基础事实错误。

二、信息素材收集能力测试

于自媒体流程而言,在热点信息出现后,对于有价值的热点,就可能会着手于选题确定并收集相关素材,对此我也分别以“小米SU7和智己L6争端始末”以及“MEGA风波始末”对钉钉AI助手进行的热点素材收集归纳能力测试,从测试结果来看,其对热点时间线的归纳我认为还是可用的。

三、标题创作能力测试

针对小米SU7的火爆市场表现以及智己L6在发布会上错标参数遭遇小米汽车言辞激烈的回应以及随后的舆论争论问题,我让钉钉AI助手分别以“专业写实”风格和“夸张生动”风格生成标题,在其生成的标题中,个人认为这些标题还是紧贴了核心事实,让这些标题具备了可用性。

四、内容生成能力测试

坦率来讲,在内容生成能力上,从测试结果来看其实是喜忧参半的——在标题内容指向明确的情况下,其能够生成具备一定可用性的内容。但在内容指向不明时,则有可能会出现基本的事实错误。

诸如当我让钉钉AI助理以““小米SU7首战告捷:开售27分钟大定破5万,新能源市场再掀波澜”为标题生成一篇新闻稿时,其生成的内容还是具备可用性的,但当我让其以“小米汽车VS智己L6:参数乌龙引发“夜战”,道歉声中暗潮汹涌!”为题生成文章时,其生成的文章则出现了基本的事实性错误,当然在段落标题上,则还是具备可用性的。

五、好物种草文案生成能力测试

在“好物种草”能力上,个人分别以“小米SU7的人车家互联”和“智己L6的螃蟹模式”,要求钉钉AI助理进行好物种草文案创作。从最终的内容呈现来看,钉钉AI助理生成的文案讲清楚了需要表达的核心卖点并进行了场景化的推介,我认为还是具备可用性。

所以综合来看,钉钉内置的AI助手在多项能力上还是达成了较高的可用度,多数时候只需要进行简单的校对调整,即可输出一份创作文案。

当然,其也与诸多AI智能助手一样,存在偶发性的Bug——诸如新闻稿生成中所出现的关键事实错误,同时在叙事逻辑性、内容流畅性等方面,也都还有可进步空间。

六、AI助理应用市场内应用能力测试

4月18日,钉钉也在AI助手中上线了AI助理市场,应用市场被划分为了多个板块,同时钉钉在AI助理市场也为用户开放了DIY能力——用户可以根据自身业务需求搭建专属的AI助理应用,这让用户多样化的AI能力需求在某种程度上有了被满足的可能性。当然,前提是用户需要具备一定的编程能力,或许才能实现较好的效果。

而在已上线的应用中,仅就个人的测试体验来看,其表现是难言满意。于科技自媒体的工作定位而言,运营推广内的相关AI应用是我最为感兴趣的。而由于最近比较沉迷玩小红书,所以试用了在运营推广板块中较热的“爆款小红书生成器”这款AI助理应用。

但测试结果却难言满意——从测试结果来看,其对小红书文案的封面设计、标题内容等相关建议还是有参考价值的,但在用户指令下生成的文案内容却显然是不合格的,甚至会有基本的事实错误,诸如在华为Pura70系列的AI消除功能能消除衣物的这一热点事件中,其生产的小红书文案居然出现了“衣物护理”、“环保理念、延长衣服寿命”等文案内容。

当然,这或许是一个特例,但这似乎也预示着:当前AI助理市场的应用还是比较稚嫩的,其产品质量还有待提升。

写在最后

智能化时代浪潮汹涌澎湃,钉钉是弄潮儿之一。而从一个科技互联网自媒体的需求角度而言:在体验完钉钉的AI智能助理后,仅在我所在的领域,个人认为钉钉AI助手其多项AI能力其实已具备了较高的可用性,能为我带来效率的提升。虽然它还不完美,甚至会有一定几率发生基本事实错误,但其所展现出的多面手的能力,我认为假以时日,其真的有可能成长为一位超级助理,而这也勾勒出了令人期待的未来。

专栏作家

邻章,微信公众号:TMT317,人人都是产品经理专栏作家。专注科技互联网评论,致力传递价值思考。关注电商、移动互联网、人工智能、智能手机等产业。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!