推荐系统中,大模型该做哪一步(下):任务型模型、大模型与知识图谱的分工

0 评论 1306 浏览 0 收藏 10 分钟

上篇解决“为什么不能替代”,下篇解决“应该怎样协同”:

让每种技术只承担它真正擅长的职责。

上篇已经明确:任务型模型负责基于企业历史数据计算概率、排序和增量,LLM不能用语义推理替代统计学习。

但这并不意味着LLM只是推荐系统末端的“话术生成器”。它真正的差异化价值,是把对话、工单、录音和文档中的非结构化需求转化为系统可用的信息,并让复杂业务能力通过自然交互被调用。这套分工并不属于某一个行业,而是可以复用于电商推荐、银行客户经营、运营商存量运营、物流异常处理等大量企业场景。

五、LLM在企业AI场景中的差异化价值

5.1 非结构化信息抽取

企业的CRM、ERP、交易和业务系统存储了大量结构化信息,但用户的近期真实需求常隐藏于以下非结构化数据源中:通话录音、客服对话文本、投诉工单、营业员备注、问卷开放题回答、用户搜索与咨询记录。

LLM可将上述非结构化内容转化为结构化特征标签:

近期搬家:是

宽带办理意向:强

游戏偏好:高

价格敏感度:中

当前痛点:网络延迟

预计办理窗口:30天内

这些标签可作为特征补充,与CRM/BSS数据共同参与下游建模。

5.2 多意图对话理解与工具调度

传统客服系统需人工穷举意图并配置固定工作流。LLM在以下能力上提供了质的提升:

识别单轮对话中的多重意图
基于上下文消解省略与指代
识别信息缺口并主动追问
根据对话状态选择和调用业务工具(查套餐、算资费、查订单等)
基于工具返回结果组织自然语言回复
在低置信度/高风险场景中触发转人工

需强调的是,LLM提升了意图理解的灵活性和流程调度的自适应能力,但并未消除业务规则定义。企业仍需预先指定:工具集、输入输出规范、二次确认策略、禁止自动办理场景、权限与合规边界。

5.3 建模辅助

LLM适合作为建模流程中的”协同工具”:

根据业务目标辅助特征设计
解析字段字典,识别潜在遗漏变量
将通话、工单、备注转化为结构化标签
生成数据处理与分析代码
解读聚类/预测模型结果
辅助客群命名及运营策略形成

但对于年龄、ARPU、流量、终端等结构化数值型数据,实际的聚类和预测计算仍由K-Means、HDBSCAN、LightGBM等算法完成。

5.4 推荐理由生成与个性化话术

以运营商套餐推荐为例,任务型模型先输出数值化推荐分数,LLM再把结果转化为一线人员和用户能够理解的表达。

任务型模型输出的是数值化的推荐分数:

千兆宽带推荐分:0.81

流量包推荐分:0.73

彩铃权益推荐分:0.22

LLM负责将上述分数转化为面向一线人员或终端用户的可理解表达:

根据您近期流量使用较高、家中尚未办理本运营商宽带的情况,建议优先了解千兆融合套餐,可同时满足家庭上网与手机宽带统一计费需求。

分工逻辑:任务型模型负责”算什么更合适”,LLM负责”如何解释与如何沟通”。

六、协同架构设计

下图展示了企业AI推荐场景中各技术组件的协作关系:

推荐系统中,大模型该做哪一步(下):任务型模型、大模型与知识图谱的分工

七、知识图谱的定位:关系建模而非替代推荐

知识图谱不能独立替代推荐模型,但它能弥补纯表格建模在多源关联和复杂关系表达上的局限。跨行业复用时,可以围绕以下通用实体组织:

典型关系路径示例:

客户 —属于→ 账户或组织

客户 —发生→ 行为 —对应→ 场景

客户 —已购买/办理→ 产品或服务

产品 —依赖/互斥→ 产品

渠道 —触达→ 客户

规则 —约束→ 客户/产品/渠道

知识图谱承担多源数据语义关联、资格与产品关系表达、基于关系路径的候选召回和推荐解释。推荐模型则负责在候选集中完成概率计算与排序优化。图谱负责把关系组织清楚,不负责代替预测模型做概率判断。

八、分层评估体系

AI产品上线后不能仅评估LLM回答的自然度,需建立覆盖全链路的评估框架:

推荐系统中,大模型该做哪一步(下):任务型模型、大模型与知识图谱的分工

数据层指标:

字段完整率、数据准确率、更新时效性、实体去重率、标签冲突率、多源关联准确率

模型层指标:

AUC、准确率、召回率、Top-K命中率、排序指标(NDCG/MAP)、概率校准度(Brier Score)、聚类轮廓系数、客群稳定性

LLM层指标:

意图识别准确率、信息抽取准确率、知识召回率、回答正确性与忠实度、工具调用成功率、幻觉率、转人工率、合规通过率

经营层指标:

触达率、点击率、咨询率、办理转化率、增量转化(通过A/B测试剥离自然转化)、客单价、增量收入、退订率、投诉率、单次转化成本、长期用户留存及LTV

最终有效性判断必须回归经营指标,同时通过对照组实验区分模型贡献与自然行为。

九、落地原则

基于以上分析,给出五条可直接应用于企业AI产品设计的技术分工原则:

原则一:结构化预测保留任务型模型。办理概率、流失风险、产品排序、营销增量等涉及数值预测和统计推断的任务,应以企业历史数据训练和评估为基础。

原则二:非结构化理解由LLM承担。录音、对话、工单、文档、备注中的需求识别和意图抽取,是LLM最具差异化价值的应用方向。

原则三:确定性约束由规则系统执行。产品资格、合约限制、资费政策、敏感操作、营销频控等不可由模型自由裁量的边界条件,须由规则引擎强制执行。

原则四:复杂关系由知识图谱组织。用户、家庭、产品、场景和规则之间的多维度关联关系,宜通过图谱建模,为推荐和问答提供可解释的关系路径。

原则五:所有效果通过实验验证。离线指标提升不等于业务收入提升;LLM回答看似合理不等于用户转化意愿提升。必须经过灰度验证、A/B测试和持续复盘,形成效果闭环。

总结

AI时代的关键命题不是”大模型取代一切”,而是基于业务场景对技术组件进行合理分工:

在数据密集型企业的客户经营(如银行金融、电商零售、交通物流等)场景中,路线应为:

基于CRM、ERP、交易和行为数据构建客户画像,通过任务型模型完成办理倾向计算和营销增量评估,依赖知识图谱组织多维实体关系,利用LLM理解非结构化需求并生成个性化交互内容,最终通过A/B测试完成效果验证。(详情见图)

推荐系统中,大模型该做哪一步(下):任务型模型、大模型与知识图谱的分工

真正有价值的AI产品,不是将大模型简单接入既有系统,而是将数据、模型、知识、规则、流程和评估重新组织为持续学习的业务闭环。

本文由 @是AD 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自 unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!