推荐系统中,大模型该做哪一步(下):任务型模型、大模型与知识图谱的分工
上篇解决“为什么不能替代”,下篇解决“应该怎样协同”:
让每种技术只承担它真正擅长的职责。
上篇已经明确:任务型模型负责基于企业历史数据计算概率、排序和增量,LLM不能用语义推理替代统计学习。
但这并不意味着LLM只是推荐系统末端的“话术生成器”。它真正的差异化价值,是把对话、工单、录音和文档中的非结构化需求转化为系统可用的信息,并让复杂业务能力通过自然交互被调用。这套分工并不属于某一个行业,而是可以复用于电商推荐、银行客户经营、运营商存量运营、物流异常处理等大量企业场景。
五、LLM在企业AI场景中的差异化价值
5.1 非结构化信息抽取
企业的CRM、ERP、交易和业务系统存储了大量结构化信息,但用户的近期真实需求常隐藏于以下非结构化数据源中:通话录音、客服对话文本、投诉工单、营业员备注、问卷开放题回答、用户搜索与咨询记录。
LLM可将上述非结构化内容转化为结构化特征标签:
近期搬家:是
宽带办理意向:强
游戏偏好:高
价格敏感度:中
当前痛点:网络延迟
预计办理窗口:30天内
这些标签可作为特征补充,与CRM/BSS数据共同参与下游建模。
5.2 多意图对话理解与工具调度
传统客服系统需人工穷举意图并配置固定工作流。LLM在以下能力上提供了质的提升:
需强调的是,LLM提升了意图理解的灵活性和流程调度的自适应能力,但并未消除业务规则定义。企业仍需预先指定:工具集、输入输出规范、二次确认策略、禁止自动办理场景、权限与合规边界。
5.3 建模辅助
LLM适合作为建模流程中的”协同工具”:
但对于年龄、ARPU、流量、终端等结构化数值型数据,实际的聚类和预测计算仍由K-Means、HDBSCAN、LightGBM等算法完成。
5.4 推荐理由生成与个性化话术
以运营商套餐推荐为例,任务型模型先输出数值化推荐分数,LLM再把结果转化为一线人员和用户能够理解的表达。
任务型模型输出的是数值化的推荐分数:
千兆宽带推荐分:0.81
流量包推荐分:0.73
彩铃权益推荐分:0.22
LLM负责将上述分数转化为面向一线人员或终端用户的可理解表达:
分工逻辑:任务型模型负责”算什么更合适”,LLM负责”如何解释与如何沟通”。
六、协同架构设计
下图展示了企业AI推荐场景中各技术组件的协作关系:

七、知识图谱的定位:关系建模而非替代推荐
知识图谱不能独立替代推荐模型,但它能弥补纯表格建模在多源关联和复杂关系表达上的局限。跨行业复用时,可以围绕以下通用实体组织:

典型关系路径示例:
客户 —属于→ 账户或组织
客户 —发生→ 行为 —对应→ 场景
客户 —已购买/办理→ 产品或服务
产品 —依赖/互斥→ 产品
渠道 —触达→ 客户
规则 —约束→ 客户/产品/渠道
知识图谱承担多源数据语义关联、资格与产品关系表达、基于关系路径的候选召回和推荐解释。推荐模型则负责在候选集中完成概率计算与排序优化。图谱负责把关系组织清楚,不负责代替预测模型做概率判断。
八、分层评估体系
AI产品上线后不能仅评估LLM回答的自然度,需建立覆盖全链路的评估框架:

数据层指标:
字段完整率、数据准确率、更新时效性、实体去重率、标签冲突率、多源关联准确率
模型层指标:
AUC、准确率、召回率、Top-K命中率、排序指标(NDCG/MAP)、概率校准度(Brier Score)、聚类轮廓系数、客群稳定性
LLM层指标:
意图识别准确率、信息抽取准确率、知识召回率、回答正确性与忠实度、工具调用成功率、幻觉率、转人工率、合规通过率
经营层指标:
触达率、点击率、咨询率、办理转化率、增量转化(通过A/B测试剥离自然转化)、客单价、增量收入、退订率、投诉率、单次转化成本、长期用户留存及LTV
九、落地原则
基于以上分析,给出五条可直接应用于企业AI产品设计的技术分工原则:
原则一:结构化预测保留任务型模型。办理概率、流失风险、产品排序、营销增量等涉及数值预测和统计推断的任务,应以企业历史数据训练和评估为基础。
原则二:非结构化理解由LLM承担。录音、对话、工单、文档、备注中的需求识别和意图抽取,是LLM最具差异化价值的应用方向。
原则三:确定性约束由规则系统执行。产品资格、合约限制、资费政策、敏感操作、营销频控等不可由模型自由裁量的边界条件,须由规则引擎强制执行。
原则四:复杂关系由知识图谱组织。用户、家庭、产品、场景和规则之间的多维度关联关系,宜通过图谱建模,为推荐和问答提供可解释的关系路径。
原则五:所有效果通过实验验证。离线指标提升不等于业务收入提升;LLM回答看似合理不等于用户转化意愿提升。必须经过灰度验证、A/B测试和持续复盘,形成效果闭环。
总结
AI时代的关键命题不是”大模型取代一切”,而是基于业务场景对技术组件进行合理分工:
在数据密集型企业的客户经营(如银行金融、电商零售、交通物流等)场景中,路线应为:
基于CRM、ERP、交易和行为数据构建客户画像,通过任务型模型完成办理倾向计算和营销增量评估,依赖知识图谱组织多维实体关系,利用LLM理解非结构化需求并生成个性化交互内容,最终通过A/B测试完成效果验证。(详情见图)

真正有价值的AI产品,不是将大模型简单接入既有系统,而是将数据、模型、知识、规则、流程和评估重新组织为持续学习的业务闭环。
本文由 @是AD 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自 unsplash,基于CC0协议
- 目前还没评论,等你发挥!

起点课堂会员权益




