大模型微调效果不佳？问题可能不在数据量，而在数据质量。本文以医药研发模型为例，提出三维度数据质量评估框架与五步实操流程，教你如何科学评估微调数据，避免“调了不如没调”的尴尬。

之前有分享过怎么做企业问答agent和问数的评测，但涉及到专业领域往往还是需要微调大模型来实现，如医药、法律等。那么涉及到大模型微调项目，我们需要怎么做评测呢？

今天这一篇主要针对大模型微调前，产品需要做几个事情来做介绍，以医药研发模型为例，通过 三维度数据质量评估框架 和五步实操流程 手把手带你学会做微调大模型的评估。

一、背景介绍

某医药企业正在进行大模型微调项目，目标是打造智能医学助手。

项目背景：

1）使用开源大模型（如DeepSeek/Qwen/GLM系列）进行本地部署（数据敏感性考虑+成本可控）

2）准备了多模态语料：

（1）企业特色医学理论体系（企业核心优势）：

• 企业创始人医学专著、论文
• 基于特色理论的临床案例和用药方案
• 理论指导下的产品研发文献

（2）10万+条药品说明书和临床文献（文本）

（3）数千份影像报告+标注（图片）–这里的标注团队建立和管理后续文章再介绍，感兴趣的可以蹲。

（4）数百场专家论坛视频（视频）-有字幕版和没有字幕版

（5）数十场圆桌会议记录（音频转文本）

（6）数千份产品宣传物料（图文混合PDF）

微调结果：

• 基础模型测试准确率：72%
• 微调后准确率：65%
• 问题：调了不如没调

数据准备需要：

• 格式正确（JSON/MP4/PDF都解析成功）
• 标签完整（每条数据都有标注）
• 数量充足（10万+条多模态数据）
• 没有空值、重复值

二、传统数据检查为什么不够？

深入分析数据样本，发现了这些问题：

文本数据问题

• 70%是基础常识：“感冒吃什么药？”（复杂度不足）
• 部分说明书来自20年前版本（准确性存疑）

图像数据问题

• 影像报告以常规类型为主（病灶类型单一）
• 缺少疑难病例的高级影像数据（多样性不足）

视频数据问题

• 专家论坛视频质量参差不齐（音质差、PPT模糊）
• 内容以行业通识为主，缺少前沿研究讨论

圆桌会议问题

• 音频转文本错误率高（专业术语识别不准）
• 讨论内容口语化，缺少结构化整理

产品物料问题

• 宣传册重复内容多（同一产品不同版本的营销材料）
• 图文混排复杂，存在技术方案选择问题：

方案A：传统OCR

• 流程：识别文字位置 → 提取文本 → 理解内容
• 问题：丢失图像布局、标注箭头、图表关系
• 风险：医学宣传册常见的”产品对比表”、”使用流程图”等结构化信息会丢失

方案B：VL（视觉-语言）模型

• 流程：直接理解图像+文字的整体语义（如GPT-4V、Qwen-VL）
• 优势：保留空间关系、能理解标注、识别图表
• 适用：影像报告、产品宣传册的图文混排场景

影响： 技术方案的选择会直接影响后续的数据质量评估标准

企业特色理论数据问题

• 理论文献占比不足（与常规医学资料比例失衡）
• 缺少特色理论与现代医学的关联案例
• 企业差异化优势未充分体现在训练数据中

核心问题：这些数据对模型学习有用吗？

传统检查只看”数据有没有”，不看”数据好不好”。

三、新方法：三维度数据质量评估

传统检查关注”有没有”，新方法关注”好不好”。

核心理念：用推理损失逆向验证数据质量

即：先用小规模数据微调，看模型的推理损失下降情况，反推数据质量。

维度1：复杂性（Complexity）

定义：数据是否能让模型学到新知识？

文本数据指标：

• 句子长度：平均15-30词（太短=简单，太长=噪音）
• 专业术语密度：10-20%
• 推理步骤：是否包含”因为…所以…”的因果链

示例对比：

• 不要做：低复杂度：“感冒吃XX药”
• 要做：高复杂度：“患者表现为风热感冒症候（发热、咽痛、黄痰），根据企业特色理论’XX理念’，选用XX药清热解毒、宣肺泄热”

图像数据指标：

• 病灶复杂度：多发病灶 > 单一病灶
• 图像质量：清晰度、对比度评分
• 标注完整性：是否包含测量数据、位置标注

企业特色理论数据指标：

• 理论深度：基础概念 < 诊疗思路 < 创新应用
• 关联性：是否体现特色理论与现代医学的结合

维度2：可用性（Usability）

定义：数据是否准确、可用？

文本数据指标：

• 准确性：事实错误率 < 5%
• 时效性：过时信息占比 < 10%
• 逻辑连贯性：上下文是否矛盾

图像数据指标：

• 标注准确性：人工抽检准确率 > 95%
• 图像清晰度：模糊、过曝图片 < 5%

视频/音频数据指标：

• 转录准确率：专业术语识别准确率 > 90%
• 音质评分：背景噪音 < 20分贝

VL模型数据指标：

• 图文对齐度：图像与文字描述的一致性
• 结构识别准确率：表格、图表提取完整性

维度3：多样性（Diversity）

定义：数据是否覆盖多种场景？

疾病类型多样性：

• 常见病、罕见病、慢性病的比例
• 企业特色理论优势病种占比

数据来源多样性：

• 文献来源：学术期刊、临床指南、企业专著
• 地域分布：不同医院、不同地区的病例
• 时间跨度：近5年的最新研究

表达方式多样性：

• 文本：书面语、口语、方言表达
• 视频：PPT讲解、手术演示、圆桌讨论
• 图文：产品手册、学术海报、患教材料

企业理论体系多样性：

• 理论层面：基础概念、诊疗方法、创新研究
• 应用层面：不同病种的理论应用案例

四、五步实操流程

第一步：数据准备与采样

分层采样：

• 按数据类型分层：文本/图像/视频/音频
• 按疾病类型分层：常见病/罕见病/特色理论优势病种
• 按复杂度分层：简单/中等/困难

记录源信息：

• 数据来源（医院、文献、内部资料）
• 采集时间、版本
• 标注人员和审核流程

第二步：三维度计算

针对采样数据，计算三个维度的具体指标：

复杂性评分公式：

复杂度 = 0.4×专业术语密度 + 0.3×推理步骤数 + 0.3×句子长度归一化

可用性评分公式：

可用性 = 0.5×准确性 + 0.3×时效性 + 0.2×逻辑连贯性

多样性评分公式：

多样性 = 香农熵(疾病类型分布) × 数据源数量系数

第三步：小规模实践

3.1 构建质量子集

根据三维度评分，将数据分为：

• 高质量集（三维度评分 > 0.8）
• 中质量集（三维度评分 0.5-0.8）
• 低质量集（三维度评分 < 0.5）

每个子集抽取1000条数据。

3.2 微调实验

基础模型选择：

• 开源模型（如LLaMA-2-7b、Qwen-7b）
• 本地部署（数据敏感性考虑）

注：不同规模模型（1B/7B/13B）对数据的敏感度不同，评估标准需针对具体模型调整

微调方法：

• LoRA微调（参数高效、成本可控）
• 训练参数：学习率2e-4、epoch 3、batch size 8

实验设计：

每个质量子集单独微调一个模型，共3个模型。

3.3 效果测试

准备200-300条新数据（未参与训练），计算：

• 每个微调模型的推理损失（Loss）
• 对比基础模型的推理损失

预期结果：

• 高质量集微调的模型：Loss显著下降
• 低质量集微调的模型：Loss下降不明显或上升

第四步：建立本地评估函数

目标： 基于数据特征和微调效果，建立定制化的质量评估函数。

数据收集：

• 构建10-20个不同质量的数据子集
• 计算每个子集的三维度指标
• 每个子集小规模微调，记录推理损失

统计分析：

使用线性回归或决策树，建立映射关系：

预测Loss = f(复杂性, 可用性, 多样性)

函数应用：

用这个函数评估新数据，预测如果用它微调，模型可能的表现。

第五步：迭代优化数据

优化策略（看过程）

复杂度低 →

• 加细节：补充病理机制、用药原理
• 加背景：补充患者病史、检查结果
• 加推理步骤：体现特色理论诊疗思路

可用性低 →

• 人工审核修正：纠正事实错误
• 奖励模型过滤：自动识别低质量数据
• 用户反馈循环：收集临床医生反馈

多样性低 →

• 加数据来源：补充不同医院、地区的案例
• 加场景：补充罕见病、疑难病例
• 加边缘案例：补充企业特色病种

五、效果评估（四维度）

维度1：预测准确率

验证方法：

• 提前留20%数据作为验证集
• 对比预测Loss和实际Loss
• 计算相关系数（Pearson > 0.7为合格）

示例：

• 高质量数据预测低Loss → 实际低Loss ok
• 低质量数据预测高Loss → 实际高Loss ok

维度2：业务效果提升

A/B测试设计：

• A组：使用基础模型
• B组：使用微调后模型

业务指标：

• 智能问诊准确率提升
• 医生审核通过率提升
• 患者满意度提升
• 平均对话轮次降低

统计显著性：

使用t检验确认差异是否显著（p < 0.05）。

维度3：成本效益分析

公式：

净收益 = 业务价值 – (数据清洗成本 + 微调成本)

示例计算：

• 业务价值：问诊效率提升20%，节省人力成本XX万/年
• 数据清洗成本：XX万（人工审核+工具）
• 微调成本：XX万（GPU时间+人力）
• 净收益：XX万/年

维度4：鲁棒性测试

不同规模模型：

• 1B/7B/13B模型的评估函数是否仍然有效
• 评估函数在至少2个不同规模模型上准确率>70%

不同任务类型：

• 对话生成、文本分类、知识问答

不同领域：

• 心血管、呼吸系统、内分泌（企业优势领域）
• 其他专科领域

时间变化：

• 3个月后重新评估，准确率是否保持

通过标准：

70%以上场景保持有效。

六、总结

大模型微调，质量比数量更重要。

四个关键原则

1. 可量化：用三维度指标+推理损失，让数据质量可测量
2. 质量>数量：1000条高质量数据 > 10000条低质量数据
3. 结合实际场景：企业特色理论、业务特点必须体现在数据中
4. 没有万能公式：评估函数需要针对具体模型、具体任务定制

产品经理的核心职责

• 在微调前，推动数据质量评估
• 在微调中，监控三维度指标变化
• 在微调后，验证业务效果提升

附录：配套资料清单

如需实施本方法论，建议准备以下配套工具：

1）三维度评分计算Excel模板

• 复杂性/可用性/多样性指标计算表
• 自动评分+可视化

2）微调实验记录表

• 子集配置记录
• Loss变化追踪
• 实验对比分析

3）A/B测试设计模板

• 业务指标定义
• 统计显著性计算

4）成本效益分析表

• 投入产出计算
• ROI评估

5）鲁棒性测试检查清单

跨模型/跨任务/跨领域测试矩阵

注：本方法论基于真实项目经验，具体数据已脱敏处理。