Test4AI 技术方法与实战培训
从"测试"到"评测"——掌握 AI 质量管控核心方法论

上午 09:30-12:00

M1：从"测试"到"评测"

• 场景：AI 客服机器人的"测试陷阱"——传统 50 条测试用例全部通过，上线后仍出现老年人语音识别准确率低、少数民族姓名回复错误等问题
• 核心问题：为什么"测试通过"不等于"质量合格"？传统测试回答"功能对不对"，AI 评测回答"质量好不好、风险可控不可控"
• 传统测试 vs AI 评测对比：验证对象（确定性逻辑 vs 概率性输出）、正确性标准（Pass/Fail 二元判定 vs 质量评分准确率/召回率/F1 等连续值）、测试数据（覆盖代码路径的用例集 vs 代表真实分布的样本集）、失败模式（功能缺陷 bug vs 幻觉/偏见/退化/对抗攻击）、生命周期（发布前验证为主 vs 全生命周期持续监控）
• 现场对比演示：同一功能在传统测试框架与 AI 评测框架下的不同验证方式（传统：输入"查订单12345"→断言返回状态码 200→Pass；AI 评测：输入 100 个不同表述的查订单请求→评估准确率/完整性/一致性→评分）
• 讲师引导讨论：为什么 AI 系统需要"评测"而不仅仅是"测试"

M2：模型评测的技术概览

• 场景：大模型选型决策——从 3 个候选大模型（客服对话/文档摘要/代码生成）中科学比较选择，不能只看厂商宣传 benchmark
• 评测维度体系：功能与精度（准确率、召回率、F1 值、BLEU/ROUGE）、性能基准（推理延迟 P50/P95/P99、吞吐量、内存占用）、安全与对齐（有害内容拒绝率、过度拒绝率、红队通过比例）、公平性（跨人群/语言/文化群体的输出一致性）
• 主流基准数据集：MMLU（多任务理解）、TruthfulQA（事实性）、HumanEval（代码生成）；行业自建基准需遵循代表性和可复现原则
• 开源工具：MLflow Eval（实验管理与评测）、LangTest（对抗样本与鲁棒性）、RAGAS（RAG 系统评测）
• 自建评估：LLM-as-a-Judge 框架（用强模型评估弱模型输出质量）
• 演示：MLflow 模型评测全流程（启动服务创建实验→加载 Qwen-7B 配置 MMLU→执行评测实时监控→查看报告各维度得分/对比图表/置信区间）

M3：模型评测的基本方法 + 阶段练习

• 场景：文本分类模型的"实验室通过、生产翻车"——内部测试集准确率 95% 但上线后用户投诉，根因是训练数据和生产数据的分布差异
• 离线评测：静态基准测试（固定测试集计算精度，测试集须与训练集独立且有代表性）、压力测试（边界值/极端输入/对抗样本，用 LangTest 生成拼写错误/同义替换等扰动）、消融实验（逐模块移除评估组件贡献度）
• 在线评测：灰度发布+A/B 测试（新旧模型并行，新模型流量从 5% 逐步扩到 50%）、数据漂移检测（输入分布偏移自动告警，PSI 群体稳定性指数 >0.2 触发告警）、模型退化监控（关键指标时序趋势分析）
• 说明：LLM-as-a-Judge 方法将在 M6 模块中详细讲解
• 阶段练习：给定模型输出，各组用评分卡从准确性、完整性、语气一致性、安全性 4 个维度打分（1-5 分），组间交叉校验并讨论评分差异原因

下午 13:00-16:30

M4：AI 原生应用评测技术概览

• 场景：AI 旅行助手的"功能都正常，体验却崩溃"——单测每个功能正常，但综合任务出错，问题不在模型在编排
• 评测层级与关注点：模型层（单轮推理质量，典型失效为幻觉/事实错误/逻辑矛盾，方法为基准测试+人工评估）、工具调用层（函数选择与参数填充，典型失效为选错工具/参数解析错误/序列化异常，方法为参数校验+错误处理测试）、流程编排层（多步任务分解与执行，典型失效为步骤遗漏/顺序错误/死循环，方法为轨迹级端到端测试）、用户体验层（端到端满意度，典型失效为响应延迟/上下文丢失/人格不一致，方法为多轮对话测试+满意度调研）
• 关键洞察：AI 原生应用的失效往往不在模型本身，而在"模型+工具+记忆+流程"的编排层
• 演示：AI 旅行助手对话日志分析（多轮对话日志逐行分析函数调用/参数/上下文保持，标注编排层失效点）

M5：AI 原生应用评测的基本方法

• 场景：测试 AI 旅行助手多场景请求（订机票需正确解析出发地/目的地/日期/时间/舱位所有参数并处理异常）
• 函数调用能力测试：参数验证（正确解析 {出发地:北京, 目的地:上海, 日期:下周五, 时间:上午, 舱位:经济舱}）、错误处理（航班 API 返回空结果时给出合理替代方案）、多轮上下文（用户追加"改到下午"理解为修改而非新建请求）
• 非功能特性测试：可靠性（连续调用 1000 次的稳定性/内存泄漏/性能衰减）、API 安全（鉴权/限流/防注入机制）、隐私合规（用户信息加密存储与模型记忆泄露防护）
• 输出结果评估方法：自动评估规则断言（明确标准答案场景，高效可重复但无法覆盖开放场景）、LLM-as-a-Judge 打分（生成式任务，覆盖面广但评估模型有自身偏见）、人工评估专家标注（高敏感场景，质量高但成本大速度慢）、混合评估（生产环境常规监控，自动筛异常+人工复核边界 case）
• 实操小组讨论：智能客服/代码助手/文档摘要三选一，讨论函数调用层与流程编排层的典型测试点，每组列至少 5 个测试点并标注优先级

M6：评测理论、特殊性与完整流程

• Part A 可验证性与公平性理论：场景——AI 招聘工具性别偏见（对女性候选人评分系统性偏低如何验证与修复）；可验证性（每个评测结论须可复现/可追溯/可解释，需评测数据版本管理、结果置信区间、决策链可审计性）；公平性三类定义（统计均等=不同群体通过比例相同、机会均等=真正例率相同、个体公平=相似个体获相似结果）
• Part B AI 评测特殊性 + 模型 vs Agent 能力：非确定性输出（同一输入多次运行结果不同→统计评估+分布对比而非单点断言）、评估标准模糊（"好回答"无唯一标准→建立评分量规 rubric 校准评估者一致性）、长尾场景覆盖难（真实用户输入分布无限→基于生产日志主动采样+对抗样本生成）、上下文依赖（多轮对话前序交互影响后续→轨迹级评估而非单轮评估）；模型 vs Agent 能力对比（"北京今天天气如何"模型直接回答可能过时 vs Agent 调用天气 API 获取实时数据；"对比 3 家酒店价格并推荐"模型凭训练数据猜测 vs Agent 依次调用搜索/比价/排序工具；"帮我写邮件并发送"模型只能生成文本 vs Agent 生成文本+调用邮件 API+确认发送）
• 关键结论：模型能力评测回答"模型懂不懂"，Agent 能力评测回答"智能体能不能把事办成"；指标从 token 级 perplexity 转向任务成功率、工具调用准确率、轨迹效率
• Part C AI 原生应用评测的完整流程（端到端 6 步法）：1 需求分析（输入业务场景/用户画像/风险等级→输出评测范围定义文档，卡点是否覆盖核心与高风险场景）、2 方案设计（输入评测范围→输出评测方案维度+指标+工具+通过标准，卡点指标是否与业务目标对齐）、3 数据集构建（输入评测方案→输出标注好的测试数据集，卡点样本代表性/标注一致性）、4 评测执行（输入数据集+被测系统→输出原始评测结果，卡点环境一致性/可复现性）、5 结果分析（输入原始结果→输出分析报告问题分类+根因+优先级，卡点分析深度/改进建议可操作性）、6 报告输出（输入分析报告→输出正式评测报告+改进跟踪表，卡点结论清晰度/行动项明确性）
• Day 1 收尾练习：智能客服/文档助手/代码助手三选一，快速画评测流程图并标注每步输入输出与关键卡点

上午 09:30-12:00

M7：评测数据集准备

• 场景：客服对话数据的"偏科"问题——手头仅 200 条历史对话且 80% 是"查物流"场景，如何构建有代表性的评测集
• 数据来源策略：生产日志抽样（从线上日志随机抽样，真实分布代表性高但标注成本高）、人工编写（测试人员根据经验编写，质量可控覆盖定向但覆盖率受限效率低）、LLM 增强生成（用大模型基于种子 case 生成变体，效率高覆盖面广但需人工校验）、对抗样本生成（LangTest 自动构造扰动样本，系统性覆盖攻击面但可能过于理想化）
• 标注规范设计：标注维度（意图分类、实体抽取、回复质量评分、安全等级）、标注指南（清晰判定标准和边界 case 示例确保一致性）、标注一致性（Cohen's Kappa 系数 ≥0.7 为可接受，低于 0.7 需修订指南）
• 样本规模估算：精度评估（推荐 1000 条，置信水平 95% 误差 ±3%）、安全评测红队（200-500 条，覆盖主要攻击类型和变体）、公平性评测（每子群体至少 100 条，支撑统计显著性）、功能回归测试（300-500 条，覆盖典型+边界场景）

M8：数据集构建实操工作坊

• 场景：为选定的 AI 应用（延续 Day 1 的智能客服/文档助手/代码助手）构建评测数据集
• 实操任务 1 设计标注规范：每组确定 3-5 个评测维度（如意图识别准确率/回复完整性/安全性/语气一致性），每个维度设计 1-5 分评分标准明确判定条件，提供 2 个标注示例（1 个高分 5 分、1 个低分 2 分含理由），交付标注规范文档
• 实操任务 2 构建种子数据集：每组编写 25 条测试样本（正常场景 15 条覆盖至少 3 个业务场景、边界场景 5 条如模糊表述/多意图混合/超长输入、对抗场景 5 条如提示注入/信息诱导/逻辑陷阱），至少包含 5 组多轮对话（每组 3-5 轮），每条样本按标注规范打分并记录理由，交付种子数据集（Excel/CSV 含样本+分数+理由）
• 实操任务 3 交叉评审：组间交换数据集按对方标注规范试标 3 条，计算一致性，讨论模糊规范与分歧边界 case，根据反馈修订标注规范；讲师重点检查标注标准可操作性（能否让不同标注者对同一样本得出一致结论，常见问题维度定义模糊/评分标准缺边界 case 示例）

下午 13:00-16:30

M9：AI 应用质量全生命周期扩展

• 场景：AI 客服"没发新版却越来越差"——上线 3 个月满意度从 85% 降到 72%，根因是数据漂移和用户群体变化
• 全生命周期评测框架：数据准备期（数据质量/代表性，训练数据审计/偏见检测，工具数据画像/统计检验）、模型训练期（收敛性/过拟合，损失曲线监控/验证集指标，工具 TensorBoard/MLflow Tracking）、训练后评估（功能/性能/安全/公平性，全面基准测试/红队测试，工具 MLflow Eval/LangTest）、预部署阶段（集成正确性/生产适配，影子流量测试/压测，工具 A/B 测试框架/压测工具）、生产运行期（漂移检测/异常监控，实时指标看板/自动告警，工具 Prometheus+Grafana）、模型更新期（回归测试/版本对比，A/B 测试/退化检测，工具灰度发布/对比评测）
• 演示：生产监控看板搭建（Grafana 看板模板输入分布漂移曲线/用户满意度趋势/P95 延迟变化，PSI 计算逻辑与告警阈值，PSI>0.2 自动发送通知）
• 快速练习：讨论公司 AI 应用所处生命周期阶段、该阶段关键评测活动、已做与缺失项，每组 1 分钟分享

M11：业界前沿实践与案例分析

• 案例 1 金融风控 AI 系统评测：Agent 模拟黑灰产行为流动态构造欺诈交易序列触发漂移检测；方法为对抗性红队测试+模型漂移检测；教训是安全评测不能依赖固定测试集，攻击手法持续演化
• 案例 2 电商推荐系统多智能体评测：Agent 扮演千人千面用户角色基于实时画像发起多轮会话；方法为多智能体仿真测试+AB 实验验证推荐一致性；关键指标意图匹配准确率（custom LLM-evaluator 86.4% vs 传统 BERTScore 72.1%）
• 案例 3 智能客服轨迹级评测：客服 Agent 正确回答"订单延迟"但调用错误 API；方法为不仅评估最终答案还评估每一步工具调用正确性；关键指标任务成功率+工具调用准确率+轨迹效率（步骤数是否最优）
• 案例 4 大模型安全评测：检测模型是否被提示注入攻击绕过安全护栏；方法为系统化红队测试框架（OWASP LLM Top 10）覆盖 10 类主流攻击向量；关键指标攻击成功率/拒绝一致性（同一攻击多次尝试是否一致拒绝）/过度拒绝率

M12：端到端评测综合实战

• 综合实战方案设计：各组完成完整《AI 应用质量评测方案》含 6 部分——第 1 部分评测范围定义（覆盖场景与风险等级、核心使用场景和高风险场景清单）、第 2 部分评测维度与指标体系（至少 3 个维度如功能/安全/性能/公平性，每维度定义具体指标和通过标准）、第 3 部分数据集构建计划（展示上午种子数据集，补充扩充到生产级规模的计划）、第 4 部分评测执行方案（工具选型 MLflow/LangTest/自建脚本及理由，环境要求和执行步骤）、第 5 部分结果分析框架+汇报准备（通过标准各维度及格线、问题分级致命/严重/一般/建议、改进建议模板）、第 6 部分由第 5 部分合并完成
• 成果汇报与互评：每组 3 分钟汇报核心方案（评测维度选择理由/数据集覆盖策略/执行方案可落地性），其他组提问 1 分钟+讲师点评 2 分钟，评选"最佳评测方案"全组投票

M13：智能体接口测试精讲 + 培训收尾

• 场景：AI 助手对接外部系统的不确定性——数据库查询偶尔超时、邮件发送偶尔失败，如何让 Agent 优雅处理外部依赖不确定性
• 接口测试分层策略：单元测试（每个工具函数输入输出验证，工具 pytest/unittest，示例天气 API 返回正确 JSON 格式）、集成测试（Agent 与外部系统交互正确性，工具 TestContainers/Mock，示例 Agent 正确调用邮件 API 并处理返回）、端到端测试（完整业务流程验收，工具 Playwright/自定义，示例用户说"发邮件"→生成→发送→确认）
• 外部依赖不确定性处理：超时（合理超时设置+重试策略指数退避+降级方案返回缓存结果或友好提示）、限流（请求队列+背压机制+优先级调度）、数据格式不一致（输入输出 schema 校验，确保 Agent 理解外部系统返回数据结构）
• 接口测试实操：给定 Agent 调用外部 API 伪代码（call_weather_api 可能超时/call_flight_api 可能返回空/send_email 可能失败），各组设计测试用例覆盖正常路径（所有 API 正常返回）、超时路径（天气 API 超时 3 秒→重试→仍超时→降级）、错误返回（航班 API 返回空列表→替代方案）、限流路径（邮件 API 返回 429→队列等待→重试）
• 讲师总结：回顾 2 天核心知识点——测试 vs 评测、模型评测四维体系、AI 原生应用评测层级、数据集构建方法、全生命周期框架、模型 vs Agent 能力区分、完整评测 6 步法