01
评测集管理
- 导入业务题库，或由语料平台生成
- 按场景、难度与题型打标签
- 固定版本，防止泄漏到训练数据
功能详解
覆盖完整工作链路的六大能力。
一个总分很难说明模型能否投入使用。场景覆盖、错误类型、回答依据与运行约束，需要放在一起判断。
评测集管理
02
多维评测指标
- 准确性、完整性与事实一致性
- 引用相关性与无依据回答检测
- 安全合规、格式遵循与响应延迟
03
多种评分方式
- 规则与参考答案自动比对
- 大模型裁判（LLM-as-a-Judge）
- 人工复核与多人一致性校验
04
模型横向对比
- 同一测试集、同一条件下多模型并排
- 盲评模式，减少主观偏差
- 质量、成本与延迟综合权衡
05
问题定位与回归
- 失败样本自动归类
- 关键问题沉淀为回归集
- 模型、提示词或知识库更新后复测
06
评测报告
- 按场景汇总表现与限制
- 导出报告与问题清单
- 作为上线与选型的决策依据
输入 / INPUT待评测模型与测试集
输出 / OUTPUT评测报告与问题清单
产品架构
分层清晰，上下游衔接顺畅。
从数据进入平台，到成果交给下游环节，每一层职责明确，并与阿拉丁 AI Stack 的其他产品打通。
输入
- 待评测模型 / 智能体
- 业务测试集与参考答案
- 提示词、知识库与工具配置
大模型综合评测平台
- 评测编排评测任务运行条件固定批量执行
- 评分规则比对大模型裁判人工复核
- 指标准确性事实与引用安全合规延迟与成本
- 分析错误归类模型对比回归集
输出与下游
- 评测报告→ 上线与选型决策
- 问题清单→ 训练 / 语料迭代
- 回归集→ 持续验证
平台支撑MaaS 模型接入权限与审计评测数据隔离私有化部署
应用场景
从具体问题出发，看它怎么用。
SCENARIO 01
大模型选型
- 现状问题
- 多家模型各说各好，各部门用不同问题体验，意见难以统一。
- 怎么做
- 统一业务测试集与运行条件，并排对比质量、延迟与资源消耗。
有依据的选型报告，说明取舍而不只是一个总分。
SCENARIO 02
知识问答上线验收
- 现状问题
- 回答很流畅，但结论不一定有企业资料支撑。
- 怎么做
- 核对事实与引用，加入资料中没有答案的问题，检查模型是否说明限制。
明确的上线质量门槛和待修复问题清单。
SCENARIO 03
智能体任务评测
- 现状问题
- 多步骤任务成功与否难以衡量，问题出在哪一步说不清。
- 怎么做
- 按任务完成度、工具调用正确性与步骤合理性分项评分。
定位到具体失败环节，指导提示词与工具改进。
SCENARIO 04
版本迭代回归
- 现状问题
- 更新模型或提示词后，曾经修复的问题再次出现。
- 怎么做
- 将已确认问题沉淀为回归集，每次更新后自动复测。
每次版本更新都有新旧对照记录。
方案对比
和常见做法比，差别在哪里。
以下按常见方案形态归纳一般特征，便于选型时对照。
| 对比维度 | 公开榜单参考 | 开源评测框架 | 阿拉丁综合评测平台 |
|---|---|---|---|
| 贴近企业业务 | 通用题目 | 需自建题库 | 业务测试集管理 |
| 评分方式 | 固定基准 | 以自动指标为主 | 规则 + 大模型裁判 + 人工复核 |
| 事实与引用核查 | 需自行开发 | 内置引用核对 | |
| 多模型并排对比 | 只看分数 | 需自行整理 | 同条件并排、盲评 |
| 问题归类与回归 | 通常需自建 | 失败样本沉淀回归集 | |
| 报告与决策支持 | 排行榜 | 需自行整理 | 可导出报告与问题清单 |
| 私有化与数据安全 | — | 可自部署 | 支持私有化部署 |
支持 部分支持 / 需额外工作 不支持 / 需自建对比为常见方案的一般特征，具体以各产品实际版本为准。
服务手册
从准备到完成，一步步操作。
先明确目标与边界，再执行任务。以下是工作指导，实际界面和可用功能以部署版本为准。
- 01
定义评测范围
把业务需求拆成可测试的任务，分别描述正常问题、边界问题与不应回答的问题。为每类任务设定判定标准和需要复核的人。
完成检查每个测试类别都有明确目的，标准能被不同评审者一致理解。
- 02
建立固定测试集
从真实场景整理测试样本，补充参考答案、必要依据和标签。将简单、复杂、歧义与信息不足的问题分别分组，并检查样本是否泄漏到训练资料。
完成检查测试样本覆盖预定场景，来源和版本可追溯。
- 03
统一运行条件
固定模型版本、提示词、采样配置与知识库版本。对使用工具的任务，记录工具权限和返回结果；模型对比时保持这些条件一致。
完成检查对比结果来自相同条件，运行配置与输出均被保存。
- 04
执行评分与人工复核
按照既定规则检查输出，在需要时结合人工评审。把事实错误、无依据结论、格式偏差、越界回答与执行失败分开记录。
完成检查评分依据清晰；自动评分与人工判断不一致的样本已复核。
- 05
形成结论与回归集
按场景总结表现与限制，为问题明确修复方向。将关键失败样本加入回归集，模型、提示词或知识库更新后再次执行同一组测试。
完成检查报告包括测试范围、环境、结果与限制，不把局部结论扩展为整体保证。
最佳实践
从具体场景，找到可复用的方法。
每一项实践都包含问题、操作路径与需要保留的成果，帮助团队把经验沉淀下来。
PRACTICE / 01
评估企业知识问答的引用质量
回答看起来流畅，但结论未必由企业资料支持。
- 1
为测试问题准备正确条款与可引用资料，并加入资料中没有答案的问题。
- 2
分别检查答案是否正确、引用是否相关、结论是否超出来源。
- 3
对于信息不足的问题，检查模型是否说明限制并提出必要澄清。
建议保留的成果
问答测试集、引用核对表、无依据回答问题清单
PRACTICE / 02
给模型选型建立共同基准
不同团队用不同问题体验模型，选型意见难以对齐。
- 1
共同选定代表性任务，固定测试样本和判定规则。
- 2
在相同运行条件下记录质量表现，并记录延迟与资源条件。
- 3
按场景比较结果和限制，说明取舍，不只依据一个综合分数。
建议保留的成果
模型对照报告、场景结论、运行条件说明
PRACTICE / 03
把失败案例变成回归测试
更新模型或提示词后，曾经修复的问题再次出现。
- 1
将已确认的问题整理为可复现的输入、预期行为和判断规则。
- 2
固定问题样本及所需知识、工具配置，建立回归集。
- 3
每次更新后运行回归集，对新旧结果差异进行复核和归档。
建议保留的成果
回归测试集、更新对照记录、待处理问题列表
继续探索其他工具