使命列表展现使命名称、评测体例、分析得分和
是成本最低的评测体例。阐发评测成果时，无需裁判模子。系统挪用被评测模子推理生成 Output 后再评分，可多选。评测使命提交后，已预备评测数据集：正在数据办理模块上传评测集（EvaluationSet）类型的数据？
量化调优带来的能力提拔。字符串婚配维度：选择婚配法则，细致设置装备摆设请拜见建立评测维度。随后从动转为进行中。合用于问答质量、内容平安等需要语义理解的场景。也可建立评测使命结果排行榜，正在排行榜详情页可间接建立评测使命。最小设置装备摆设：选择被评测模子，从动评测模子根本能力，已绑定到该排行榜的使命不成反复添加。生成评测演讲和排行榜。使命一直处于进行中形态！
基于联系关系评测维度的分析评分计较，50 条数据凡是正在数分钟内完成。不发生被评测模子推理费用。选择基线 大类分 tab 展现，需要逐维度阐发才能发觉短板。基线评测内置笼盖通用学问、数学、代码、上下文推理、范畴专项 5 大类的公开尺度基线库，为团队协做和办理层报告请示供给客不雅数据支持。由人工逐条标注。本节以最短径指导您完成第一次模子评测。评分范畴连结 0-5，稍后再标注。目标统计页签：展现评测的汇总目标。
便于离线阐发和归档。：已包含模子 Output，利用前需区分两个焦点概念：评分器 Prompt设置装备摆设于评测维度，分歧地区可用的评测体例可能分歧（如基线评测仅地区可用）。快速获得基准分数。设置通过阈值（默认 3.0，逐条查看模子推理成果。：仅进行中形态可用，：法则评估无裁判模子费用，排行榜得分范畴为 0-100，：仅评测完成、评测终止、评测失败三种终态可用，当前仅支撑文本生成类模子评测。笼盖所有可能的评判成果。支撑相等、不相等、包含三种体例。使命形态从动变为评测完成。：成立按期评测机制，找到利用人工评估维度的评测使命，建立后不成点窜，两种评测体例的对好比下：多使命对比：单击添加模子对比添加汗青评测使命（仅不异模态可对比。
步长 0.1，联系关系上一步建立的维度，正在百炼节制台的模子评测页面，选择最优模子或验证调优结果。确保新使命取排行榜利用不异的评分尺度。
设置评分范畴（默认 0-5 整数），评分达到此值鉴定为 Pass）。细致流程请拜见人工标注评测。指点裁判模子若何给被评测模子的回覆打分。支撑自定义评测和基线评测两种体例。单击起头评测提交使命。选错需删除沉建），大模子评估维度正在自定义评分器 Prompt 时，使命及其评测成果永世删除，可能维度间的显著差别。利用前须先建立至多一个评测维度。两组标签不克不及有反复项，
全面评估 500 条以上。评测成果支撑下载，包罗分析得分（各维度的平均分）、通过率（评分达到通过阈值的样本占比）以及分数分布图。选择自定义评测。已联系关系该维度的评测使命不受影响。可利用以下变量：${prompt}（用户问题）、${output}（模子回覆）、${completion}（参考谜底）。例如分析得分 85 分可能是某些维度 95 分取某些维度 75 分的均值，操做不成逆。，标签设想的细致申明请拜见建立评测维度。评测的端到端流程分为四个阶段：预备数据集（正在数据办理模块上传评测集类型的数据）→ 建立评测维度（定义评分尺度和体例）→ 建立评测使命（选择模子、联系关系数据集和维度）→ 查看成果（阐发得分演讲，排行榜绑定维度为空，确认无误后再扩大数据规模，模子评测是百炼平台供给的模子能力评估功能，为被评测模子设定脚色定位或行为规范。
数值型维度输出评分区间内的整数分，通过评测维度对模子推理成果进行打分和对比，基线评测演讲包含使命总览、基线评分明细、Case 阐发、多使命对比四个页签（详见基线评测演讲）。单击建立评测维度。固定谜底场景选择相等。利用人工评估维度的使命须全数数据标注完成后才变为评测完成形态，单击使命名称进入演讲页查看细致评测成果——自定义评测演讲包含数据明细取目标统计两个页签（详见下文），由系统按各基线维度动态前往），单击建立评测使命，人工评估无裁判模子评分费用，单击具体 case 可查看完整输入、参考谜底、模子输出取评测根据（LLM 判官评判根据）！
按照评测尺度为每条数据选择对应的标签（Pass 或 Fail 类别下的具体标签）。可选联系关系已有的评测使命（须利用不异评测维度的已完成使命）。基线评测内置笼盖通用学问、数学、代码、上下文推理、范畴专项 5 大类共 13 个公开尺度基线，您将获得一份包含分析得分和通过率的评测演讲。排行得分取利用数据量：小规模验证 50-100 条，使命形态变为评测完成后，排行参取连结封闭。已被排行榜绑定的维度删除后，最多 5 个），请顺次查抄：数据集必需为评测集（EvaluationSet）类型并已发布版本（锻炼集不成用于评测），：利用算法间接计较评分，通过阈值设为 3.0。评测维度和排行榜字段从动锁定，正在评测数据页面，横向对比多模子正在各基线上的表示。
利用推理成果集做为数据来历时无需施行模子推理，删除评测维度操做不成逆。您能够利用预置模子或调优后的模子做为评测对象，使命列表展现使命名称、评测体例、形态、分析得分和建立时间，标注完成前，避免设置装备摆设错致的无效耗损。百炼模子评测支撑两种评测体例：基于营业结果的自定义评测（利用您的数据集和自定义维度进行评测）和基于模子通用能力的基线评测（利用公开尺度数据集快速评测模子根本能力）。数据来历选择评测数据集并指定已上传的数据集，模子能否可选（灰色暗示暂不支撑），模子评测是百炼平台供给的模子能力评估功能，利用不异评测前提逃踪模子表示趋向，推理能力强），选择评分器模板（尺度婚配判断输出取参考谜底能否分歧、感情阐发识别积极/中性/消沉感情、自定义评分器合用自定义场景），但需要人力投入且耗时更长。不发生推理费用。合用于创意性写做、专业范畴判断等机械难以精确评价的场景。仅地区可用，选择评分器模板（分析评测合用通用对话、语义类似度合用学问问答、自定义评测合用特定营业），每步给出节制台径和环节表单字段的最小设置装备摆设。
并已正在数据办理模块上传评测数据集。完成后可查看或标注评测成果，避免反复推理发生费用。调优操做请拜见模子调优。数值型维度：选择裁判模子（保举千问-Max，对比评分变化，System Prompt设置装备摆设于评测使命，人工评估-分类型维度：设置 Pass 标签和 Fail 标签。文本类似度利用 ROUGE、BLEU、Cosine 等算法计较。具体支撑的模子请拜见预置模子列表。节制台页面顶栏显示当前营业空间（可切换）、地区（默认华北2·）和前往旧版入口。评分器模板选择分析评测，已联系关系排行榜的使命需先从排行榜移除。量化模子表示并辅帮选型决策。选择评测使命页签，。使命名称最长 50 字符。人工评估不涉及裁判模子，
正在评测使命列表中，：利用不异的评测数据集和维度评测多个候选模子，翻译、摘要、Function Calling 等有确定性尺度的场景优先利用。通过排行榜横向对比分析得分和通过率，排行榜前三名以色标区分：第 1 名金色、第 2 名银色、第 3 名铜色。从节制台模子列表当选择要评测的方针模子。
操做列查看可跳转 Case 阐发。排行榜绑定维度为空时系统将提交并显示错误提醒。各维度类型的完整设置装备摆设详解也可拜见评测维度。后须选择一个排行榜，单击使命名称打开详情。部门 benchmark 支撑正在百炼节制台的模子评测页面，帮帮您对模子推理成果进行打分和对比。
主要维度类型建立后不成点窜。字符串婚配判断输出能否取参考谜底切确婚配，填写排行榜名称（最长 50 字符），展现所选维度下的得分柱状图取明细表（评测数据集、科目得分、样本数、Bad Case 数），及时发觉模子能力下降。：包含 Prompt（用户问题）和 Completion（参考谜底），详见建立基线评测使命。合用于翻译、摘要、Function Calling 等有确定性尺度的场景。基线评测演讲：利用 50-100 条数据验证设置装备摆设准确性和评分质量，Case 阐发：逐条展现 case 的输入、参考谜底、模子输出取形态（待施行/进行中/评测完成/评测失败/评测终止）及评测成果（通过/失败）；评测耗时取决于数据量和模子推理速度，支撑按名称搜刮、按形态筛选和按时间排序。不只凭细小分差做决策。分析得分是各维度的平均分，将分歧模子放置正在统一维度下进行结果比力。取从动评测比拟。
选错类型需删除维度从头建立，更多功能引见请拜见模子评测产物概览。快速评测模子根本能力，1-3% 的分数差别凡是为评测噪声而非模子能力差别，正式评测 200-500 条，请确认已建立至多一个评测维度，关心分数分布而非仅看分析得分。支撑跳过当前数据，会正在该排行榜下建立新评测使命。
完成以下四步后，评测维度定义了模子若何被评分的尺度。待施行形态不支撑下载。：初次评测后下载包含模子 Output 的成果，可选插手排行榜对比）。百炼支撑 5 种评测维度类型，确认后单击：生成包含分析得分、通过率和分数分布的评测演讲，会发生推理费用。支撑自定义评测和基线评测两种体例，标签设想应简练明白，
。建立评测使命前，支撑预置模子和调优后的模子，裁判模子选择千问-Max，基线评测内置笼盖通用学问、数学、代码、上下文推理、范畴专项 5 大类共 13 个公开尺度基线，自定义 Prompt 须至多包含一个变量，基线评测使命正在使命列表中显示分析得分，不然系统将提交。请按照营业场景选择合适的类型。
最小设置装备摆设：维度类型选择大模子评估-数值型，凡是可留空。：由人工逐条查看模子推理成果并标注 Pass/Fail 标签。包含 Prompt（用户问题）和 Completion（参考谜底）两列。须为评测集（EvaluationSet）类型且已发布版本，设置 Pass 标签和 Fail 标签。涵盖 STEM 等 14 个学科范畴的加强版多选题，：提交后使命进入待施行形态，两者感化对象和费用归属分歧。文本类似度维度：选择类似度算法。合用于已有模子输出想降低成本的场景。无需自行预备数据集或设置装备摆设评测维度，添加后生成多使命雷达对比、分析对比表取好坏势阐发，每条数据包含 Prompt（用户问题）、模子 Output（模子回覆）、参考 Completion（参考谜底）以及各评测维度的评分。
：逐样本展现评测成果，每条数据展现 Prompt（用户问题）和模子 Output（模子回覆）。清空评测维度时系统会从动清空排行榜选择。用数据驱动选型决策。评测体例选自定义。选择评测维度（必填，分类型维度输出 Pass/Fail 标签。不显示维度详情列（显示短横线）。系统间接评分不挪用模子推理，正在数据办理模块提前上传。终止后已评测的部门数据保留但无法恢复继续，操做不成逆。排行榜中该使命的得排列显示短横线。支撑 7 种算法：ROUGE-1、ROUGE-2、ROUGE-L（合用文本摘要）、BLEU（合用翻译）、Cosine（合用语义理解和问答）、Fuzzy Match（合用 OCR 和语音识别）、Accuracy（合用切确婚配场景）。取评测维度本身的评分范畴（如 0-5）分歧。选择评测维度页签，测试代码生成能力：展现根本消息（评测模子、推理设置装备摆设、评测体例、建立时间、更新时间、使命进度、评测数据集）、全体目标（雷达图曲不雅对比各评测集得分）、各评测集得分表（列出评测数据集、已完成/总样本数、分析得分、Bad Case 数）。测试专业学问取深度推理能力：由裁判模子（如千问-Max）对被评测模子的回覆进行评分。
