自定义评测界面:快速入门

自定义评测界面:快速入门

Written By
技能练习生
技能练习生

如果你正对着一大堆刚导出的 AI 对话 JSON 文件发愁,别担心。只需短短几步,我们就能把这些杂乱的数据,变成一个干干净净、点一下就能标注的评审系统。

准备好你的材料

在开始之前,你只需要确定一件事:你有一份存着 AI 对话记录的数据文件,比如叫做 my_ai_traces.json。它可以是一个包含多条对话的大列表。

第一次尝试

就像跟老朋友打个招呼一样,你可以这样对我说:

“帮我把 my_ai_traces.json 的内容显示成一个标注页面,每个对话都要能打分,还要能写备注。”

接下来会发生什么

  1. 我会自动分析你的 JSON 结构,提取出系统提示词、用户提问和 AI 的回答。
  2. 我将为你生成一个 HTML 页面文件。
  3. 你可以直接在浏览器里打开它,你会看到:
    • 左侧是对话的全程回溯,排版清爽。
    • 右侧有醒目的 Pass(通过)和 Fail(不通过)按钮。
    • 下方有一个输入框,方便你随时写下评价。

在这个页面中,你每点一次打分,所有的评价都会自动实时保存回本地的 CSV 文件中。

试试快捷键,效率翻倍

当你进入状态后,连鼠标都省了:

  • 1 表示「Pass」
  • 2 表示「Fail」
  • 左/右箭头 切换上一条或下一条

当你通过键盘快速切换并审阅几百条、几千条 Trace 时,你会发现评估 AI 效果居然能这么丝滑。