RAG 质量评估：常见问题

运行评估需要特殊的模型权限吗？

不需要。任何支持标准对话接口（如 GPT-4, Claude 3）的模型都可以作为“考官”来生成合成 QA 对并进行归因分析。我们建议在评估阶段使用推理能力较强的模型，以保证评估结果的权威性。

为什么我生成的合成问题看起来很怪？

这通常是因为你的原始分块（Chunks）切得太碎了，或者是分块中缺乏上下文（例如只截取了一个表格的一行数据）。建议在分块时包含一定的重叠度（Overlap），或在大模型语义分块之前预处理一下文档结构。

我一定要为几千个文档都生成测试题吗？

没必要。为了效率和成本考虑，你只需从每个核心知识类别中随机抽取 5-10 个代表性文档进行“抽查”即可。一般来说，一个包含 50-100 个问题的评估集就足以反映系统的性能趋势。

这个工具能解决 AI “一本正经胡说八道”的问题吗？

它不能直接修改模型的权重，但它能帮你准确定位幻觉的来源。如果归因分析显示是“检索到了错误信息”，你可以优化分块策略；如果是“检索对了但模型理解错了”，你可以通过 Few-shot Prompting 等方式进行生成调优。

只能评估中文文档吗？

当然不是。它支持多语言评估。只要你的底层模型具备理解对应语言的能力，就能生成相应语言的 QA 对。