一次评估如何进行。

1. 1 · 评估

   发布评估运行

   发布前，针对实验室自行托管的接口；发布后，在公开权重上进行。十到十五项基准测试，覆盖两到三个检查点；发现失效点时转入针对性对抗性测试。

2. 通过

   每项任务都写入公开记录

   任务写入公开记录：哪个模型、哪一类测试、多少算力。我们不发布评估结果，只提供让人们运行评估的基础。

   未通过

   复现与诊断

   我们协助复现和诊断发现。下一步由实验室选择。

3. 2 · 实验室选择

   复测

   在实验室于自身系统上做出修改后，以同一设置重复受影响的评估。

   发布前的安全微调

   当实验室希望修复我们发现的问题时进行。作为单独批准的任务运行，并记录在其他参与方可见的公开记录中。

   深入诊断

   在公开权重上进行可解释性与诊断。研究项目按成本价或更低收费。

   照原样发布

   由实验室选择。每项任务都写入公开记录。

4. 3 · 复测并记录

   实验室回应后免费复测

   作为合作方，我们复现和诊断发现，并在实验室回应后免费复测。每项任务都写入公开记录。

来信时请说明模型及你想运行的内容：[email protected]