캠페인 진행 방식

캠페인은 이렇게 진행됩니다.

저희는 이 컴퓨팅 자원을 사용해 새로 출시되는 모델을 평가하고, 안전 문제가 발생하면 연구소와 협력하여 해결합니다. 평가 과정에서 문제가 나타나면, 저희는 연구소가 그 문제를 완전히 해결할 수 있도록 자원을 제공합니다.

  1. 1 · 평가

    출시 평가를 실행합니다

    출시 전에는 연구소가 호스팅하는 엔드포인트를 대상으로, 출시 후에는 오픈 웨이트를 대상으로 실행합니다. 두세 개의 체크포인트에 걸쳐 10~15개의 벤치마크를 수행하며, 실패 지점이 발견되면 표적 레드팀 테스트로 확장합니다.

  2. 통과

    모든 작업을 공개 기록에

    해당 작업은 공개 기록에 기재됩니다. 어떤 모델인지, 어떤 범주의 테스트인지, 컴퓨팅 자원을 얼마나 썼는지. 저희는 평가 결과를 발표하지 않습니다. 사람들이 평가를 실행할 수 있는 기반을 제공할 뿐입니다.

    미통과

    재현과 진단

    저희는 발견 사항의 재현과 진단을 지원합니다. 다음 단계는 연구소가 선택합니다.

  3. 2 · 연구소의 선택

    재검사

    연구소가 자체 시스템에서 변경을 적용한 뒤, 동일한 환경에서 영향을 받은 평가를 다시 실행합니다.

    출시 전 안전 파인튜닝

    연구소가 저희가 발견한 문제의 수정을 원하는 경우에 진행합니다. 별도로 승인된 작업으로 실행되며, 다른 참여자가 볼 수 있는 공개 기록에 기재됩니다.

    심층 진단

    오픈 웨이트를 대상으로 한 해석 가능성 연구와 진단. 연구 프로젝트는 원가 또는 그 이하로 진행됩니다.

    그대로 출시

    연구소의 선택입니다. 모든 작업은 공개 기록에 기재됩니다.

  4. 3 · 재검사와 기록

    연구소가 대응한 뒤에는 무료로 재검사합니다

    협력자로서 저희는 발견 사항을 재현하고 진단하며, 연구소가 대응한 뒤에는 무료로 재검사합니다. 모든 작업은 공개 기록에 기재됩니다.

모델과 실행하려는 내용을 적어 보내 주십시오: [email protected]