1. ML Benchmarks

이 섹션에서는 머신러닝 벤치마크로 기계 학습 모델의 문제 해결 능력을 평가합니다. 각 항목의 정확도는 'pass@1 accuracy'로 측정됩니다. 이는 모델이 첫 번째 시도에서 정답을 맞히는 비율입니다.

• MATH: 수학 문제 해결 능력을 평가합니다. 복잡한 수학 문제에서 모델의 정확도를 측정합니다.

  • GPT-4: 60.3%
  • O1: 94.8%

• MathVista (testmini): 수학 문제를 더 작고 간단한 테스트 세트로 평가하는 벤치마크입니다.

  • GPT-4: 63.8%
  • O1: 73.2%

• MMMU (val): 여러 언어에서의 문제 해결 능력을 측정하는 벤치마크입니다.

  • GPT-4: 69.1%
  • O1: 78.1%

• MMLU: “Massive Multitask Language Understanding” 벤치마크로, 다양한 영역에 걸친 문제 해결 능력을 평가합니다.

  • GPT-4: 88.0%
  • O1: 92.3%

2. PhD-Level Science Questions (GPQA Diamond)

이 섹션은 박사 수준의 과학 문제에서 모델의 성능을 평가합니다. ‘pass@1 accuracy’는 모델이 박사급 수준의 문제를 첫 번째 시도에서 해결할 수 있는지를 나타냅니다.

• Chemistry (화학): 박사 수준의 화학 문제를 평가합니다.

  • GPT-4: 40.2%
  • O1: 64.7%

• Physics (물리학): 박사 수준의 물리학 문제 해결 능력을 평가합니다.

  • GPT-4: 59.5%
  • O1: 92.8%

• Biology (생물학): 박사 수준의 생물학 문제 해결 성능을 평가합니다.

  • GPT-4: 61.6%
  • O1: 69.2%

3. Exams

시험 항목에서는 실제 학문적 시험에서 모델이 얼마나 높은 성과를 보이는지 평가합니다.

• AP English Language: 고등학교에서 대학교 수준의 영어 작문 및 분석 시험입니다.

  • GPT-4: 58.0%
  • O1: 58.0%

• AP Physics 2: 고등학교 AP 물리 2 시험입니다.

  • GPT-4: 63.0%
  • O1: 81.0%

• AP English Literature: 문학 분석 능력을 평가하는 시험입니다.

  • GPT-4: 64.7%
  • O1: 68.0%

• LSAT: 법학적 사고력 평가 시험입니다.

  • GPT-4: 69.5%
  • O1: 95.6%

• AP Calculus: 미적분학 시험입니다.

  • GPT-4: 71.3%
  • O1: 83.3%

• AP Chemistry: 고등학교 수준의 화학 시험입니다.

  • GPT-4: 76.0%
  • O1: 89.0%

• SAT EBRW: SAT 읽기와 글쓰기 부분입니다.

  • GPT-4: 92.8%
  • O1: 94.4%

4. MMLU Categories

MMLU 벤치마크에서 다양한 학문적 범주에 걸친 문제 해결 능력을 평가한 것입니다.

• Global Facts (전 세계적인 사실): 세계적인 상식과 사실에 대한 문제입니다.

  • GPT-4: 65.1%
  • O1: 78.4%

• College Chemistry (대학 화학): 대학 수준의 화학 문제입니다.

  • GPT-4: 68.9%
  • O1: 78.1%

• College Mathematics (대학 수학): 대학 수준의 수학 문제입니다.

  • GPT-4: 75.2%
  • O1: 98.1%

• Professional Law (법률): 법률 관련 문제입니다.

  • GPT-4: 75.6%
  • O1: 85.0%

• Public Relations (홍보학): 홍보학 관련 문제입니다.

  • GPT-4: 75.0%
  • O1: 80.7%

• Econometrics (계량경제학): 계량경제학 문제입니다.

  • GPT-4: 78.8%
  • O1: 87.1%

• Formal Logic (형식 논리): 형식 논리 문제입니다.

  • GPT-4: 79.8%
  • O1: 97.0%

5. Competition Math (AIME 2024)

AIME(American Invitational Mathematics Examination)는 미국에서 열리는 고난도 수학 경시대회입니다.

• GPT-4: 13.4%
• O1 프리뷰: 56.7%
• O1: 83.3%

6. Competition Code (CodeForces)

CodeForces는 프로그래밍 대회 플랫폼입니다.

• GPT-4: 11.0%
• O1 프리뷰: 62.0%
• O1: 89.0%

7. PhD-Level Science Questions (GPQA Diamond, 전문가 비교)

박사 수준의 과학 문제를 다루며, 사람 전문가와 성능을 비교한 것입니다.

• GPT-4: 56.1%
• O1 프리뷰: 78.3%
• O1: 78.0%
• 전문가: 69.7%