OpenAI, AI가 푼 수학 난제 증명 대량 공개
Sharing AI progress in mathematics
TL;DR Highlight
OpenAI가 수학 난제 풀이 프리프린트를 공개했고 일부는 철회됐다
Who Should Read
AI 추론 모델의 실제 성능과 한계를 가늠하려는 LLM API 활용 개발자
Core Mechanics
- 원문은 제공되지 않았다
- 아래 내용은 원문이 아니라 댓글에 언급된 정보다
- 원문 본문 기반 사실은 확인할 수 없다
- 댓글 기준 GitHub 저장소 공개
- openai/math 저장소에 프리프린트와 reasoning_traces가 올라와 있다고 한다
- 푼 문제 수는 원문 근거가 없다
- 수치나 모델명은 원문에서 확인되지 않아 적지 않는다
Community Reactions
- 풀이 규모와 연산량 언급
- 저장소에 평균 결과가 ChatGPT Pro 약 3시간 추론에 해당하는 연산을 썼다고 적혀 있다는 댓글이 있었다
- proofatlas.ai 상위 500개 미해결 문제 중 90개를 완전히 푼 것으로 주장한다는 댓글이 있었다
- Unique Games Conjecture 증명 주장
- 근사 알고리즘 한계 결과의 기반이라 큰 사건이라는 의견이 여러 개 있었다
- 철회 사례도 있었다는 정보
- Hodge 추측 관련 논문 3편이 부호 오류로 철회됐다는 댓글이 있었다
- 그래서 검증이 더 필요하다는 뉘앙스의 반응이 있었다
- 증명 가독성에 대한 경험담
- 공개된 증명은 사람이 쓴 것처럼 읽힌다는 의견이 있었다
- 현재 ChatGPT 글은 지나치게 방어적이라 읽기 어렵다는 의견도 있었다
- 직접 만든 도구 사례
- 자율 수학 연구 에이전트로 증명 복잡도 문제 하나를 풀어 논문을 냈다는 댓글이 있었다
How to Apply
- reasoning_traces 훑어보기
- 오늘 openai/math 저장소의 reasoning_traces 폴더를 열어 초기 프롬프트 한 개를 읽어라
- 프롬프트 구조를 메모해 자기 프롬프트와 비교하라
- AI 산출물에 검증 단계 넣기
- 모델이 낸 증명이나 분석은 사람이나 형식 검증기로 재확인하는 단계를 파이프라인에 넣어라
- 철회 사례처럼 부호 오류가 숨어 있을 수 있다
Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다