AI와 수학의 심각한 목표 불일치: 필즈상 수상자 선언문

Who Should Read

AI가 만든 결과물이 이해와 학습을 대체할까 고민하는 LLM 활용 개발자

Core Mechanics

• 수학 풀이 능력이 최근 몇 달 사이 급상승했다
  • LLM이 여러 분야의 주요 미해결 문제를 풀 수 있는 수준이 됐다고 선언문은 말한다.
  • AI 기업들이 수학 문제 풀이를 벤치마크로 밀어붙이는 것이 수학계에 해롭다는 입장이다.
• 문제 풀이는 목적이 아니라 수단이다
  • 수학의 진짜 목표는 개념적 이해와 통찰이라고 쓴다.
  • "참/거짓" 결론만 빠르게 대량 생산하면 새 아이디어가 자랄 토양을 망칠 수 있다고 본다.
• 서둘러 발표하면 정리와 인용이 빠진다
  • 풀이가 급히 공개되어 제대로 된 정리, 새 방법의 분리, 선행 연구 인용이 생략된다고 지적한다.
  • 다른 창작 직업처럼 출처 표기와 표절 문제가 생긴다고 본다.
• 사람 사이의 전수 사슬이 끊길 수 있다
  • AI가 낸 아이디어도 수학자가 발전시켜 정전(canon)에 편입해야 살아난다고 한다.
  • 이 역할을 할 수학자가 없으면 사람 간 전수가 끊긴다고 경고한다.
• 수학만의 문제가 아니라고 본다
  • 오랜 훈련이 결과물뿐 아니라 이해와 새 질문을 던지는 능력도 키워 왔다고 한다.
  • AI가 결과를 바로 내놓으면 이 두 목표가 어긋난다고 말한다.

Community Reactions

• 수학자 본인은 더 낙관적이라는 의견
  • 모치즈키의 abc 추측 증명도 이해 불가한 거대 증명이었지만 학회·논문·토론이 활발히 일어났다는 경험을 들었다.
  • AI가 낸 검증된 증명도 비슷한 커뮤니티 활동을 만들 거라는 의견이다.
• 체스 선례와 같다는 반론
  • 컴퓨터가 체스를 망친다던 90년대 우려와 닮았지만 지금 체스는 더 인기 있고 기사도 더 강해졌다는 의견이다.
  • 정답을 알려주는 오라클이 오히려 더 정확한 통찰을 돕는다고 주장한다.
• 코딩 경험으로 본 창의성 한계
  • Claude로 기능을 구현하면 1000줄 추가해도 95%는 버그가 없었지만 성능·유지보수·UX의 명백한 기회는 사람이 짚어야 보았다는 경험이다.
  • 마찰이 신호인데 AI는 어려움을 우회해 사람이 실패를 알아채지 못한다는 의견도 있었다.
• 요구가 구체적이지 않다는 비판
  • AI 기업이 정확히 무엇을 달리해야 하는지 불분명하다는 의견이 있었다.
  • 학생들이 정답을 바로 얻어 고민하는 과정이 줄고 이해와 창의성이 떨어진다는 현장 경험도 나왔다.

How to Apply

• AI 생성 코드에 이해 점검 단계 넣기
  • 오늘 AI가 쓴 PR 하나를 골라 왜 그렇게 짰는지 본인 말로 3줄 요약해 보자.
  • 요약이 안 되면 그 코드는 머지하지 말고 AI에게 설계 근거를 물어보자.
• 코드리뷰 템플릿에 대안 검토 항목 추가하기
  • 성능·유지보수·확장성 대안을 사람이 한 가지 이상 적게 하자.
  • 댓글 경험처럼 AI는 이런 기회를 먼저 짚지 않는 경우가 있다.
• 주니어 온보딩에 AI 없이 푸는 과제 두기
  • 주 1회 정도 AI 없이 디버깅하는 시간을 정하자.
  • 문제를 직접 겪는 과정이 이해를 만든다는 선언문의 논지를 팀 학습에 옮긴 것이다.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (선언문의 '이해 vs 결과' 구분을 코드 리뷰에 옮긴 간이 버전)

너는 시니어 리뷰어다. 아래 코드는 AI가 작성했다.

{{코드 diff}}

다음을 답해줘.
1. 이 코드가 해결하는 문제를 3줄로 요약
2. 이 설계가 놓쳤을 수 있는 대안 3가지 (성능, 유지보수, 확장성 관점)
3. 내가 직접 이해했는지 확인할 수 있는 질문 5개 (정답은 알려주지 말 것)

이어서 해 볼 것: 5개 질문에 내 답을 적고 채점해 달라고 요청해 보자.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://mathandai.org/
• https://news.ycombinator.com/item?id=49662116
• https://fee.org/articles/the-candlemakers-petition/
• https://encyclopediaofmath.org/wiki/Finitism