AI는 수학자보다 똑똑한 게 아니라 더 많이 기억하는 것이다

TL;DR Highlight

AI의 수학 실력은 추론보다 거대한 외부 작업 메모리 덕일 수 있다

Who Should Read

LLM이 긴 추론에서 왜 잘하고 왜 틀리는지 감을 잡고 싶은 LLM API 활용 개발자

Core Mechanics

AI의 강점은 추론보다 작업 메모리
- 컨텍스트 윈도우(모델이 한 번에 보는 텍스트 범위)가 거대한 외부 노트 역할을 한다는 주장이다.
- 사람은 낯선 조건 몇 개만 머릿속에 두지만 AI는 수십~수백 개를 글로 유지한다.
사람도 작업 메모리가 수학 성적을 갈랐다
- 아동 연구들에서 IQ를 통제해도 작업 메모리가 수학 성적을 따로 예측했다.
- Alloway & Alloway(2010)에서는 5세 때 작업 메모리가 6년 뒤 학업 성취를 IQ보다 더 잘 예측했다.
생각을 글로 쓰는 게 곧 추론이다
- 모델은 이미 쓴 토큰을 다시 참조하며 다음 단계를 만든다.
- 그래서 글로 풀어 쓴 내용이 추론 메커니즘의 일부라고 본다.
수학은 메모리 이점이 가장 잘 먹히는 영역
- 가정·정의·증명된 결과를 전부 기호로 적을 수 있고 한번 적으면 의미가 안 변한다.
- 답을 대입·코드·증명 도구로 검증할 수 있어 피드백도 강하다.
긴 컨텍스트가 완벽한 기억은 아니다
- 모델도 관련 정보를 놓치거나 산만해질 수 있다고 글이 직접 말한다.
- 광고된 컨텍스트 길이와 실제로 쓸 수 있는 기억은 다르다.

Community Reactions

경험담: 오래 매달려도 안 지치는 점이 크다
- 수학자는 한 주 판 방향이 실패하면 지치지만 AI는 다음 시도로 넘어간다는 의견이 있었다.
- 단순 암기뿐 아니라 무한 끈기(brute force)도 원인이라는 취지다.
경험담: 책 지식은 많지만 새 문제엔 약하다
- 다른 사람은 알 법한 걸 물어보는 용도로 쓰고, 정말 새로운 일은 모델이 잘 이해 못 해 직접 했다는 경험이 있었다.
- 앨범의 메이저/인디 분류를 시켰더니 일부를 틀리게 분류했다는 사례도 있었다.
의견: 작업 메모리 참조도 생각의 일부다
- 작업 메모리를 쓰는 것은 기억이 아니라 생각 자체라서 AI가 무식하게라도 더 잘 생각하는 것이라는 반론이 있었다.
- 반대로 LLM의 컨텍스트는 사람의 작업 메모리와 달리 우선순위·이해가 없다는 의견도 있었다.
코드 쪽 시사점: 추상화가 덜 필요할 수 있다는 의견
- LLM은 복잡한 걸 단순화하지 않고 다뤄서 중복 코드를 함수로 안 묶는 경향이 있다는 의견이 있었다.
- 사람 작업 메모리에 맞춘 좋은 코딩 습관이 앞으로 바뀔지 궁금하다는 댓글도 있었다.

How to Apply

긴 작업에 상태 장부 단계 넣기
- 수학·계산·규칙 많은 작업 프롬프트에 매 단계 앞서 가정과 제약을 다시 적게 시킨다.
- 오늘 쓰는 프롬프트 하나에 "각 단계 시작 때 현재 제약 목록을 재진술"을 추가해 결과를 비교한다.
중간 풀이를 못 쓰게 한 대조군 돌리기
- 같은 문제를 "바로 답만"과 "단계별로 풀이"로 각각 10개 돌려 정답률을 비교한다.
- 글의 가설(중간 상태를 못 쓰면 긴 과제 성능이 떨어진다)을 우리 과제에서 확인하는 용도다.
답을 검증하는 도구를 루프에 붙이기
- 계산 결과는 코드 실행이나 대입 검사로 확인하게 하고 실패하면 다시 풀게 한다.
- 수학처럼 검증 가능한 영역에서 이득이 크다는 글의 논지를 활용한다.
컨텍스트 길이를 믿지 말고 누락 점검하기
- 긴 입력에서 핵심 조건을 빠뜨리는지 확인하는 테스트 케이스를 만든다.
- 조건을 요약해 프롬프트 끝에 다시 붙여서 누락이 줄어드는지 본다.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: 상태 장부 풀이)

문제를 풀 때 아래 규칙을 지켜라.
1. 먼저 "가정/정의/제약" 목록을 번호 붙여 적는다.
2. 매 단계를 시작할 때 현재 유효한 제약을 한 줄로 다시 적는다.
3. 폐기한 접근과 그 이유를 "폐기 목록"에 누적한다.
4. 마지막에 결론이 모든 가정과 충돌하지 않는지 점검한다.

문제: {{문제}}

이어서 해 볼 것: 같은 문제를 "규칙 없이 답만" 시킨 결과와 정답률을 비교해 보자.

Terminology

작업 메모리(working memory)머릿속 메모장 같은 것으로, 지금 계산에 필요한 정보를 잠깐 붙들어 두는 능력이다.

컨텍스트 윈도우모델이 한 번에 읽고 참조할 수 있는 텍스트 범위로, 이 글에서는 거대한 노트에 비유된다.

청킹(chunking)여러 기호를 하나의 익숙한 덩어리로 묶어 기억 부담을 줄이는 방법이다.

스크래치패드모델이 답 전에 중간 계산을 적어 두는 임시 메모 공간이다.