Claude/GPT 지식 컷오프와 프리트레이닝 타임라인 파헤치기

Who Should Read

모델 버전을 바꿀 때 지식 컷오프를 어떻게 확인할지 고민하는 LLM API 개발자

Core Mechanics

• 날짜 퀴즈로 컷오프를 잰다
  • Wikipedia 일별 사건으로 8지선다 퀴즈를 만들어 모델마다 풀게 했다.
  • 오답률 곡선에서 모델이 학습 데이터 신호를 잃는 시점을 본다.
  • 곡선이 완만해서 시작·끝이 아니라 중간값을 컷오프로 쓴다.
• Opus 4.7 이후는 같은 학습 런으로 보인다
  • 글쓴이 추정으로, 이 모델들의 유효 컷오프가 2025년 12월 말 부근으로 비슷하다.
  • 사전학습 완료일이 데이터 기간과 상관 높다는 가정 위에 있어 몇 달 오차가 날 수 있다고 밝혔다.
• GPT-5.6은 GPT-5.5와 다른 체크포인트다
  • 글쓴이 추정으로, GPT-5.6 계열은 2026년 2월 말쯤 끝난 별도 체크포인트에서 나왔다.
  • Luna는 미래를 맞히는 듯 보이지만 낮은 reasoning effort에서 전반적으로 오답이 많은 탓이라고 한다.
• Opus 5는 공개 컷오프와 안 맞는다
  • 공개된 컷오프는 2026년 5월인데 실제 지식은 2026년 1월 컷오프 모델들과 비슷했다.
  • 질문 종류 탓인지 ablation(요소를 빼고 비교하는 실험)을 해 봤지만 코딩 패키지 버전 회상도 같았다.
• '오늘 날짜'를 물어도 학습 시점이 보인다
  • 자기가 말한 날짜는 사실 기반 추정과 꽤 상관이 있다.

Community Reactions

• 컷오프 분석으로 랩이 완성된 모델을 일부러 늦게 내는지 가늠할 수 있겠다는 의견
  • 공개 가중치 모델이 얼마나 뒤처졌는지도 가늠할 수 있다는 기대가 있었다.
• Anthropic이 ChatGPT 데이터를 증류하지 않았다는 해석에 회의적인 의견
  • GPT-4 시절 후발주자였을 때는 가능했다고 본다는 의견이다.
• 사전학습 컷오프 이후에도 안전·정렬 후처리가 여러 번 돈다는 지적
  • 이를 고려해 해석해야 한다는 의견이다.
• 모델마다 영역별로 컷오프가 따로 있는 것 같다는 경험
  • 직접 써 보니 고전 문학은 변함없고 기술 지식은 자주 갱신되며 가십은 항상 최신이었다는 경험이다.
  • Git처럼 기본 명령으로 충분한 소프트웨어는 새 기능을 몰라도 티가 안 난다고 했다.
• 'Opus 5'는 단일 모델이 아니라 여러 버전이 계속 업데이트되는 이름이라는 의견

How to Apply

• 쓰는 모델의 컷오프를 직접 퀴즈로 재 보기
  • 오늘 쓰는 모델에 최근 6개월 사건 8지선다를 10~20개 만들어 돌려 보자.
  • 공개 컷오프 이후 문항 정답률이 급락하는 지점을 기록하자.
• 모델 교체 시 최신 지식 의존 프롬프트를 회귀 테스트하기
  • 라이브러리 버전, API 변경처럼 최신성이 필요한 질문 세트를 만들어 두자.
  • 새 모델을 배포하기 전에 이전 모델과 정답률을 비교하자.
• 최신 정보가 필요한 기능에는 현재 날짜와 문서를 직접 주입하기
  • 시스템 프롬프트에 오늘 날짜를 넣자.
  • 최신 사실은 RAG나 검색 도구로 제공하고 모델 기억에 맡기지 말자.
• 공개 컷오프를 그대로 믿지 말고 자체 측정값을 문서화하기
  • Opus 5 사례처럼 공개 컷오프와 실제 지식이 다를 수 있으니 팀 위키에 측정값을 남기자.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (글의 방법을 간이 버전으로 옮긴 것: 퀴즈 만들기 + 날짜 묻기)

너는 지식 컷오프 측정용 퀴즈 출제자다. {{분야}} 분야에서 {{시작 연월}}부터 {{끝 연월}}까지 월별로 실제로 있었던 사건 1개씩을 골라라. 각 사건마다 보기 8개짜리 객관식 문제를 만들어라. 보기 중 하나만 정답이고 나머지 7개는 그럴듯한 오답이다.

문제만 출력하고 정답표는 맨 마지막에 따로 적어라.

이어서 해 볼 것: 이 문제를 측정하려는 모델에 넣고 월별 정답률을 표로 만들어 급락 지점을 찾아라. 같은 모델에 '오늘 날짜는 몇 년 몇 월인가?'도 물어서 비교해 봐라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://blog.sshh.io/p/exploring-claudegpt-knowledge-cutoffs