1.5시간·67센트로 학습한 작은 transformer가 ARC-AGI-1에서 44%

Who Should Read

LLM만 쓰다가 작은 모델을 직접 학습해 특정 과제의 비용과 성능을 따져 보고 싶은 백엔드·ML 엔지니어링 개발자

Core Mechanics

• LLM이 아니라 작은 transformer다
  • 5090 한 장에서 1.5시간, 처음부터 학습했다.
  • ARC-AGI-1 public eval에서 44%를 기록했고 비용은 67센트라고 한다.
  • 저자는 TRM/HRM과 같은 점수라고 쓴다.
• 입력·출력 쌍을 토큰 시퀀스로 만든다
  • 각 퍼즐마다 학습 가능한 임베딩(퍼즐별 고유 벡터)을 더한다.
  • 2D 격자 두 개라서 위치는 3D RoPE(회전 위치 임베딩)로 학습한다.
  • 색상·회전 변형으로 데이터를 늘리고, 추론 때 역변환해 가장 많이 나온 2개를 제출한다.
• 표현 방식이 성능을 가장 크게 좌우했다
  • 3D RoPE를 1D로 바꾸면 점수가 약 24%로 떨어졌다.
  • 퍼즐별 임베딩을 빼도 약 24%로 떨어졌다.
• 입력 토큰 학습을 빼니 40%에서 44%로 올랐다
  • 이제 출력 토큰에만 loss를 건다(supervised).
  • 저자는 이유를 모르겠다고 쓴다.
  • test loss는 오히려 나빠졌는데 점수는 올랐다고 한다.
• 구조 현대화와 최적화 교체가 점수와 비용을 바꿨다

Community Reactions

• LLM 점수는 사후학습 영향이라는 데 동의하는 의견
  • 모든 벤치마크가 그렇다는 의견이 있었다.
  • 비공개 테스트도 제공사가 로그를 학습에 쓸 수 있어 믿어야 한다는 의견이다.
• 67센트는 오해 소지가 있다는 반론
  • 100달러를 써도 금방 한계에 부딪혀 성능이 크게 오르지 않을 거라는 의견이다.
  • 특정 과제용 모델을 만든다고 그 다음이 뭐냐는 질문도 있었다.
• eval 입력으로 학습하는 방식에 대한 논쟁
  • 시험 문제 자체로 공부하는 'teaching to the test'라서 회색지대라는 의견이 있었다.
  • 모든 문제를 한꺼번에 보는 설정이면 한 문제씩 풀 때 44%가 안 나올 거라는 지적이 있었다.
• eval 문제끼리 같은 생성 규칙을 공유한다는 해석
  • 모델이 그 규칙을 학습하는 것이라는 설명이다.
  • 관련 없는 문제를 섞으면 성능이 떨어질 것이라는 의견이다.
• 작성자 설명과 제목에 대한 의견
  • 저자는 LLM이 아닌 자기회귀 transformer라고 밝혔다.
  • 제목이 낚시성이라는 의견도 있었다.
  • LLM과는 ARC-AGI-1 밖에서 경쟁하지 않는다는 이유다.

How to Apply

• 지금 쓰는 작업을 입력→출력 쌍으로 정리하기
  • 30분 안에 분류·변환 같은 반복 작업 하나를 골라 예시 쌍 20개를 모아라.
  • 이 쌍 목록이 소규모 모델 학습 가능성을 보는 출발점이다.
• mdlARC 저장소를 받아 실행 비용 재 보기
  • 공개 코드를 내려받아 GPU 1장에서 돌려 시간과 비용을 기록하라.
  • 원문은 5090 약 2시간 대여 비용을 67센트로 계산한다.
• 학습 loss를 출력 토큰에만 걸어 비교하기
  • 직접 만든 시퀀스 모델이 있으면 입력 loss를 빼고 같은 조건으로 두 번 돌려라.
  • test loss와 실제 점수를 둘 다 기록하라.
• 벤치마크 비교 시 연산 비용 범위를 맞추기
  • 사전학습 비용 포함 여부를 표에 적어라.
  • 이 글처럼 총 수명 연산 비용으로 비교하면 공정하다.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 입력→출력 쌍으로 작은 모델 학습 가능성 점검)

나는 {{작업 설명}}을 처리하는 서비스를 운영한다. 입력→출력 예시는 {{예시 20개}}이다.

이 글의 방법을 참고해 다음을 알려줘.
1. 이 예시를 토큰 시퀀스로 바꾸는 표현 방식
2. 데이터를 늘릴 수 있는 변형(원래 의미가 안 변하는 것만)
3. loss를 출력 토큰에만 걸 때와 입력까지 걸 때 비교 실험 설계
4. 작은 transformer로 처음부터 학습하는 게 맞는지, LLM API가 나은지 판단 기준

이어서 해 볼 것: 위 실험 설계로 학습 스크립트 뼈대를 써 달라고 요청해 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://mvakde.github.io/blog/44-on-arc-1/
• https://github.com/mvakde/mdlARC