코딩 에이전트에 가장 좋은 프로그래밍 언어는? 토큰 효율 주장 검증

TL;DR Highlight

동적 언어가 토큰 싸다는 주장을 큰 과제로 재검증하니 안 맞았다

Who Should Read

코딩 에이전트에 맡길 프로젝트의 언어를 토큰 비용 기준으로 고르려는 백엔드 개발자

Core Mechanics

쉬운 문제로 낸 결과는 일반화 안 된다
- 동적 언어가 토큰 1/2~1/3이라는 글은 Rosetta Code의 사소한 문제 기준이다.
- J는 평균 70토큰, Clojure는 109토큰, C와 Clojure 격차는 2.6배였다.
- caveman mode 때처럼 문제가 커지면 이런 큰 격차가 사라진다.
Zstd 디코더로 직접 재검증했다
- RFC만 주고 에이전트에게 zstd 디코더 전체를 구현시켰고 테스트는 주지 않았다.
- GPT-5.6 Sol로 medium과 ultra effort를 돌렸다.
- medium에서는 동적 언어 묶음이 비용 대비 점수가 좋았다.
- ultra에서는 결과가 섞였고 정적 언어 몇 개가 최고였다.
J 같은 특이 언어 우위는 없었다
- 마이너 언어는 점수가 낮았고 어셈블리도 낮았다.
- 인기 언어일수록 정답률이 높고 비용이 낮은 약한~중간 상관이 나왔다.
- 저자는 일반 사용자라면 주류 언어가 더 안전하다고 본다.
Pandoc 과제에서도 같은 결론이었다
- ProgramBench 자료와 테스트를 주고 홀드아웃 테스트로 채점했다.
- 정적/동적/고밀도 여부와 성공·비용 사이에 강한 관계가 없었다.

Community Reactions

Go가 LLM에 좋다는 경험
- 한 가지 방식이 지배적이고 학습 데이터가 일관되며 컴파일·린트가 빨라 수정 요청이 줄었다는 경험이다.
- LLM이 기본으로 Python을 쓰려 해서 Go로 계속 지시해야 한다고 한다.
MirrorCode 논문도 언어 차이가 작다는 의견
- Python, C, Rust, Go, OCaml, Ada를 19개 장기 과제에서 비교했는데 풀이율 차이가 거의 없었다는 의견이다.
- 성공한 Ada 풀이는 토큰을 평균보다 약 25% 더 썼다고 한다.
토큰 효율만 보면 세션 전체를 놓친다는 의견
- 대부분의 토큰은 코드 출력 밖에서 쓰이므로 토큰 효율 언어가 오히려 전체적으로 나쁠 수 있다는 의견이다.
- TOON도 전체 세션에서는 이득이 없었다고 한다.
언어보다 검증 구조가 중요하다는 의견
- 컴포넌트마다 검증 가능한 계약이 있으면 언어와 무관하게 LLM이 쓰기 쉽다는 의견이다.
- 용도별로 Python, Go, TypeScript처럼 언어를 나누면 계층 간 로직 섞임을 막는다는 의견도 있다.

How to Apply

에이전트 지시문에 빌드·테스트 명령 적기
- 오늘 쓰는 프로젝트의 AGENTS.md나 CLAUDE.md에 cargo, go test 같은 정확한 호출법을 적어라.
- 같은 잘못된 인자 호출이 반복되는 시간과 토큰 낭비를 줄여라.
언어 선택 전에 실제 과제 2~3개로 돌려 보기
- 후보 언어마다 사소하지 않은 자기 과제를 같은 조건으로 여러 번 실행하라.
- 정답률, 비용, 소요 시간을 함께 기록하라.
마이너 언어 도입은 주류 언어와 비교 후 결정하기
- 특이한 고밀도 언어를 쓰려면 먼저 주류 언어와 같은 과제로 비교하라.
- 팀이 읽고 리뷰할 수 있는 언어를 우선하라.

Try It

복사해서 바로 해보기

# Claude Code나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전)

너는 코딩 에이전트다. 아래 과제를 {{언어A}}와 {{언어B}} 두 언어로 각각 구현해라.
과제: {{과제 설명. 사소하지 않은 것으로}}

각 언어마다 다음을 표로 정리해라.
1) 테스트 통과 여부
2) 컴파일/실행 오류로 고친 횟수
3) 대략적인 코드 길이
4) 막혔던 지점

마지막에 결론은 이 과제 한 건에 대한 것임을 명시하고, 일반화하지 마라.

이어서 해 볼 것: 과제를 하나 더 바꿔 같은 비교를 반복해 보라.

Terminology

토큰 효율같은 일을 하는 코드가 LLM 토큰을 얼마나 적게 쓰는지다. 택배 박스를 얼마나 작게 싸는지와 비슷하다.

effort(ultra/medium)모델이 문제에 쓰는 추론 노력 설정이다. 높을수록 오래 생각하고 비용도 는다.

pre-register결과를 보기 전에 예측을 미리 적어 두는 것이다. 맞힌 뒤에 말을 바꾸지 못하게 하는 장치다.

holdout 테스트에이전트에게 주지 않고 채점에만 쓰는 테스트다. 시험 문제를 미리 보여 주지 않는 것과 같다.

synthetic RL 환경AI 랩이 코드를 실행하며 학습시키려고 만든 인공 환경이다. 마이너 언어는 이런 학습이 적을 수 있다.