Aleph Alpha Kolibri: 독일어·영어용 주권(sovereign) 오픈 웨이트 LLM의 작동 방식

Who Should Read

독일어 문서로 RAG를 만들면서 데이터를 외부로 내보내지 못해 자체 호스팅 모델을 고르는 백엔드 개발자

Core Mechanics

• 78B 중 토큰당 3.46B만 쓴다
  • 전문가(expert) 384개 중 라우터가 토큰마다 6개를 고르고, 모든 토큰이 거치는 공유 전문가가 1개 있다.
  • 연산은 3.5B급인데 가중치 약 78GB(FP8)는 전부 메모리에 올려야 한다.
• 독일어 토큰이 GPT-5 토크나이저보다 적다
  • Aleph Alpha 보고서는 독일어 텍스트에서 GPT-5 토크나이저 대비 토큰이 11.2% 적다고 한다.
  • 글쓴이가 독일 기본법 전문으로 직접 재 보니 o200k_base 대비 독일어 15% 적었고 영어는 거의 같았다.
• 긴 컨텍스트를 싸게 만든다
  • 50개 층 중 40개는 직전 512토큰만 보는 슬라이딩 윈도우 어텐션이고 5번째 층마다 전체를 본다.
  • 262,144토큰으로 학습했고 1,048,576토큰까지 검증했으며, 1M에서 RULER 63.2로 Qwen3.5 35B-A3B 베이스(57.5)보다 높다.
• 독일어로 추론하고 모르면 모른다고 한다
  • 독일어 프롬프트에는 독일어로 추론하며, AIME 2025 독일어는 87.5로 Nemotron 3 Nano(84.4)보다 높다.
  • Merlin-Arthur 프로토콜로 학습해, Omniscience 테스트에서 모를 때 44%는 모른다고 답했다(Qwen3.5 35B-A3B 11.1%, GPT-OSS 120B 23.7%).
• 암기 지식·툴 호출·코딩은 약하다
  • 닫힌책 테스트에서 비교한 12개 모델 중 꼴찌(51.0)이고 Omniscience 정답률은 14.8%로 Qwen3.5 35B-A3B(22.2%)보다 낮다.

Community Reactions

• MoE 모델이 DeepSeek의 KV 최적화를 왜 안 쓰느냐는 의문
  • 프리픽스 캐싱이 강력하고 추론 비용이 싸지는데 단점이 있는지 궁금해하는 댓글이 있었다.
• 학습팀 참여자가 코딩·에이전트도 잘한다고 주장
  • 팀이 1년 안에 꾸려졌고 반복 속도에 집중했으며 앞으로 더 나온다고 밝힌 학습팀 소속 댓글이 있었다.
• Merlin-Arthur 설명이 좋았다는 의견
  • "모르겠다" 문제를 푸는 영리한 방법처럼 보인다는 댓글이 있었다.
• 공식 발표문이 더 낫다는 의견
  • 이 블로그보다 Aleph Alpha 공식 발표문을 읽으라는 댓글이 있었다.

How to Apply

• 내 문서에서 토크나이저 비용부터 재 보기
  • 오늘 독일어 등 자국어 문서 샘플로 tiktoken o200k_base와 후보 모델의 tokenizer.json 토큰 수를 비교하라.
  • 토큰 수 차이로 비용과 컨텍스트 여유를 가늠하라.
• RAG에 답 없음 평가셋 넣기
  • 정답 문서가 없는 질문을 섞어 모델이 "모르겠다"고 답하는 비율을 재라.
  • 지어내는 비율이 높으면 후보에서 빼라.
• 툴 호출·코딩 에이전트에는 쓰지 않기
  • 멀티턴 툴 호출과 코딩 벤치 점수가 낮으므로 해당 용도엔 다른 모델을 배정하라.
  • 독일어 문서 RAG 단계에만 Kolibri를 시험하라.
• vLLM 서버에 reasoning_effort 요청별로 붙이기
  • GPU 78GB가 확보되면 모델 카드대로 vllm serve를 띄워라.
  • 단순 조회는 low, 어려운 질문은 high로 호출하라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: Merlin-Arthur식 '모르면 모른다' 테스트)

아래 문서만 근거로 질문에 답하라. 문서에 답의 근거가 없으면 추측하지 말고 "문서에 근거 없음"이라고만 답하라. 답할 때는 근거 문장을 그대로 인용하라.

[문서]
{{문서}}

[질문]
{{질문}}

이어서 해 볼 것: 같은 문서에서 정답이 들어 있는 문장을 지운 버전을 만들어 같은 질문을 던지고, "문서에 근거 없음"이라고 답하는지 확인하라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://tej.as/blog/aleph-alpha-kolibri
• https://news.ycombinator.com/item?id=49942706
• https://aleph-alpha.com/en/blog/kolibri-has-landed-a-soverei...