독일 컨소시엄의 오픈 30B MoE 모델 Soofi S 공개

TL;DR Highlight

활성 3.2B만 쓰는 Soofi S가 완전 오픈 모델 중 영어·독일어 1위

Who Should Read

긴 컨텍스트 요청을 많이 처리하면서 독일어 품질과 셀프호스팅 가능한 오픈 모델을 찾는 백엔드 개발자

Core Mechanics

31.6B 중 3.2B만 켜서 쓴다
- Soofi S는 토큰당 약 3.2B 파라미터만 활성화하는 MoE(전문가 혼합) 모델이다.
- 연산 비용이 일반 30B보다 3B급 모델에 가깝다.
긴 입력에도 속도가 거의 안 떨어진다
- Mamba-2 층과 어텐션 층을 섞은 구조라 52개 층 중 6개만 KV cache(이전 토큰 저장 메모리)를 쓴다.
- 컨텍스트 40,000토큰·동시 요청 32개에서 14~24B dense 모델보다 GPU당 초당 약 8배 많은 토큰을 생성한다.
- 4,000~256,000토큰 구간에서 처리량이 거의 평평하다.
독일어 비중을 일부러 키웠다
- 학습 데이터 약 27조 토큰 중 독일어는 1단계 7.2%, 2단계 15.3%다.
- Nvidia Nemotron 기본 레시피는 비영어 전체를 합쳐 약 5%다.
완전 오픈 모델 중 벤치마크 1위
- 16개 비교 모델 중 완전 오픈 모델 기준 독일어·영어 종합 점수 1위라고 보고서가 밝혔다.
- HumanEval 73.8%, MBPP 70.2, 독일어 MBPP 84.2로 오픈 모델 중 최고다.
약점도 분명하다
- 독일어 경시 수학 Minerva MATH-DE는 56점으로 Qwen3.5 35B-A3B(76.5), Gemma 3 27B(65.6)보다 낮다.

Community Reactions

벤치마크 데이터를 학습에 써서 1위라는 비판
- 학습 데이터에 벤치마크가 들어갔다는 지적이 나왔다는 의견이다.
비교 대상이 최신이 아니라는 지적
- Qwen 3.5, Gemma 3과 비교했지만 Qwen 3.6, Gemma 4가 나온 지 약 3개월이라는 의견이다.
접근 승인이 느렸다는 경험
- Hugging Face에서 접근 요청 후 하루가 지나도 승인이 안 됐다는 경험이다.
모델보다 인프라 소식이라는 시각
- 미국·중국 밖에서 같은 주에 오픈 모델 2개가 나온 점을 반긴 의견이다.

How to Apply

긴 컨텍스트 워크로드 처리량 측정하기
- 오늘 Hugging Face에서 접근을 요청하고 승인되면 vLLM 등 쓰는 서빙 스택으로 4K·32K·128K 입력 처리량을 재라.
- 현재 쓰는 dense 모델과 같은 GPU·같은 동시 요청 수로 비교하라.
독일어 업무에 자체 평가셋으로 시험하기
- 실제 독일어 문서 요약·질의응답 50건을 골라 현재 모델과 나란히 돌려라.
- 공개 벤치마크 점수 대신 이 결과로 교체 여부를 정하라.
약점 영역은 기존 모델 유지하기
- 수학 풀이와 긴 문서에서 단어 빈도 추출이 핵심 기능이면 Soofi S로 바꾸지 마라.
- 이 영역은 Qwen3.5 35B-A3B 같은 비교 모델로 따로 시험하라.
학습 데이터 오염을 자동 대조하기
- 파인튜닝 데이터를 평가 문항과 문자열 단위로 대조하는 스크립트를 파이프라인에 넣어라.
- 데이터셋의 split 라벨을 믿지 마라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 — 원문 교훈(split 라벨 대신 내용 대조)의 간이 버전

나는 파인튜닝용 데이터셋과 평가셋을 가지고 있다. 둘 사이에 문항이 겹치는지(오염) 검사하는 파이썬 스크립트를 작성해 줘.

조건:
- 학습 데이터 파일: {{학습데이터.jsonl}}, 평가 데이터 파일: {{평가데이터.jsonl}}
- 각 줄의 텍스트 필드 이름: {{필드명}}
- split 이름이나 라벨은 쓰지 말고 텍스트 내용만으로 비교할 것
- 소문자화·공백 정리 후 정확 일치와 n-gram 겹침 비율로 의심 문항을 찾을 것
- 겹치는 평가 문항 목록과 개수를 출력할 것

이어서 해 볼 것: 결과로 나온 의심 문항을 직접 열어 보고 학습 데이터에서 제거한 뒤 평가를 다시 돌려 점수 변화를 확인해 줘.

Terminology

MoE (Mixture-of-Experts)여러 전문가 서브네트워크 중 일부만 골라 쓰는 구조다. 큰 회사에서 안건마다 담당 부서만 회의에 부르는 것과 비슷하다.

Mamba-2 층어텐션 대신 고정 크기 상태로 이전 내용을 요약해 들고 가는 층이다. 입력이 길어져도 메모리가 크게 늘지 않는다.

KV cache어텐션이 이전 토큰 정보를 다시 계산하지 않으려고 저장해 둔 메모리다. 대화가 길수록 책상 위 메모지가 쌓이듯 커진다.

Chinchilla 스케일링 법칙DeepMind가 2022년에 제시한 모델 크기와 학습 데이터 양의 균형 규칙으로, 파라미터당 약 20토큰이 최적점이라고 한다.

데이터 오염(contamination)평가용 문제가 학습 데이터에 섞여 들어간 상태다. 시험 문제를 미리 본 학생이 점수를 받는 것과 같다.