Inkling – 975B 파라미터 오픈 웨이트 LLM
Inkling – Open-Weights 975B Parameter LLM
TL;DR Highlight
Thinking Machines가 텍스트·이미지·오디오 입력 오픈 웨이트 MoE 모델 Inkling을 공개했다
Who Should Read
오픈 웨이트 모델을 자체 도메인에 파인튜닝해 쓰려고 후보를 비교하는 LLM 백엔드 개발자
Core Mechanics
- Inkling은 975B 중 41B만 활성화
- Mixture of Experts(질문마다 일부 전문가 블록만 쓰는 구조) 모델이다.
- 총 파라미터는 975B, 활성 파라미터는 41B다.
- Inkling-Small은 4분의 1 크기
- 총 276B, 활성 12B 파라미터의 MoE 모델이다.
- 원문은 많은 벤치마크에서 큰 모델과 맞먹고 비용과 지연이 낮다고 설명한다.
- 텍스트·이미지·오디오를 입력으로 받는다
- 두 모델 모두 입력은 텍스트, 이미지, 오디오다.
- 원문은 음성 분야에서 오픈소스 최전선이라고 말한다.
- 컨텍스트는 1M 토큰, Tinker에선 더 짧다
- 모델 사양상 컨텍스트는 1M 토큰이다.
- Tinker에서는 64K 또는 256K로 제공된다.
- thinking 시간을 조절할 수 있다
- Controllable effort 기능으로 속도와 성능 사이를 조절한다.
- 에이전트형 코딩, 도구 사용, 복잡한 지시 따르기, 확신도 보정된 예측도 강점으로 내세운다.
Community Reactions
- 모델 카드 링크와 975B 파라미터, 41B 활성이라는 요약을 공유한 댓글이 있었다
- 상세 사양은 별도 model-card 페이지에서 볼 수 있다는 안내다.
- 중복 게시물이라는 운영자 안내가 있었다
- 같은 글의 다른 HN 스레드가 이미 있다는 지적이다.
How to Apply
- Hugging Face 모델 카드부터 확인하기
- 오늘 model-card 페이지에서 라이선스, 벤치마크 점수, 지원 입력 형식을 확인하라.
- 우리 서비스에 필요한 컨텍스트 길이와 비교하라.
- Inkling-Small을 먼저 후보로 두기
- 지연·비용이 중요한 기능이면 Small로 자체 평가셋을 돌려라.
- 큰 모델과 점수 차이가 허용 범위인지 측정하라.
- 멀티모달 입력 파이프라인에 시험 적용하기
- 음성이나 이미지를 텍스트로 먼저 바꾸는 단계가 있다면, 원본을 직접 넣어 결과를 비교하라.
- Tinker 컨텍스트 제한 반영하기
- Tinker에서 쓸 계획이면 컨텍스트를 64K/256K로 가정하고 입력 분할을 설계하라.
Terminology
관련 논문
AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)
Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다
Dust: 역전파 없이 Transformer를 사전학습하는 방법
활성값에 토큰별 노이즈를 줬더니 역전파 없이 Transformer 사전학습이 됐다
TurboGPT: 22KiB 트랜스포머를 13초 만에 학습시키는 CUDA 프로젝트
CUDA C++로 바이트 단위 tiny GPT를 1분 안에 학습하는 오픈소스
Gemini가 만든 라벨 $9로 자기 대체 모델 GLiNER 학습시키기
Gemini 라벨 $9로 GLiNER를 튜닝해 로컬에서 F1 0.83 달성
절대 포기하지 않기(Never Give Up): LLM RL에서 어려운 문제를 풀게 만드는 방법
쉬운 문제에 쓰는 연산을 줄이고 어려운 문제를 재시도했더니 어려운 문제 성능이 올랐다
3.8B LLM을 $998로 학습해 CORE 0.384 달성하기
B200 8장으로 43시간, $998를 들여 3.8B 모델이 CORE 0.384를 기록했다
Paul Graham: "17살이면 LLM을 밑바닥부터 만들어 보겠다"
PG는 17살이면 창업 말고 LLM 밑바닥 구현부터 배우겠다고 했다