LFM2.5-24B-A2B: 빠른 온디바이스 에이전트를 위한 모델

TL;DR Highlight

활성 2B짜리 24B MoE가 에이전트 벤치 5개에서 35B급과 맞붙었다

Who Should Read

클라우드 API 비용과 데이터 유출이 부담돼 로컬에서 툴 호출 에이전트를 돌려보려는 백엔드 개발자

Core Mechanics

활성 파라미터 2B짜리 24B 추론 모델
- 전체 24B 중 토큰마다 2B만 쓰는 MoE(전문가 혼합) 구조다.
- LFM2.5 패밀리의 가장 크고 마지막 모델이다.
- 베이스와 포스트트레이닝 모델 모두 Hugging Face에 오픈 웨이트로 공개됐다.
에이전트 벤치 8개 중 5개에서 앞섬
- Qwen3.6-35B-A3B와 비교해 AutomationBench 27.69 대 8.72, LiveClaw 48.09 대 38.19다.
- BFCLv4, ToolSandbox, τ³-Bench Banking도 앞서거나 비슷하다.
- 지시 따르기 벤치 3개(IFEval, IFBench, Multi-IF)도 모두 1위다.
지식·코딩은 큰 모델이 우세
- GPQA Diamond는 74.42로 Qwen3.6-35B-A3B의 83.69보다 낮다.
- SWE-Bench Verified(OpenCode)는 51.00 대 66.20으로 밀린다.
- 원문은 지식 작업엔 검색이나 웹 서치를 붙이라고 권한다.
온디바이스 속도가 가장 빠름
- Apple M5 Max에서 184 tokens/s, AMD Ryzen AI Max+ 395에서 114 tokens/s다.
- 비교한 MoE 중 차선 모델보다 최대 1.7배 빠르고 메모리도 가장 적게 쓴다.
- NVIDIA B300 한 장에서 SGLang 0.5.22, BF16 기준 높은 동시성에서 21K output tokens/s를 넘겼다.

Community Reactions

로컬 GPU에서 실제로 빨랐다는 경험
- 5070ti에서 llama.cpp, 131k 컨텍스트, 튜닝 없이 200~320 tok/s가 나왔다는 경험이 있다.
- 4090에서 매우 빠르지만 멍청하다는 반응도 있었다.
실제 에이전트 작업은 별로였다는 경험
- OpenRouter로 OpenCode에서 큰 모델이 쓴 계획을 따르게 해 봤더니 툴 호출에서 자주 막혔다는 경험이 있다.
- ghostty 코드베이스에서 간단한 todo 구현을 시켰더니 컴파일 에러를 고치다 새 에러를 만드는 루프에 빠졌다고 한다. Qwen 3.8은 느려도(40 대 75 tok/s) 끝냈다고 한다.
지식은 Qwen 35B보다 크게 떨어진다는 의견
- 개인 벤치마크에서 일반 지식은 Qwen 35B A3B보다 훨씬 나빴다는 의견이 있다.
- 그래도 Qwen 9B보다는 빠르고 낫겠다는 평가다.
Ollama에서는 프롬프트 캐시가 안 먹었다는 경험
- Ryzen 7 8745HS와 Radeon 780M에서 Ollama Vulkan으로 생성 약 45 tok/s, 프롬프트 처리 약 680 tok/s가 나왔다는 경험이 있다.
- 프롬프트를 캐시하지 않고 매번 전체 재처리해서 에이전트 루프에는 쓸 수 없었다고 한다.
라이선스 해석이 헷갈린다는 의견
- 비상업 조항의 강제 가능성이 모호하다는 의견이 있다.

How to Apply

llama.cpp로 로컬 툴 호출 스모크 테스트 돌리기
- 오늘 Hugging Face의 GGUF 체크포인트를 받아 llama.cpp로 띄워라.
- 지금 쓰는 에이전트의 툴 스키마 3~5개로 호출 성공률을 직접 재 봐라.
- 댓글처럼 툴 호출에서 막히는지 확인하라.
지식이 필요한 작업엔 검색 툴을 붙이기
프롬프트 캐시 동작을 서빙 환경별로 확인하기
- 에이전트 루프에 넣기 전에 같은 시스템 프롬프트로 두 번 호출해 두 번째 prefill 시간이 줄어드는지 재라.
- 줄지 않으면 vLLM이나 llama.cpp 등 다른 런타임으로 바꿔 비교하라.
도입 전 라이선스 조항 확인하기
- 모델 라이선스의 상업적 사용 기준을 읽고 법무에 확인하라.
- 사내 도구용 로컬 사용이 해당되는지 먼저 물어라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣어 로컬 에이전트 평가 세트를 만드는 프롬프트

우리 서비스의 에이전트는 아래 툴을 쓴다.
{{툴 목록과 JSON 스키마}}

온디바이스 소형 모델이 툴 호출을 제대로 하는지 검증할 테스트 케이스 20개를 JSON으로 만들어줘.
- 단일 툴 호출 8개, 툴 2~3개를 순서대로 써야 하는 케이스 6개, 툴이 필요 없는 질문 3개, 정보가 부족해 되물어야 하는 케이스 3개로 구성할 것
- 각 케이스에 user_message, expected_tool_calls, 통과 기준을 넣을 것

이어서 해 볼 것: 이 케이스를 로컬 LFM2.5-24B-A2B와 지금 쓰는 모델에 각각 돌려 통과율을 비교하라.

Terminology

MoE (Mixture of Experts)여러 전문가 서브네트워크 중 일부만 골라 쓰는 구조다. 팀 전체가 아니라 필요한 담당자 몇 명만 불러 일하는 것과 비슷하다.

Active parameters토큰 하나를 처리할 때 실제로 계산에 쓰이는 파라미터 수다. 이 값이 작을수록 빠르다.

On-Policy Distillation학생 모델이 직접 만든 답을 선생 모델이 채점하고 가르치는 증류 방식이다. 모의고사를 풀게 하고 바로 첨삭해 주는 과외와 비슷하다.

Reward hacking학습 중 모델이 과제를 푸는 대신 보상을 얻는 꼼수를 찾는 현상이다. 시험 문제를 풀지 않고 정답지를 훔쳐보는 것과 같다.

GGUFllama.cpp 계열 런타임이 쓰는 양자화 모델 파일 형식이다. 로컬에서 가볍게 돌리려고 압축해 둔 모델 파일이다.