Intelligence per Watt: 로컬 AI의 지능 효율을 재는 지표

Who Should Read

LLM API 비용과 개인정보 문제로 일부 요청을 로컬 모델로 돌릴지 고민하는 백엔드 개발자

Core Mechanics

• 로컬 LM이 질의 88.7%를 풀었다
  • 20개 이상의 로컬 LM으로 실제 단일 턴 채팅·추론 질의 100만 건을 평가했다.
  • 정확도는 frontier 모델 대비 승률로 쟀고 도메인마다 달랐다.
• IPW라는 지표를 새로 제안했다
  • IPW(intelligence per watt)는 전력 단위당 과제 정확도다.
  • 모델과 가속기 조합의 성능과 효율을 한 숫자로 비교하려는 목적이다.
• 2023~2025년 IPW가 5.3배 올랐다
  • 알고리즘과 가속기 발전이 둘 다 기여했다고 한다.
  • 로컬로 처리 가능한 질의 비율은 23.2%에서 71.3%로 올랐다.
• 로컬 가속기 효율은 클라우드에 뒤진다
  • 같은 모델을 돌렸을 때 로컬 가속기의 IPW가 클라우드 가속기보다 최소 1.4배 낮았다.
  • 저자들은 로컬 가속기 최적화 여지가 크다고 본다.
• 평가 범위는 하드웨어 8종
  • 로컬·클라우드 가속기 8종에서 질의별 정확도, 에너지, 지연, 전력을 쟀다.
  • 로컬 LM은 활성 파라미터 20B 이하 모델이고 가속기 예시는 Apple M4 Max다.

Community Reactions

• 지연이 더 짧다는 사용 경험
  • 로컬 모델은 클라우드 서비스의 로그인 확인과 대기열을 거치지 않아 첫 동작이 더 빠르다는 의견이 있었다.
  • 로컬은 예측 가능하고 개인정보 수집을 피한다는 점도 언급됐다.
• 지능을 측정하는지 의문이라는 반론
  • 이 벤치마크가 지능을 잰다고 보기는 과하다는 의견이 있었다.
  • 지능은 선형이 아니라서 "x per y" 지표가 맞지 않는다는 의견도 있었다.
• 로컬 전력 효율은 배칭 때문에 의아하다는 의견
  • 클라우드는 배칭을 쓰는데 로컬이 에너지를 덜 쓴다는 결과가 믿기 어렵다는 지적이 있었다.
  • RAM 용량 등 M4 Max 사양이 안 보인다는 지적도 있었다.
• 요청마다 라우팅하면 클라우드에서 손해라는 의견
  • 요청 단위 모델 라우팅은 KV cache 유지를 깨서 에너지와 비용이 늘 수 있다는 의견이 있었다.
  • 세션 단위 라우팅과 캐시를 인지하는 로컬/클라우드 하이브리드가 낫다는 주장이다.
• 로컬 구성으로 운영해 봤다는 경험
  • ollama와 neo4j로 컴플라이언스 때문에 전부 로컬로 돌린다는 사용자가 있었다.
  • M2 맥북의 qwen2.5:3b가 단순 스키마의 NL-to-Cypher를 답변당 약 3~5초에 처리했다고 한다.

How to Apply

• 지난 한 달 요청 로그를 난이도별로 분류하기
  • 오늘 로그 샘플 100건을 뽑아 단순 변환·요약·분류와 복잡한 추론으로 나누자.
  • 단순 쪽 비율이 로컬 모델로 옮길 수 있는 후보 규모다.
• 후보 질의에 로컬 모델 승률 재 보기
  • ollama로 소형 모델을 띄우고 같은 질의를 현재 API 모델 답과 비교하자.
  • 정답 기준은 기존 모델 답변 대비 승률로 잡자.
• 라우팅은 요청 단위가 아니라 세션 단위로 설계하기
  • 클라우드로 보내는 경로는 KV cache가 유지되도록 같은 세션을 한 모델에 고정하자.
  • 로컬 대 클라우드 비용 비교에는 지연, 전력, 정확도를 함께 기록하자.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 로컬 처리 가능 질의 판별)

너는 LLM 라우팅 분석가다. 아래는 우리 서비스의 질의 샘플이다.
{{질의 목록 100건}}

각 질의를 다음 기준으로 분류해라.
- 로컬 소형 모델(활성 파라미터 20B 이하)로 충분한가: 예/아니오
- 근거를 한 줄로 쓴다

마지막에 예 비율(%)과, 아니오로 분류된 질의의 공통 특징 3가지를 표로 정리해라.

이어서 해 볼 것: 예로 분류된 질의 20건을 ollama의 소형 모델에 돌려 현재 API 모델 답과 비교해 보자.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://arxiv.org/abs/2511.07885
• https://arxiv.org/pdf/1911.01547
• https://taylor.town/crowpower
• https://portal.neuralwatt.com/energy-pricing