Homebench – 로컬 LLM의 속도·메모리·품질을 한 번에 재는 벤치마크 TUI

Who Should Read

Ollama나 LM Studio로 모델을 여러 개 받아 놓고 내 노트북에서 뭐가 쓸 만한지 고르기 어려운 개발자

Core Mechanics

• 명령어 하나로 속도·메모리·품질을 잰다
  • pip install homebench 후 homebench만 치면 설치된 모델을 찾아 리더보드를 띄운다.
  • Ollama, LM Studio, llama.cpp, vLLM, OpenAI 호환 서버를 지원한다.
  • 설정, API 키, 클라우드가 필요 없다.
• 기존 도구는 반쪽짜리였다
  • llama-bench는 속도만 잰다.
  • lm-evaluation-harness는 품질만 재고 로컬 러너 중심이 아니다.
  • homebench는 둘을 한 번에 로컬에서 돌린다.
• 품질은 채점 방식이 고정이다
  • 31개 과제를 정확한 숫자 일치, 객관식, 문자열 포함, JSON 유효성, 정규식으로 채점한다.
  • temperature 0과 고정 seed를 써서 재현 가능하다.
  • LLM 심판(--judge)은 선택 옵션이고 잡음이 있다고 밝힌다.
• 기본값은 빠른 첫 인상용이다
  • 기본은 가장 작은 모델 3개와 약 8개 과제의 빠른 세트다.
  • --all은 전체 모델, --full은 31개 과제 전체를 돌린다.
  • 응답을 캐시해서 첫 실행 약 15~25분(전체 모델·전체 과제 기준)이 약 1~2분으로, 재실행은 몇 초로 줄어든다고 한다.

Community Reactions

• GitHub 저장소와 계정이 삭제됐다는 보고
  • 여러 댓글에서 링크가 404이고 작성자 계정까지 사라진 것 같다는 의견이 나왔다.
  • 이미 설치해 돌린 사람은 코드와 의존성을 확인해 보라는 경고가 달렸다.
• 작성자가 직접 방법론의 약점을 밝혔다
  • 작성자는 tok/s 분모 선택, 메모리 측정 방식이 어려웠다고 설명했다.
  • Ollama 서버 측 시간과 클라이언트 측 시간은 엄밀히 비교되지 않는다고 했다.
  • 31개 과제는 양자화로 모델이 망가졌는지 보는 스모크 테스트라고 했다.
• 비슷한 벤치마크 통합을 해 온 사용자도 있었다
  • OrcaBot에 로컬과 온라인 벤치마크를 넣어 왔고 SlopCodeBench 템플릿이 있다는 경험이 공유됐다.
  • 이 분야에 관심이 있을지 몰랐다는 말도 있었다.

How to Apply

• 내 모델로 빠른 비교 한 번 돌리기
  • 오늘 30분 안에 Ollama가 켜진 상태에서 homebench --no-tui를 실행한다.
  • 3개 모델의 quality, tok/s, TTFT, Memory를 같은 실행 안에서만 비교한다.
• 내 업무용 과제 팩 만들기
  • 실제 쓰는 프롬프트 5~10개를 YAML 과제 팩으로 만들고 grader를 contains_any나 valid_json으로 지정한다.
  • homebench --tasks mypack.yaml로 돌려 내 서비스 기준 점수를 본다.
• 양자화·설정 변경 전후 diff 보기
  • 변경 전에 --label "before"로 실행하고 변경 후 다시 실행한다.
  • homebench diff로 품질과 속도 변화를 확인한다.
• 배포 전 하드웨어 적합성 확인하기
  • 새 모델을 받기 전에 homebench fit을 실행해 들어가는 양자화를 확인한다.
  • 큰 컨텍스트가 필요하면 --context 8192를 붙인다.

Try It

# 셸에서 실행 (Ollama 실행 중, Python 3.9+ 필요)

pip install homebench

homebench doctor

homebench --no-tui --label "baseline" --md results.md

# 이어서 해 볼 것: 설정 변경 후 다시 실행하고 차이 확인
homebench --no-tui --label "after"
homebench diff

# 내 과제로 돌리기: mypack.yaml 작성 후
homebench --tasks mypack.yaml

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://github.com/david-g-3654/homebench
• https://github.com/Hyper-Int/OrcaBot