로컬 모델로 Claude/GPT 대체하기: HN 개발자들의 실사용 후기

Who Should Read

구독료와 데이터 프라이버시가 부담돼 로컬 LLM으로 코딩 에이전트를 돌려 볼지 고민하는 개발자

Core Mechanics

• 원문 없이 댓글로만 구성된 질문 글
  • 원문 본문이 없어 이 글의 사실은 제목의 질문뿐이다.
  • 구체적인 내용은 아래 커뮤니티 반응 칸에 정리했다.

Community Reactions

• Qwen3.6 쓰는 사람이 가장 많았다는 반응
  • Qwen3.6 27B·35B-A3B를 llama.cpp, OpenCode, Pi 같은 하네스(모델을 감싸는 에이전트 도구)와 쓴다는 댓글이 다수였다.
  • 한 댓글은 Qwen 3.6 27b로 코딩의 약 90%를 처리하고, 복잡한 작업과 UI 다듬기는 Codex로 돌린다고 했다.
  • 다른 댓글은 월 $100 Claude 구독을 로컬 모델로 바꿨고 "Claude만큼은 아니지만 크게 문제될 정도는 아니다"라고 했다.
• Opus가 계획하고 로컬이 실행한다는 경험
  • 한 댓글은 Opus로 계획을 만들고 로컬 에이전트가 따라 한 뒤 Opus가 검증하는 방식을 쓴다고 했다.
  • 다른 댓글은 Sonnet으로 설계와 실행 계획을 만든 뒤 Qwen3.6 27b에 조각조각 정밀하게 넘긴다고 했다.
  • 한 댓글은 밤새 Chrome devtools MCP로 퍼즈 테스트를 돌리는 식으로 비용 때문에 못 하던 워크플로를 쓴다고 했다.
• 로컬 모델은 지시가 정확해야 한다는 경험
  • 한 댓글은 Qwen3.6 35b가 열린 가정을 두면 가장 쉬운 길로 가고, 루프에 자주 빠지며 edit 툴 호출도 자주 틀린다고 했다.
  • 같은 댓글은 Opus가 15배 빠르게 해준다면 로컬 Qwen은 5배라고 비교했다.
  • 다른 댓글은 컨텍스트가 100k를 넘으면 품질과 속도가 떨어져 256k 창에서 compact 기준을 75%로 잡았다고 했다.
• 회의적 반응도 있었다
  • 한 댓글은 Qwen 480B와 Kimi까지 써 봤지만 Claude에 근접한 모델이 없었다고 했다.
  • 다른 댓글은 매달 조사해도 설정 시간과 비용 대비 가치가 없다는 결론이라고 했다.
  • 로컬이 아니어도 DeepSeek v4 Pro, Kimi K2.6을 원하는 추론 제공자에서 쓰면 세션의 80% 이상을 처리한다는 댓글도 있었다.

How to Apply

• 오늘 내 GPU에 맞는 모델부터 돌려 보기
  • VRAM 24GB 안팎이면 llama.cpp로 Qwen3.6 27B 또는 35B-A3B를 띄운다.
  • OpenCode나 Pi를 연결해 작은 버그 수정 하나를 시켜 본다.
  • 댓글 예시 설정은 https://github.com/pierotofy/LocalCodingLLM/ 이다.
• Claude로 계획 짜고 로컬로 실행 나누기
  • 큰 모델에 설계와 단계별 실행 계획을 한 번 만들게 한다.
  • 로컬 모델에는 계획을 한 단계씩 정확한 프롬프트로 넘긴다.
  • 막히는 작업만 Claude Code나 Codex로 되돌린다.
• 컨텍스트 압축 기준을 낮춰 두기
  • 100k 넘어 품질이 떨어지면 compact 기준을 75% 정도로 낮춘다.
  • 작업은 범위를 좁히고 가정을 명시해서 지시한다.

Try It

# 로컬 모델(OpenCode/Pi 등)이나 Claude에 붙여넣기 — 댓글 경험을 옮긴 간이 버전

너는 범위가 좁고 명확한 작업만 수행하는 코딩 에이전트다.
규칙:
1. 아래 작업의 가정이 불명확하면 먼저 질문해라. 가장 쉬운 방법으로 임의로 처리하지 마라.
2. 아키텍처 규칙을 지켜라: {{프로젝트 규칙, 예: CSS는 별도 파일로 분리}}
3. edit 툴 호출이 실패하면 파일을 다시 읽기 전에 같은 편집을 한 번 더 시도해라.
4. 한 번에 한 단계만 하고, 끝나면 변경 파일과 테스트 결과를 요약해라.

실행 계획: {{큰 모델이 만든 단계별 계획}}
지금 할 단계: {{단계 번호와 내용}}

Terminology

관련 논문

• GLM-5.3 Workers AI의 KV cache 교차 노출 사고와 SGLang 수정

  컨텍스트 창보다 작은 KV 풀 때문에 긴 프롬프트 155건에 타인 데이터가 섞였다

• Microsoft Decision-1: Qwen3.5-9B 기반 결정 점수 전용 모델

  글 대신 선택지별 확률만 내놓는 9B 모델, 라우팅·분류용으로 공개

• Cerebras가 조 단위 파라미터 모델을 웨이퍼 여러 장에 올리는 방법

  Kimi K3(3T)를 웨이퍼 59장 파이프라인에 올려 초당 1000~2000+ 토큰을 낸다

• AI 이미지 생성 실전 가이드: diffusion부터 에이전트 연동까지

  이미지 API를 직접 써 보니 캔버스 단위 과금과 카메라 묘사 프롬프트가 핵심이었다

• DeepInfer: DeepSeek 모델용 고성능 대규모 추론 프레임워크 공개

  DeepSeek가 프로덕션 추론 엔진 DeepInfer를 Apache-2.0으로 공개했다

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

  DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

Related Resources

• https://news.ycombinator.com/item?id=48542100
• https://github.com/pierotofy/LocalCodingLLM/
• https://pi.dev/