OpenAI가 자사 LLM으로 Jalapeño 칩을 설계한 방법

Who Should Read

LLM 코딩 에이전트를 도메인 특화 업무(하드웨어·커널 최적화 등)에 도입할지 고민하는 백엔드·인프라 개발자

Core Mechanics

• 설계 기간이 20개월 아래였다
  • 첫 아키텍처 콘셉트에서 첫 실리콘까지 20개월 미만이 걸렸다.
  • 첫 RTL(칩 논리를 정의하는 코드)에서 tape-out(제조 넘기기)까지는 9개월이었다.
  • 설계팀은 프로젝트 평균 100명 미만이었다.
• LLM이 잘하는 소프트웨어형 영역에 붙였다
  • 프런트엔드 워크플로를 XLS(구글에서 나온 오픈소스 고수준 합성 도구)로 구성했다.
  • DSLX나 C++로 쓰면 XLS가 Verilog로 변환해 준다.
  • OpenAI 엔지니어는 AI가 소프트웨어처럼 생긴 일에 훨씬 낫다고 말했다.
• 칩 도착 후 커널 최적화는 40시간이었다
  • DeepSeek의 multi-head latent attention 커널 벤치마크에서 이론 상한 대비 성능이 0.31%에서 88.94%로 올랐다.
  • 걸린 시간은 약 40시간이었다.
  • Ho는 이 결과가 재현 가능하다고 말했다.
• 물리 설계에서는 면적 10% 줄었다
  • Hot Chips 2026에서 행렬곱 유닛 면적이 최적화된 사람 기준선 대비 10% 줄었다고 발표했다.
  • 백엔드 대부분은 Broadcom이 맡았다.
  • Broadcom은 OpenAI의 내부 모델 없이 공개 상업 모델만 썼다.

Community Reactions

• 커널 최적화 결과에 놀랐다는 반응
  • 특수 칩 bringup 경험자가 40시간에 0.31%에서 88.94%가 된 부분에 세상이 달라졌다고 놀랐다는 의견이 있었다.
• 수치 표현이 모호하다는 반론
  • 지연 시간 3.6배 감소가 4.6 대 1.0인지 3.6 대 1.0인지 불명확하다는 의견이 있었다.
  • 평균 종류와 측정 대상 같은 정보가 없다는 지적도 있었다.
• AI가 새로운 걸 만든 건 아니라는 비판
  • 이미 있는 칩을 빨리 재현한 것일 뿐이라는 의견이 있었다.
  • 기사 내용은 소프트웨어 개발 활용이지 창의적 설계가 아니라 제목이 오해를 부른다는 의견도 있었다.
• 자기개선 속도의 한계를 짚은 의견
  • 칩 하나에 20개월이 걸리면 재귀적 자기개선이 빠르지 않다는 의견이 있었다.
  • 물리 제조와 물류가 오래 병목으로 남을 것이라는 의견이었다.

How to Apply

• 코딩 에이전트에 DSL 변환 작업 시켜 보기
  • 오늘 사내 설정 파일이나 스키마 하나를 골라 에이전트에게 고수준 언어로 쓰고 변환하게 시켜라.
  • 소프트웨어처럼 생긴 입력일수록 LLM이 잘한다는 원문 논점을 직접 확인하라.
• 성능 최적화 루프에 벤치마크 붙이기
  • 최적화할 커널이나 쿼리에 이론 상한 대비 달성률 지표를 정의하라.
  • 에이전트가 코드를 고치고 지표를 재측정하는 반복 루프를 돌려라.
• 사람 기준선과 비교해 결과 검증하기
  • AI 산출물은 최적화된 사람 구현을 기준선으로 두고 수치로 비교하라.
  • 최종 승인은 엔지니어가 하도록 리뷰 단계를 남겨라.

Try It

# Claude Code 또는 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 벤치마크 기반 최적화 루프)

너는 성능 최적화 엔지니어다. 아래 코드를 이론 상한 대비 달성률 기준으로 개선한다.

[코드]
{{최적화할 코드}}

[이론 상한]
{{예: 메모리 대역폭 기준 초당 처리량}}

[벤치마크 실행 방법]
{{벤치마크 명령}}

지시:
1. 현재 달성률을 먼저 측정하는 방법을 제시해라.
2. 병목 가설을 3개 세우고 하나씩 수정안을 만들어라.
3. 수정마다 측정 결과를 표로 기록하고 다음 수정에 반영해라.

이어서 해 볼 것: 가장 효과가 컸던 수정만 남기고 사람이 직접 리뷰해 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://spectrum.ieee.org/llms-for-chip-design
• https://arxiv.org/abs/2409.05746
• https://en.wikipedia.org/wiki/UltraSPARC_III#UltraSPARC_IIIi