버그를 환자처럼, 코딩 에이전트를 의료팀처럼: 5개월간의 MOLT Sinai 실험

Who Should Read

코딩 에이전트가 만든 코드를 프로덕션에 믿고 머지하기 어려워 리뷰·승인 구조를 고민하는 백엔드 개발자

Core Mechanics

• Db2 지원이 이틀 만에 끝났다
  • Oracle 지원은 9개월·약 $160K 인건비였고, Db2는 2일·토큰비 $4172였다.
  • 원문은 이를 164배 빠르고 38배 저렴하다고 쓴다.
  • 사람이 쓴 코드는 없었다.
• 병원 은유로 역할을 나눴다
  • 이슈는 환자, 머지는 퇴원, 사람은 Chief of Medicine이다.
  • Triage Nurse, Fellow, Review Attending, Discharge Nurse 같은 역할마다 프롬프트(skill 파일)가 있다.
  • 모든 흐름은 GitHub Actions와 이슈 라벨로 돌아간다.
• 계획 없이 코드 없다
  • Fellow가 문제를 재현하고 치료 계획을 올리면 다른 에이전트 Review Attending이 승인·반려한다.
  • 계획 리뷰의 반려율은 10% 미만이지만 재작업을 가장 앞단으로 당겨 가치가 크다고 한다.
  • 범위가 바뀌면 Fellow는 멈추고 계획부터 다시 올린다("Don't improvise").
• 테스트는 건드리지 못한다
  • 에이전트는 테스트를 끄거나 약화해서 통과시킬 수 없다.
  • 테스트 수정이 필요하면 별도 커밋으로 따로 리뷰받는다.
  • 코드 리뷰는 변경을 꺼서 새 테스트가 실패하는지 확인하는 것부터 시작한다.

Community Reactions

• 역할 프레임이 가장 효율적인 압축이라는 의견
  • 교육병원이라는 은유 하나가 복잡한 역할 관계를 일일이 설명하는 것보다 효율적이라는 의견이 있었다.
  • LLM이 학습 데이터에서 잘 아는 체계를 "~처럼 행동하라"로 빌려 쓰자는 취지다.
• 비용이 지속 불가능하다는 반론
  • 사람 약 $600/일 대비 AI 팩토리 약 $2086/일이라 매출이 3배가 아니면 지속 불가라는 의견이 있었다.
  • 토큰 $135,000이 미국 병원 청구서 같다는 농담도 있었다.
• 코드 품질·유지보수 근거가 없다는 지적
  • 장기 품질이나 유지보수성 데이터는 보이지 않고 에이전트 이야기뿐이라는 의견이 있었다.
  • 역할 롤플레이가 좋은 코드의 비결은 아니라는 회의적 반응도 있었다.
• GitHub 이슈 대신 Redmine을 쓴다는 경험
  • 가볍게 커스터마이징한 Redmine으로 리뷰·UAT와 에이전트 질문 응답을 잘 해 왔다는 경험이 공유됐다.
  • 머지 후 인수 테스트 에이전트를 두는 시도도 언급됐다.

How to Apply

• 리뷰 에이전트에 '허물 찾기' 페르소나 주기
  • 오늘 쓰는 코드 생성 흐름에 리뷰용 프롬프트를 별도 인스턴스로 하나 추가하라.
  • 첫 문장에 "너는 이 코드를 작성한 에이전트와 다른 인스턴스다. 버그·회귀 위험·계획 이탈을 찾아라"를 넣어라.
  • 아래 codeExample을 그대로 붙여 시험하라.
• 구현 전에 계획서 게이트 만들기
  • 에이전트가 코드를 쓰기 전에 진단, 수정 파일, 추가 테스트, 리스크를 담은 계획을 먼저 쓰게 하라.
  • 다른 에이전트가 승인해야 구현을 시작하도록 라벨이나 상태값으로 막아라.
• 변경 1,000줄 상한과 테스트 불가침 규칙 넣기
  • 예상 변경이 1,000줄을 넘으면 하위 이슈로 쪼개도록 지시하라.
  • "테스트를 끄거나 약화하지 말 것, 필요하면 별도 커밋"을 skill 파일에 명시하라.
• 프롬프트 파일을 분기마다 중복 감사하기
  • 규칙이 쌓인 skill·시스템 프롬프트에서 같은 규칙이 반복된 곳을 찾아 지워라.
  • 매 실행마다 로드되는 공통 파일부터 줄여라.

Try It

# Claude 또는 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 계획 리뷰 + 허물 찾기 리뷰어)

너는 Review Attending이다. 아래 코드를 작성한 에이전트와 다른 인스턴스다. 고치는 것이 아니라 결함을 찾는 것이 네 일이다. 버그, 보안 문제, 회귀 위험, 승인된 계획에서 벗어난 부분을 찾아라.

[승인된 계획]
{{치료 계획: 진단, 수정할 파일, 추가할 테스트, 리스크}}

[변경 내용(diff)]
{{diff}}

규칙:
1. 테스트를 끄거나 약화하거나 수정한 흔적이 있으면 반드시 지적하라.
2. 변경을 되돌렸을 때 새 테스트가 실패하는지 따져 보고, 실패하지 않는 테스트를 지적하라.
3. 범위를 벗어난 변경을 지적하라.

출력: 승인 또는 반려, 그리고 근거 목록.

이어서 해 볼 것: 같은 diff 앞에 "먼저 치료 계획만 쓰고 멈춰라"라는 단계를 추가해 계획 승인 후에만 구현시켜 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://www.cockroachlabs.com/blog/experiment-running-hospital-code/
• https://github.com/mas-bandwidth/nova-sprint