Ask HN: 이해 못 하는 AI 작성 코드를 배포할 때 어떻게 하나

Who Should Read

AI 에이전트가 쓴 코드를 다 읽지 못한 채 PR을 머지해야 해서 불안한 백엔드 개발자

Core Mechanics

• 원문 없이 댓글로만 이뤄진 질문 스레드
  • 원문 본문은 제공되지 않았다.
  • 제목이 던진 질문은 "이해하지 못하는 AI 코드를 어떻게 배포하나"다.
• 이 스레드에서 원문 사실은 확인할 수 없다
  • 방법론은 모두 댓글 의견이므로 커뮤니티 반응 칸에 정리했다.

Community Reactions

• 설계는 사람이, 구현은 LLM이라는 방식
  • 한 댓글러는 추상화와 객체 간 상호작용을 UML 수준으로 직접 설계하고 빈 곳만 LLM에게 구현시킨다고 했다.
  • LLM은 추상화를 잘 못 짜서 요구사항이 바뀔수록 리팩터링이 커졌다는 경험을 말했다.
• 테스트와 검증 인프라를 늘리라는 의견
  • 컴파일러 프로젝트 댓글러는 테스트를 대량으로 만들고 5개 아키텍처에서 몇 시간 걸리는 릴리스 게이트를 돌린다고 했다.
  • 다른 댓글은 퍼징·카오스·뮤테이션 테스트로 테스트 자체의 신뢰를 높인다고 했다.
• 위험도에 따라 리뷰 깊이를 조절한다는 경험
  • 한 댓글러는 SQL 스키마는 직접 쓰고 HTML/JS/CSS는 거의 바이브 코딩한다고 했다.
  • 롤백이 어렵고 위험한 결정일수록 리뷰에 시간을 더 쓴다는 댓글도 있었다.
• 코드를 읽지 않고 배포하면 안 된다는 반론
  • 한 댓글러는 회사에서 최소 한 명은 코드를 설명할 수 있어야 하고 테스트도 틀릴 수 있다고 했다.
  • 다른 댓글은 코딩을 직접 안 하면 암묵적 이해가 사라져 중간 지점은 없다는 의견을 냈다.
• 에이전트가 증거를 내놓게 하는 방식
  • 한 댓글러는 PR마다 스크린샷, 영상, 코드 리뷰, 아키텍처 다이어그램으로 증명하게 한다고 했다.
  • 다른 댓글러는 변경 설명 템플릿과, 검증 못 한 가정을 코드에 리뷰 코멘트로 남기게 한다고 했다.

How to Apply

• 다음 PR에 AI 리뷰어를 하나 더 붙이기
  • 오늘 머지할 PR 하나를 골라 코드를 쓴 AI와 다른 AI에게 리뷰를 시켜라.
  • 설계 선택의 이유를 설명하고 평가하고 대안까지 내놓게 하라.
• 에이전트 작업 전에 설계 문서를 먼저 쓰기
  • 새 기능을 시작할 때 모듈 책임과 상호작용을 직접 적은 뒤 구현만 LLM에 맡겨라.
  • 이 문서를 이후 리팩터링의 기준으로 계속 갱신하라.
• 변경 설명 템플릿을 에이전트에 요구하기
  • PR마다 외부 시스템 연동, 해피 패스, 코너 케이스, 배포 체크리스트를 쓰게 하라.
  • 검증하지 못한 가정은 코드 주석으로 남기게 하라.
• 영역별 위험도에 맞게 리뷰 깊이 나누기
  • DB 스키마처럼 되돌리기 어려운 곳은 직접 쓰거나 끝까지 읽어라.
  • UI처럼 쉽게 다시 만들 수 있는 곳은 테스트와 요구사항 통과로 판단하라.

Try It

# Claude Code 또는 ChatGPT에 붙여넣기 (스레드 댓글 아이디어를 프롬프트로 옮긴 간이 버전)

너는 방금 아래 변경을 구현했다. 코드를 읽지 않는 리뷰어를 위해 다음 형식으로 답하라.

{{변경 diff 또는 PR 설명}}

1. 외부 시스템과의 상호작용
2. 해피 패스 시퀀스
3. 코너 케이스
4. 배포 체크리스트와 설정 변경
5. 테스트하지 못한 가정 목록: 각 항목마다 "무엇을 테스트 못 했는지 / 네 생각 / 그대로 배포하면 어떻게 되는지"

이어서 해 볼 것: 5번 항목 중 가장 위험한 것 하나를 골라 그것을 검증하는 테스트를 작성시켜라.

Terminology

관련 논문

• WhatsApp 도움말 페이지에 숨겨진 LLM 지시문: 규제기관을 추천하지 말라

  WhatsApp 도움말에 화면엔 안 보이는 AI 지시문 102개가 숨어 있었다

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://news.ycombinator.com/item?id=50151036
• https://gavinray97.github.io/blog/design-by-contract-and-eff...