6개월간 에이전트로만 코드를 짠 후기

Who Should Read

Claude Code 같은 코딩 에이전트를 병렬로 돌리며 검증과 리뷰 병목에 부딪힌 백엔드 개발자

Core Mechanics

• 코드를 손으로 안 쓰는 규칙을 세웠다
  • 2026년 2월에 직접 코드를 쓰지 않기로 했고, 에이전트가 막히면 대신 완성하지 않고 부족한 것을 찾아 고쳤다.
  • 세 분 동안만 규칙을 깼고 곧 타이핑 양에 질려 포기했다.
• 에이전트 병렬 실행은 충돌이 문제였다
  • 같은 머신에서 돌리니 파일·Git 상태·포트·프로세스가 충돌했다.
  • worktree는 Git만, AGENTS.md 규칙은 컨텍스트만 갉아먹었고, 컨테이너는 격리가 새서 결국 작업당 VM 하나로 갔다.
• 격리 VM에서는 YOLO 모드로 돌렸다
  • 도구 호출마다 승인하면 본인이 병목이 되므로 일회용 VM 안에서는 모든 명령을 허용했다.
  • 외부 접근은 읽기 전용, 쓰기는 테스트 환경만 허용했다.
  • 인증 정보는 프록시가 붙여 주어 에이전트가 시크릿을 보지 못하게 했다.
• 검증이 통과해도 버린 코드가 있다
  • 테스트·스크린샷·리뷰 에이전트가 모두 통과한 변경도 필요 없다고 판단해 버렸다.
  • 도구는 동작 여부는 알려주지만 시스템에 추가할 가치가 있는지는 알려주지 못한다고 한다.
• 코드 안 쓰는 에이전트가 더 쓸모 있었다
  • 고객 제보를 요약 없이 그대로 넣고 ClickHouse 로그로 원인을 찾게 했다.

Community Reactions

• 에이전트에만 의존하다 토큰 한도에 걸려 더 못 이어가고 실력 퇴화를 느꼈다는 경험
  • 몇 달 뒤 방향이 틀렸다고 판단했고, 장애나 비용 인상 때 직접 코딩으로 돌아갈 수 있을지 의문이라는 의견이다.
• 리뷰 병목을 다른 모델 계열의 리뷰와 결정적 게이트로 줄인다는 경험
  • 같은 계열 리뷰어는 편향을 공유하므로 다른 계열 모델이 리뷰하고, lint·단위 테스트를 먼저 통과시킨다고 한다.
  • 그래도 만들 가치가 있는지는 게이트가 못 잡는다는 의견이다.
• 에이전트 여러 개를 돌리면 하루 끝에 녹초가 된다는 경험
  • 에이전트가 모두 느린 길을 고르면 오히려 손해라고 한다.
  • 트리아지·디버깅은 약 5배, 테스트가 탄탄한 코드 작성은 2~3배, 테스트 없는 신규 개발은 -1~1.5배라는 개인 체감이다.
• Cursor+Claude로 해 보니 명세 작성에 오래 걸리고 성공은 5번에 1번뿐이었다는 경험
  • 나머지는 명세의 80%를 무시하거나 엉뚱하게 벗어났다고 한다.
• 글이 exe.dev 홍보 같고 AI 문체라는 반응도 많았다
  • 입사 직후 이야기라 광고처럼 읽힌다는 의견과, AI가 쓴 글 같아 읽기 싫다는 의견이 있었다.

How to Apply

• 고객 제보를 원문 그대로 에이전트에 넘기기
  • 오늘 버그 제보 하나를 요약하지 말고 원문 그대로 붙여 로그 조사를 시키자.
  • 로그 접근은 읽기 전용으로 주고, 결론과 근거를 받은 뒤 직접 결정하자.
• 에이전트 작업마다 일회용 환경을 분리하기
  • 병렬 에이전트를 돌릴 때는 작업당 VM 또는 컨테이너를 따로 주자.
  • 외부 접근은 읽기 전용으로 시작하고 쓰기는 테스트 환경에 한정하자.
  • API 키는 에이전트 환경 밖의 프록시가 붙이게 하자.
• 머지 전에 설계 대화와 행동 테스트를 먼저 요구하기
  • 코드 작성 전에 에이전트와 아키텍처·인터페이스·제약을 먼저 논의하자.
  • 구현을 그대로 따라가는 단위 테스트 대신 불변 조건을 고정하는 계약·속성 테스트를 쓰자.
• 에이전트 대화 기록을 SQLite 등에 저장하기
  • 모든 세션을 저장해 두고 나중에 다른 에이전트로 어디서 막혔는지 검색하자.
  • 도구가 바뀌어도 쓸 수 있게 기록은 독립된 저장소에 두자.

Try It

# Claude 또는 Claude Code에 붙여넣기 (원문 조사 프롬프트의 간이 버전)

Customer reports: {{고객 제보 원문 그대로}}

Please figure out what happened using the {{로그 시스템, 예: ClickHouse}} logs and the relevant code.

# 지시
1. 요약하지 말고 제보 원문 표현을 기준으로 조사해 줘.
2. 로그와 코드에서 찾은 근거를 나열해 줘.
3. 원인, 의도된 동작인지 여부, 수정 옵션을 제시해 줘. 결정은 내가 한다.

# 이어서 해 볼 것
결과가 문서나 안내 메일로 해결되는 건인지 먼저 판단해 달라고 해 보자.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://blog.exe.dev/engineering-with-ai