Claude, "Add to Cart" 버튼을 파란색으로 바꿔줘 (풍자 사이트)
Claude, change the “Add to Cart” button to blue
TL;DR Highlight
버튼 하나 파랗게 바꾸라는 미니게임, 에이전트의 과잉 행동을 풍자한다
Who Should Read
코딩 에이전트가 요청 범위를 넘어 이것저것 건드려 답답했던 개발자
Core Mechanics
- 버튼 하나만 파랗게 바꾸는 게임
- 사이트가 주는 과제는 "Add to Cart 버튼을 파란색으로 바꿔라"다.
- 조건은 "Claude가 다른 건 아무것도 못 바꾸게 하라"는 것이다.
- 원문은 짧은 소개 문구뿐이다
- 원문에는 이 두 문장과 'Let's go', 'About & Terms' 링크만 있다.
- 게임 내부 대화나 규칙은 원문에 나오지 않는다.
Community Reactions
- 풍자인데 현실과 멀지 않다는 경험
- 계획을 다듬고 1000~3000줄 코드와 테스트를 한 번에 잘 만들게 했다는 댓글이 있다.
- 같은 사람이 가장 단순한 작업에 토큰 수십만(여섯 자리)을 쓰고 성과가 없었던 적도 많다고 했다.
- 과하게 검증한다는 의견
- 모델이 이미 되는 해법을 두고 Rust 변형까지 짜서 확인하려 한다는 댓글이 있다.
- 첫 버전인데 지연시간을 50번 재는 식으로 과하게 검증해서 멈춰야 했다고 한다.
- 자기 경험과 다르다는 반론
- Claude가 이렇게 동작하는 걸 본 적 없다는 댓글이 여럿이다.
- 이 예시는 억지로 꾸민 것 같다는 의견도 있다.
- Codex는 이유를 추적해 준다는 경험
- "왜 그랬어"라고 물으면 판단 근거를 되짚어 준다는 댓글이 있다.
- 대개 문제 지정을 잘못했거나 스킬 파일의 지시 때문이라 지시문을 고쳤다고 한다.
- 직접 고치는 게 빠르다는 의견
- 버튼 색 정도는 직접 바꾸고, 코드 위치만 AI로 찾는다는 댓글이 있다.
- diff가 나오면 손으로 다듬는 방식을 쓴다고 한다.
How to Apply
- 지시문에 변경 범위 제한 넣기
- 코딩 에이전트에게 요청할 때 "이 파일의 이 요소만 수정, 다른 파일은 건드리지 마"를 적어라.
- 끝나면 git diff로 의도하지 않은 변경이 없는지 확인하라.
- 작업 전에 이유 묻기 습관 들이기
- 엉뚱한 변경이 나오면 "왜 이렇게 했어"라고 물어 근거를 확인하라.
- 원인이 스킬 파일이나 지시문이면 그 문서를 고쳐라.
Try It
# Claude Code나 ChatGPT에 붙여넣기 (범위 제한 프롬프트, 원문 사이트의 시나리오를 옮긴 간이 버전)
다음 작업만 해줘: {{파일 경로}}의 "{{요소 이름}}"의 색을 {{색상}}으로 바꾼다.
규칙: 다른 요소, 다른 파일, 리팩터링, 테스트 추가, 새 색상 정의는 하지 않는다.
끝나면 변경한 파일과 줄 수만 보고해 줘.
이어서 해 볼 것: git diff로 의도한 변경만 있는지 확인해 보자.Terminology
관련 논문
같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나
긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복
가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격
가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)
Harness Engineering 101: LLM은 뇌, harness는 몸
에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다
Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크
모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다
해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유
경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다
tmux와 Claude Code: 세션, send-keys, 그리고 한계선
tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다
Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트
잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓