Anthropic 사직 선언: "양쪽 모두 무책임하다"

Who Should Read

LLM API와 에이전트를 실무에 쓰며 AI 안전성 논쟁이 제품 선택에 미칠 영향이 궁금한 개발자

Core Mechanics

• 사전학습 연구자가 Anthropic을 떠났다
  • 작성자는 최근 3년간 OpenAI와 Anthropic에서 pretraining(대규모 사전학습) 연구를 했다고 밝혔다.
  • 두 회사 모두 책임감 있게 행동하지 않는다고 주장했다.
• 자기개선 초지능을 향한 경주라는 주장
  • 두 회사가 self-improving superintelligence(스스로 성능을 개선하는 초지능)를 향해 달리며 인류의 삶을 걸고 도박한다고 썼다.
  • 이 기술이 곧 무엇이든 해킹하고 어떤 분야든 하루아침에 바꿀 수 있다고 주장했다.
• AI를 만드는 사람들이 진심으로 위험을 믿는다
  • AI가 이번 10년 말까지 인류를 죽일 수 있다고 개발자들이 진지하게 믿는다고 썼다.
  • 마케팅 쇼가 아니라고 선을 그었다.
• OpenAI와 Anthropic의 차이를 짚었다
  • OpenAI에는 문명 차원의 위험을 깊이 내면화하지 못한 사람이 많다고 했다.
  • Anthropic은 위험을 잘 이해하지만 먼저 도달해야 한다는 경쟁에 갇혀 있다고 했다.
• 협력은 가능하다고 보지만 경주는 못 막고 있다
  • Hugging Face 공격 같은 경고 사례 덕에 미국 연구소 간 속도 조절 합의가 더 현실적이 됐다고 했다.
  • 그래도 글로벌 경주를 막을 궤도에는 있지 않다고 봤다.

Community Reactions

• 위험 과장이라는 반론
  • 핵무기나 탄소 배출만큼 위험하다는 증거는 아직 못 봤다는 의견이 있었다.
  • AI 정신병으로 인한 극소수 자살 외에 실제 피해 사례를 못 찾겠다는 댓글이 있었다.
• 모델 단독이 아니라 하니스 조합이 위험하다는 의견
  • 모델이 30% 실패해도 하니스(에이전트 실행 틀)가 재시도·검증·분기·병렬 에이전트로 보완한다는 의견이 있었다.
  • 자격 증명과 실제 시스템 접근권이 붙으면 충분히 좋은 모델만으로도 위험해질 수 있다는 주장이었다.
• 사람의 오용과 부주의가 핵심이라는 의견
• 위험은 로그 같은 터미네이터식 반란이 아니라 사람이 도구를 악용하는 데서 온다는 댓글이 있었다.
  • 에이전트 군집을 지켜보던 담당자가 졸다가 사고가 난다는 식의 우려도 나왔다.
• 홍보 목적 아니냐는 회의론
  • IPO 앞둔 마케팅처럼 읽힌다는 댓글이 있었다.
  • 사직만 할 게 아니라 진짜 믿는다면 행동해야 한다며 사직의 효과를 의심하는 의견도 있었다.

How to Apply

• 에이전트 권한 목록을 30분 점검하기
  • 지금 쓰는 에이전트가 가진 API 키·DB·셸 권한을 표로 정리하라.
  • 쓰지 않는 권한은 즉시 회수하라.
• 위험한 도구 호출에 사람 승인 단계 넣기
  • 결제·삭제·배포 같은 도구 호출 앞에 승인 확인을 붙여라.
  • 재시도 루프에는 횟수 상한을 설정하라.
• 벤더 의존도 기록하기
  • 모델 공급사 한 곳에 의존하는 기능을 목록화하라.
  • 대체 모델로 바꿀 때 필요한 작업을 한 줄씩 적어 둬라.

Try It

# Claude 또는 ChatGPT 대화창에 붙여넣기 (원문 댓글의 '하니스 조합 위험' 관점을 프롬프트로 옮긴 간이 버전)

우리 서비스의 에이전트 구성은 다음과 같다.
- 모델: {{모델명}}
- 도구: {{도구 목록}}
- 자격 증명·접근 권한: {{권한 목록}}
- 재시도·자동 실행 정책: {{재시도 정책}}

모델이 가끔 틀린다고 가정하고, 하니스(재시도·병렬 에이전트·코드 실행)가 오류를 증폭할 수 있는 시나리오 5개를 들어라.
각 시나리오마다 (1) 피해 범위 (2) 차단할 권한 (3) 사람 승인 지점을 표로 정리하라.

이어서 해 볼 것: 가장 위험한 시나리오 하나를 골라 실제 로그에서 재현 가능한지 확인해 보라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓

Related Resources

• https://twitter.com/hilbertspaess/status/2097476196791709843#m
• https://xcancel.com/hilbertspaess/status/2097476196791709843