Claude Opus 4.6, BridgeBench 환각(Hallucination) 테스트에서 정확도 83% → 68%로 하락

Who Should Read

Anthropic Claude API를 프로덕션에 사용 중이고 모델 품질 변화에 민감한 백엔드/AI 개발자, 또는 LLM 벤치마크 신뢰성에 관심 있는 개발자.

Core Mechanics

• BridgeBench는 LLM의 환각(모델이 사실이 아닌 내용을 사실처럼 생성하는 현상) 수준을 측정하는 벤치마크로, Claude Opus 4.6를 대상으로 테스트한 결과 정확도가 83%에서 68%로 약 15%p 하락했다고 보고됐다.
• 이 결과를 발표한 것은 BridgeMind AI 팀(@bridgemindai)으로, X(구 Twitter)에 공개했지만 원문 트윗 자체는 JavaScript 없이 접근이 불가해 세부 내용 확인이 어렵다.
• 15%p라는 수치 자체는 단순 노이즈로 보기엔 꽤 큰 차이다. 벤치마크 설계상 여러 반복(iteration)에 걸쳐 테스트하도록 만들어졌다면, 이 정도 격차는 무시하기 어렵다는 시각이 있다.
• 반면 몇 가지 방법론적 의문도 제기됐다. 공개된 정보에 샘플 사이즈나 반복 실행 횟수가 명시되지 않아, 단 1회 실행 결과일 가능성이 있다는 지적이 나왔다.
• LLM은 기본적으로 비결정론적(같은 입력에도 매번 다른 출력이 나올 수 있음)이기 때문에, 단일 실행 결과만으로는 모델 성능이 실제로 저하됐다고 단정하기 어렵다는 반론도 있다.

Evidence

• 샘플 사이즈와 실행 횟수가 공개되지 않았다는 점을 지적하는 댓글이 있었다. '아마 전체 테스트 스위트를 1회만 실행한 것 같다'며, 비결정론적 모델 특성상 실행마다 결과가 달라질 수 있으므로 이것이 실제 성능 저하의 증거라고 보기 어렵다는 의견이었다.
• 반대 입장의 댓글에서는 '15%는 엄청난 격차'라고 반박했다. 벤치마크가 여러 반복에 걸쳐 철저히 테스트하도록 설계됐다면 이 정도 차이는 유의미하다는 주장이며, Anthropic이 최상위 모델 접근을 제한하고 있다는 불만도 함께 표출됐다.
• 일부 유저는 'Anthropic이 사용하는 실제 최고 모델에 제한 없이 접근하고 싶다, 비용이 더 들더라도'라는 감정적 불만을 토로했다. 이는 모델 성능 저하에 대한 커뮤니티의 오랜 불신을 반영한다.
• 논의와 무관하게 '계산 기호론(Computational Semiotics)이 실증적으로 증명됐다'며 자신의 Substack 글을 홍보하는 스팸성 댓글도 달렸다.

How to Apply

• Claude API를 프로덕션에서 사용 중이라면, 모델 업데이트 전후로 자체 테스트셋을 구축해 정기적으로 회귀 테스트를 돌리는 것이 좋다. 외부 벤치마크 결과에만 의존하면 실제 서비스에 맞는 성능 변화를 놓칠 수 있다.
• 벤치마크 결과를 해석할 때는 샘플 사이즈, 반복 실행 횟수, temperature 설정 등 방법론적 세부사항을 반드시 확인하라. 이번 사례처럼 메타데이터가 불명확하면 결과의 신뢰성 자체를 판단하기 어렵다.
• LLM의 비결정성을 고려해 중요한 평가는 최소 수십~수백 회 반복 실행 후 평균값을 사용하라. 단일 실행 결과로 모델 간 혹은 버전 간 성능을 비교하면 잘못된 결론을 내릴 수 있다.

Terminology

관련 논문

• Mindwalk – 코딩 에이전트 세션을 코드베이스 3D 맵 위에서 재생하는 시각화 도구

  Claude Code나 Codex 같은 AI 코딩 에이전트가 세션 중 코드베이스의 어떤 파일을 탐색하고 수정했는지를 3D 지도 형태로 시각화해서 재생해주는 로컬 도구다. 에이전트가 작업을 어떻게 이해했는지 한눈에 파악할 수 있다.

• Ghost Font: 사람은 읽을 수 있지만 AI는 읽기 어려운 안티-AI 폰트 실험

  움직임(모션)을 이용해 글자를 표현해서 AI 모델이 정적 이미지 분석으로는 메시지를 해독하지 못하게 막는 실험적 프로젝트인데, 커뮤니티에서는 이미 GPT-5.6, Claude Opus 등으로 해독에 성공한 사례가 속출해 실효성 논쟁이 뜨겁다.

• GPT-5.6, Grok 4.5, Claude, Muse Spark 등 12개 모델이 동일한 앱 4개를 빌드한 결과 비교

  12개 LLM 모델에게 레이캐스터 미로, 루빅스 큐브, 계산기, Game of Life 앱을 각각 5번씩 만들게 해서 성공률·비용·속도를 비교한 실전 벤치마크다. GPT-5.6 Sol이 전반적으로 가장 일관된 결과를 냈고, Grok 4.5는 가성비 면에서 눈에 띄었다.

• Databricks가 수백만 라인 실제 코드베이스로 Coding Agent를 벤치마킹한 결과

  Databricks가 자사 실제 코드베이스를 기반으로 여러 AI 코딩 에이전트의 성능과 비용을 직접 측정했고, 모델 토큰 가격과 실제 태스크 비용이 전혀 다르다는 점, 그리고 오픈소스 모델이 이제 최상위 수준에 도달했다는 점을 확인했다.

• Reasoning에서 Uncertainty 추정하기: LLM의 다국어 및 교차언어 MCQA 성능 대규모 연구

  LLM이 저자원 언어 질문을 받을 때 영어로 추론하게 하면 불확실성 추정 성능이 고자원 언어 수준으로 올라온다.

• LLM-as-a-Verifier: 범용 Verification 프레임워크

  LLM의 토큰 확률 분포를 활용해 discrete 점수 대신 continuous 점수를 뽑아내면, 추가 학습 없이 코딩·로봇·의료 에이전트 평가 정확도를 SOTA로 끌어올릴 수 있다.

Related Resources

• https://twitter.com/bridgemindai/status/2043321284113670594
• https://open.substack.com/pub/sublius/p/the-semiotic-reflexi