SARC-DQ: 에이전트 AI를 위한 런타임 데이터 품질 게이팅

Who Should Read

에이전트가 오래된 가격·레코드를 믿고 잘못된 주문이나 실행을 할까 걱정되는 백엔드·에이전트 개발자

Core Mechanics

• 메타데이터에만 보이는 결함은 모델이 못 본다
  • 120일 묵은 가격은 값 자체가 멀쩡해서 payload만 보면 티가 안 난다.
  • 신선도·출처·버전 같은 메타데이터가 컨텍스트에 없으면 모델 크기와 상관없이 탐지할 방법이 없다.
• 비싼 모델도 똑같이 속는다
  • haiku→sonnet→opus→fable로 추론 가격이 약 15배 오르는 동안 결함 전환율은 60%에서 62%로 거의 그대로였다.
  • 의심 표현 지표(marker AUC)는 0.50 이하, 데이터 품질 플래그를 낸 비율은 모든 단계에서 0%였다.
• 일 잘하는 에이전트가 더 취약하다
  • 가격을 안 따라가는 naive 에이전트(탄력성 0.000)는 손실 전환 0%였고, 못해서 우연히 보호됐다(저자들은 '무능 방패'라 부른다).
  • 가격을 충실히 따르는 에이전트(탄력성 0.992)는 오염된 가격에 42% 확률로 행동했다.
• 행동 직전에 메타데이터 게이트를 두면 잡힌다
  • 행동 직전 Pre-Action Gate가 신선도와 스키마 위반은 100% 잡았다. payload만 보는 critic은 0%였다.
  • 문제 값은 격리하고 별도 버퍼의 검증된 값으로 교체하며, 원본 저장소에는 쓰지 않는다.
• 게이트가 못 잡는 결함도 있다
  • 단위가 조용히 바뀌는 결함과 그럴듯한 이상치는 critic·gate 모두 0%였다.

Evidence

• 모델 가격 15배, 전환율은 그대로
  • 메타데이터성 결함의 행동 결함률(ADR)이 haiku 60%, fable 62%였다.
  • marker AUC는 모든 단계에서 0.50 이하, 명시적 플래그는 0%였다.
• 게이트 vs payload-only critic 탐지율
  • stale_master_data는 critic 0%, gate 100%였다. schema_drift도 0%에서 100%로 올랐다.
  • missing_mandatory_field는 72%에서 100%로 올랐다. 클래스당 오염 에피소드 n=100이다.
• 현실적 critic 대비 전체 비교
  • 탐지율은 gate 62%, critic 31%로 2배였고, 오탐 차단은 둘 다 0%였다.
  • 잔여 손실은 gate 294, critic 311이었다. 신뢰구간은 겹친다.
• 신선도 결함은 완전 복구, 전체는 실패
  • stale_master_data 손실이 게이트 없이 134에서 게이트 적용 시 -0.5로 줄었다.
  • 포트폴리오 복구율은 목표 0.80 이상에 못 미친 -0.04였다.
• 해석 모델은 실측과 잘 맞는다
  • 모델 항이 없는 분석적 oracle이 실측 ADR을 MAE 0.015, Pearson r=0.876으로 예측했다.
  • 실측 구간이 예측값을 덮은 셀은 15/16이었다.

How to Apply

• 에이전트 입력에 메타데이터 필드 로깅하기
  • 오늘 에이전트가 쓰는 도구 응답과 검색 결과에 updated_at, source, version이 붙는지 확인하라.
  • 빠진 필드는 컨텍스트에 안 보이는 만큼 탐지도 불가능하므로 먼저 채워라.
• 행동 직전 freshness 게이트 넣기
  • 주문·결제·변경 같은 쓰기 도구 호출 직전에 max_age 초과 레코드를 차단하는 코드를 추가하라.
  • 위반 시 차단, 사람 에스컬레이션, 격리 후 대체값 사용 중 하나로 응답하라.
• 원본 말고 별도 버퍼로 대체하기
  • 문제 레코드는 원본을 고치지 말고 버전 관리되는 버퍼의 검증된 값으로 바꿔 써라.
  • 행동마다 사용한 레코드 ID를 기록해 추적 가능하게 하라.
• 게이트가 못 보는 결함 목록 만들기
  • 단위 변경과 이상치처럼 규칙이 없는 결함 유형을 적어 두고 별도 검증 규칙을 추가하라.
  • 모델 업그레이드로 해결될 거라 기대하지 말고 규칙 단위로 커버리지를 관리하라.

Try It

# Claude/ChatGPT에 붙여넣기 - 논문 방법의 간이 버전(메타데이터 게이트를 프롬프트로 흉내)

너는 에이전트의 Pre-Action Gate다. 아래 증거 레코드를 보고 행동 전에 검사하라.
규칙: freshness(max_age={{최대허용일수}}일), lineage_present, schema_conformant, complete(required={{필수필드}}).

[증거 레코드 JSON, 메타데이터(updated_at, source, version) 포함]
{{레코드}}

[에이전트가 하려는 행동]
{{행동}}

각 레코드마다 규칙별 PASS/FAIL과 근거를 표로 쓰고, FAIL이 있으면 block / escalate / quarantine-and-substitute 중 하나를 고르라. 마지막에 어떤 규칙으로도 검사할 수 없는 위험(단위 변경, 이상치 등)을 따로 적어라.

이어서 해 볼 것: 일부러 120일 지난 updated_at을 넣어 FAIL이 나오는지 확인하라.

Terminology

관련 논문

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

• Hybrid Reasoning Agents: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트

  잠재 공간 추론과 텍스트 도구 호출을 섞었더니 성능 10.4%↑, 토큰 최대 54.7%↓