Human-AI 상호작용에서의 Invisible Failures (보이지 않는 실패)

# Claude Sonnet을 이용한 대화 품질 자동 태깅 예시 (논문 방법 기반)

import anthropic

client = anthropic.Anthropic()

SIGNAL_TAGS = [
    "goal_failure", "ai_false_confidence", "ai_off_topic_drift",
    "ai_misunderstanding", "ai_self_contradiction", "user_abandonment",
    "repetition", "partial_success", "recovery"
]

def analyze_conversation(transcript: str) -> dict:
    prompt = f"""당신은 Human-AI 대화 품질 분석기입니다.
아래 대화를 분석하고 JSON으로 응답하세요:

1. overall_quality: good / acceptable / poor / critical
2. signals: 해당하는 신호 태그 목록 (없으면 빈 배열)
   가능한 태그: {SIGNAL_TAGS}
3. archetype: 해당하는 invisible failure 패턴 (없으면 null)
   - The confidence trap: 틀린 답을 자신있게 전달
   - The silent mismatch: 사용자 의도를 조용히 오해
   - The drift: 주제에서 이탈
   - The death spiral: 반복 루프에 빠짐
   - The contradiction unravel: 자기 모순
   - The walkaway: 사용자가 목표 미달성으로 이탈
   - The partial recovery: 부분적 회복
   - The mystery failure: 원인 불명 실패
4. evidence: 판단 근거 (특정 턴, 텍스트)

대화:
{transcript}

JSON만 출력:"""

    response = client.messages.create(
        model="claude-sonnet-4-5",
        max_tokens=1024,
        messages=[{"role": "user", "content": prompt}]
    )
    
    import json
    return json.loads(response.content[0].text)

# 사용 예시
transcript = """
User: 2019년 미국에서 총기 살인이 가장 많은 도시는?
AI: 볼티모어입니다. 348건의 살인이 발생했습니다.
User: 시카고는 몇 건이었나요?
AI: 시카고는 492건이었습니다.
User: 그럼 어느 도시가 더 많았나요?
AI: 시카고가 더 많았습니다.
"""

result = analyze_conversation(transcript)
print(result)
# 예상 출력:
# {
#   "overall_quality": "poor",
#   "signals": ["goal_failure", "ai_self_contradiction", "ai_false_confidence"],
#   "archetype": "The confidence trap",
#   "evidence": "AI가 처음에 볼티모어가 1위라고 단정했으나 실제론 시카고가 더 많았음"
# }