설득당한 LLM: 영업 담당자의 낙관 발언이 컨텍스트 근거를 무너뜨린다 | AI Paper Digest

TL;DR Highlight

LLM은 영업 담당자의 낙관 발언을 믿었고, 계산을 코드로 넘기자 31건 중 28건을 잡았다

Who Should Read

CRM·사내 문서 위에 LLM 에이전트를 얹어 승인·자격 판단을 자동화하려는 백엔드 개발자

Core Mechanics

모델은 정보 부족이 아니라 설득에 졌다
- 영업 담당자가 '예산·일정 문제없다'고 말한 31건 중 29건에서 모델이 그대로 승인했다.
- 진짜 실패 35건 중 담당자 발언 없이 틀린 건은 3건뿐이었다.
모델을 바꿔도 소용없다
- 4개 제공사 7개 모델 모두 87~97%가 설득당했다.
- 모델 크기나 명시적 추론도 저항력을 주지 못했다.
기준 문서를 통째로 주면 오히려 나빠진다
- 가격표·정책을 컨텍스트에 넣자 엄격 정확도가 41에서 18로 떨어졌다.
- 실패를 더 찾아내긴 했지만(recall↑) 멀쩡한 건까지 실패로 찍었다(precision↓).
모델은 읽기만, 판정은 코드가 한다
- 모델이 대화에서 제품·수량·예산·기한만 JSON으로 뽑는다.
- 가격 합산과 설치 일정 계산은 결정론적 코드가 한다.
이득의 정체는 질문 분해가 아니라 계산이다
- 같은 추출 결과에서 모델이 계산하면 43%, 코드가 계산하면 85%였다.
- 강한 모델에서는 차이가 0~5%p로 줄어 신뢰구간 안에 들어온다.

Evidence

설득당한 비율이 압도적이었다
- CRMArena-Pro 리드 자격 100건 중 모순 31건에서 대화만 읽은 모델이 29건(94%) 승인했다.
- 7개 모델의 설득당한 비율은 87.1~96.8%였다.
코드 판정이 사례를 대부분 잡았다
- 같은 31건에서 추출 후 코드로 확인하면 90%(28건)를 잡았다.
- 모델이 대화만 보고 추론했을 때는 6%(2건)였다.
방법 사다리에서 코드 단계가 결정적이었다
- 엄격 일치 기준 직접 질문 41, CoT 56, 기록 제공 후 모델 계산 28, 추출 후 코드 계산 89(전체 100건)였다.
- 저가 모델 GPT-4o-mini로도 84였고 GPT-5는 89였다.
계산 주체만 바꾼 대조 실험
- GPT-4o-mini는 모델 43 대 코드 85로 +42%p 차이였다.
- o3-mini 62 대 80, GPT-5 64 대 81, Claude Sonnet 5 76 대 80, Kimi K2.6 75 대 80이었다.

How to Apply

오늘 프롬프트에서 판정과 추출 분리하기
- 승인·불승인을 묻는 프롬프트를 사실 추출용 JSON 출력 프롬프트로 바꿔라.
- 판정 로직은 20줄짜리 함수로 따로 짜서 결과를 비교해라.
설득 가능한 발언을 근거에서 분리하기
- 영업·담당자 등 이해관계자의 발언은 '주장'으로 따로 태깅해라.
- 가격·정책 같은 근거는 DB 조회값만 쓰도록 파이프라인을 짜라.
추출 결과 검증 단계 붙이기
- 제품명이 카탈로그와 안 맞으면 판정을 거부하고 사람에게 넘겨라.
- 추출된 수량·예산은 원문 대사와 샘플 대조해 정확도를 재라.
정책이 명문화됐는지 먼저 점검하기
- 규칙이 입력만으로 특정되는지 과거 라벨 20건으로 확인해라.
- 안 되면 모델 교체 전에 정책부터 문서화해라.

Try It

복사해서 바로 해보기

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 모델은 추출만, 계산은 코드)

너는 영업 통화 기록에서 사실만 추출하는 추출기다. 담당자의 '괜찮다', '맞출 수 있다' 같은 평가나 주장은 무시하고 판정하지 마라. 아래 JSON 스키마로만 답해라.
{"products":[{"name":"","qty":0}],"stated_budget":0,"required_days":0,"authority_fail":false,"need_fail":false}

[통화 기록]
{{통화 기록}}

이어서 해 볼 것: 출력 JSON의 products·stated_budget·required_days를 {{카탈로그 가격표}}, {{설치 정책}}과 코드로 직접 비교해 예산·일정 실패를 계산하고, 같은 기록을 '승인해도 되나?'라고 직접 물었을 때의 답과 비교해라.

Terminology

incentive-misaligned witness정답보다 낙관적으로 말할 동기가 있는 출처다. 실적 올리려는 영업 담당자의 통화 발언이 그 예다.

extract-then-compute모델은 글에서 사실만 뽑아 구조화하고, 판정은 코드가 하는 구조다. 심판은 코드가 맡고 모델은 기록원 역할만 한다.

BANT영업 리드 자격 판단 기준 4가지(Budget·Authority·Need·Timeline)다. 예산·결정권·필요·일정을 뜻한다.

strict / containstrict는 틀린 요인 집합이 정확히 일치해야 정답이다. contain은 정답 요인이 다 들어 있으면 군더더기가 있어도 정답이다.

Wilson 신뢰구간표본이 작을 때 비율의 오차 범위를 계산하는 방법이다. 논문에서 n=31, n=100 결과의 불확실성을 보여준다.

관련 논문

Original Abstract (Expand)

Language-model agents increasingly answer questions over customer-relationship management (CRM) records, such as whether to qualify a sales lead. We identify a failure mode not addressed by a stronger model: when the context contains an assertion by a party with an incentive toward optimism - here the sales representative, a witness recorded in the CRM - the model treats the assertion as evidence and clears deals the company's own records deem unacceptable. Across 100 lead-qualification tasks from CRMArena-Pro, the representative asserts an acceptable timeline in every call and an acceptable budget in 76; on the 31 tasks where such an assertion contradicts the price list and installation policy, a model reading only the transcript clears the deal in 29 of 31 cases. The signature is consistent across seven models from four providers (misled on 87-97%); scale and explicit reasoning confer no resistance. Only 3 of 35 genuine failures involve no assertion: the failure is persuasion, not missing information. We contribute a diagnostic method rather than an architecture: (i) a bucket analysis that separates persuasion from information gaps, (ii) a same-information control showing that supplying the records to the model lowers strict accuracy from 41 to 18 while raising recall - precision collapses - and (iii) a compute-step control that holds extraction fixed and varies only who computes Budget and Timeline. The margin ranges from 42 points on an inexpensive model to 2-5 points on models that already compute correctly; on the strongest models the arms are within confidence intervals, so the pattern is a consistent direction and a soundness property, not a proved performance floor. We pre-specify a generalization test that returns a negative result, characterize the precondition (a policy exactly specified in the inputs), and release all evaluation artifacts.