LLM은 언제 답을 포기해야 할까? Chain-of-Self-Questioning으로 오답 줄이기

TL;DR Highlight

답하기 전 필요한 정보를 자가 점검시켰더니 오답 커밋이 13.1%→8.9%로 줄었다

Who Should Read

LLM 답변이 그럴듯하지만 틀려서 '모르겠다'고 말하게 만들고 싶은 QA·챗봇 백엔드 개발자

Core Mechanics

답하기 전에 먼저 자기 점검시킨다
- CoSQ(Chain-of-Self-Questioning)는 프롬프트만으로 동작하고 파인튜닝이나 logits 접근이 필요 없다.
- 필요한 정보 나열, 각 정보의 확신도 0~100 평가, 기준 통과 시에만 답변의 3단계로 구성된다.
확신도가 낮으면 그냥 포기한다
- 정보 항목별 확신도 평균이 임계값 τ 이상일 때만 답하고, 아니면 "I don't know"를 낸다.
- Grounded 방식은 통과한 정보만 최종 답변 프롬프트에 넘긴다.
τ=0.90에서 오답 커밋이 32% 줄었다
- TruthfulQA 객관식에서 CoT 대비 전체 질문 중 오답 비율이 13.1%에서 8.9%로 떨어졌다.
- 대신 질문의 12.3%는 답하지 않고 넘긴다.
11개 모델 모두에서 같은 방향이었다
- 오답률은 낮아지고 답변한 것의 정확도는 올라갔다.
- 모든 임계값에서도 마찬가지였다.
포기가 항상 정확하지는 않다
- 포기한 질문 중 CoT가 틀렸던 비율은 평균 31.3%뿐이다.
- 나머지 68.7%는 CoT가 맞혔을 질문을 놓친 것이다.

Evidence

TruthfulQA 객관식 817문항, 11개 모델 평균
- Grounded-CoSQ τ=0.90은 CoT 대비 오답 커밋률이 13.1%에서 8.9%로 낮아졌다(32.1% 상대 감소).
- 답변 정확도는 86.9%에서 89.7%로 올랐고 커버리지는 87.6%였다.
변형별 τ=0.90 비교
- Critical-CoSQ는 커버리지 88.6%에 오답 커밋률 9.2%였다.
- Adaptive-CoSQ는 커버리지 86.5%, 정확도 89.6%, 오답 커밋률 8.9%였다.
통계 검정과 모델별 결과
- Grounded의 오답률 감소폭은 0.0422이고 95% 부트스트랩 구간은 [0.0272, 0.0595]이다.
- 11개 모델 모두 같은 방향이었고 Wilcoxon p=0.00049였다.
NQ-Short 300문항, 5개 모델 평균
- Grounded-CoSQ는 CoT 대비 오답 커밋률이 0.412에서 0.274로 낮아졌다.
- 답변 정확도는 0.588에서 0.670으로 올랐고 커버리지는 0.830이었다.

How to Apply

지금 쓰는 프롬프트에 확신도 점검 단계 붙이기
- 오늘 30분 안에 질문 하나에 대해 필요한 정보를 나열시키고 각 정보에 0~100 확신도를 받아 본다.
- 평균이 90 미만이면 "모르겠음"으로 처리해 기존 답과 비교한다.
임계값 τ를 서비스 비용에 맞춰 정하기
- 오답 비용이 크면 τ=0.90, 응답 범위가 중요하면 낮추거나 Critical 방식을 쓴다.
- 검증용 질문셋으로 τ별 커버리지와 오답률을 직접 측정한다.
포기한 질문은 검색이나 사람 검토로 넘기기
- 게이트에서 거절된 질문을 RAG 재검색이나 담당자 에스컬레이션 경로로 연결한다.
- 포기율이 약 12%이므로 검토 인력 부담을 먼저 계산한다.
비용 증가를 감안해 고위험 질문에만 적용하기
- 호출이 3~4배로 늘어나므로 의료·법률·금융처럼 오답 비용이 큰 경로에만 켠다.
- 일반 질문은 기존 CoT를 유지한다.

Try It

복사해서 바로 해보기

# Claude/ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 한 번에 3단계를 수행)

질문: {{질문}}
선택지(있으면): {{선택지}}

아래 3단계를 순서대로 수행해.
1) 이 질문에 정확히 답하려면 필요한 정보 조각을 번호 목록으로 나열해. 아직 답하지 마.
2) 각 정보에 대해 네가 근거로 삼을 사실 한 문장(FACT)과 확신도 0~100(CONFIDENCE)을 써.
3) 확신도 평균이 90 이상이면, 확신도가 높은 사실만 근거로 최종 답을 한 줄로 써. 90 미만이면 "ABSTAIN: 모르겠음"만 출력해.

마지막 줄에 평균 확신도를 숫자로 적어.

이어서 해 볼 것: 같은 질문 10개로 임계값을 70/80/90으로 바꿔 포기 비율과 오답을 비교해 봐.

Terminology

Abstain답을 하지 않고 "모르겠다"고 넘기는 것이다. 의사가 애매한 환자를 전문의에게 보내는 것과 비슷하다.

Coverage(커버리지)전체 질문 중 모델이 실제로 답한 비율이다. 포기를 많이 할수록 낮아진다.

Answered Accuracy모델이 답한 질문만 놓고 계산한 정확도이다. 포기한 질문은 분모에서 빠진다.

Wrong-commitment rate전체 질문 중 틀린 답을 내놓은 비율이다. 포기한 것은 틀린 것으로 세지 않는다.

τ (임계값)답할지 말지 가르는 확신도 기준선이다. 확률이 아니라 서비스에 맞춰 조절하는 다이얼이다.

TruthfulQA사람들이 흔히 믿는 오해를 모델이 따라 하는지 보는 벤치마크이다.

Related Resources

Original Abstract (Expand)

Large language models can produce fluent answers when their factual support is weak. This paper introduces Chain-of-Self-Questioning (CoSQ), a prompt-only framework that makes answer commitment conditional on an explicit assessment of the information required to answer a question. We evaluate three CoSQ variants under seventeen conditions on the 817-item TruthfulQA multiple-choice validation set using eleven open-weight and hosted model families. In the final balanced-option protocol, Grounded-CoSQ at τ=0.90 reduces the mean unconditional wrong-commitment rate from 13.1% under chain-of-thought prompting to 8.9%, a 32.1% relative reduction, while increasing answered accuracy from 86.9% to 89.7% and answering 87.6% of questions. Both improvements hold for all eleven models and at every evaluated threshold. Critical-CoSQ and Adaptive-CoSQ provide neighboring operating points with 88.6% and 86.5% coverage, respectively, while remaining more reliable than the baseline. A secondary Natural Questions Short-Answer evaluation provides convergent open-form evidence. These findings show that self-assessment can support explicit, tunable answer-or-abstain decisions when an unsupported commitment is more costly than referral or review.