희귀해도, 관련 있어도 틀린다: LLM 그룹 의사결정에서 메모리가 실패하는 방식

Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions

Oct 27, 2026•Anouar Imel, Imad Charradi, Abderrahman Sghir +1•View PDF

TL;DR Highlight

에이전트 토론 요약을 '희귀 우선'이나 '관련성 우선'으로 고르면 결론이 쉽게 틀어진다

Who Should Read

멀티 에이전트 토론 결과를 요약·메모리로 압축해 최종 판단 모델에 넘기는 파이프라인을 만드는 백엔드 개발자

Core Mechanics

희귀 우선은 평균이 랜덤과 같다
- 희귀한 주장부터 남기는 방식(R1)은 CrossProfile 평균에서 Random과 차이가 없었다.
- 희귀한 사실이 정답 근거일 때만 이기고, 오답 유도 사실일 때는 진다.
관련성 필터는 함정 정보를 되살린다
- 오답 유도 사실(decoy)은 기준에 관련된 참인 진술이라 관련성 필터를 통과한다.
- 필터가 완벽해도 고전 hidden-profile 설정에서 R1보다 낮았다.
정책보다 남은 근거의 균형이 결과를 정한다
- 정답 쪽 근거가 오답 쪽보다 얼마나 앞서는지에 따라 정확도가 단조 증가했다.
- 그 값을 알고 나면 어떤 정책으로 골랐는지는 거의 영향이 없었다.
여러 에이전트 태그가 붙으면 더 믿는다 (사회적 증거)
- 판단 모델은 [A1,A2,A3,A4]처럼 여러 에이전트가 말했다고 태그된 사실에 가중치를 더 줬다.
- 실제로는 같은 사실을 모두에게 배정한 것이라 독립 근거가 아닌데도 그랬다.
자연스러운 토론에서는 근거가 메모리 전에 사라진다
- 전체 대화록을 넘긴 정확도가 아무 메모도 없을 때보다 낮았다.
- 에이전트가 자기 근거를 먼저 말하게 하면 Llama만 크게 올랐고 Qwen은 변화가 없었다.

Evidence

랜덤과 평균이 같다
- CrossProfile 평균 정확도는 R1 64.0%, Random 64.5%(Qwen), R1 63.0%, Random 63.4%(Llama)였다.
- 지원 사실이 비공개이고 오답 유도 사실이 공유일 때 R1은 90~97%, B4(첫 언급 순)는 11~31%였다. 반대 배치에서는 B4 92~96%, R1 18~40%였다.
완벽한 관련성 필터도 졌다
- 고전 셀에서 정답 라벨로 관련성을 준 oracle이 R1보다 Qwen −23.3p, Llama −31.1p, DeepSeek-V4.1-Flash −29.4p 낮았다.
- R1-rel은 고전 셀에서 R1 대비 Qwen −22.2p, Llama −20.0p, Flash −32.2p였다.
태그를 빼면 정확도가 올랐다
- 고전 셀 all-facts 메모리에서 태그를 제거하자 Qwen +14.4p, Llama +13.3p, Flash +24.4p 올랐다(Flash는 72.8%→97.2%).
- 태그를 랜덤 재배정(줄 순서 고정)해도 두 오픈 모델에서 +12.8p 올랐다.
대화록이 빈 메모보다 나빴다
- 자연 토론 HiddenBench에서 REF(전체 대화록) 정확도는 Qwen 22.1%, Llama 33.8%, Flash 25.6%로, 빈 메모(33.8%, 36.9%, 35.9%)보다 낮았다.
- 모든 사실을 줬을 때는 Qwen 70.3%, Llama 61.5%, Flash 89.7%였다.
증거 먼저 말하기는 Llama에만 먹혔다
- 증거 먼저 프롬프트로 Llama REF 정확도가 +30.8p 올랐고, 새 시드 ablation에서도 +25.1p였다.
- Qwen은 눈에 띄는 변화가 없었다.

How to Apply

요약 입력에서 에이전트 태그 빼 보기
- 판단 모델에 넘기는 메모에서 [A1,A2] 같은 발언자 표시를 지운 버전과 비교해 정확도를 재라.
- 출처가 독립적이지 않은 서비스라면 태그 없는 쪽을 기본값으로 삼아라.
요약 정책을 근거 균형으로 평가하기
- 평가 세트에서 어떤 정책이 남긴 사실의 찬반 개수를 세어 정답 쪽 순우위를 같이 기록하라.
- 정확도 차이가 정책 탓인지 남은 근거 탓인지 분리해서 보라.
토론 프롬프트에 근거 먼저 말하기 넣기
- 에이전트 첫 턴에 추천 전에 받은 정보의 구체적 관찰을 조건·부정·숫자와 함께 말하게 지시하라.
- 모델마다 효과가 달라서 쓰는 모델로 REF 정확도를 따로 재라.
메모 정책을 보유자별 평가셋으로 시험하기
- 같은 사실을 공유와 비공개로 바꿔 배치한 케이스를 만들어 요약 정책을 돌려라.
- 평균만 보지 말고 셀별 정확도를 확인하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 태그 유무에 따른 판단 비교)

아래 {{질문}}에 대해 두 가지 메모로 각각 판단해 줘. 메모 A는 발언자 태그가 있고 메모 B는 없다. 각 메모만 근거로 쓰고, 형식은 'Reasoning: (다섯 문장 이내) / Decision: (선택지 그대로)'로 답해.

질문: {{질문}}
선택지: {{선택지}}

메모 A (태그 있음):
{{[A1,A2,A3,A4] 사실1 / [A2] 사실2 ... 형식의 메모}}

메모 B (태그 없음):
{{같은 사실에서 태그만 지운 메모}}

이어서 해 볼 것: 두 판단이 다르면 어떤 사실을 더 비중 있게 봤는지 설명하게 해 봐.

Terminology

hidden-profile 과제참가자마다 일부 사실만 갖고 있어서 정보를 모아야 정답이 나오는 의사결정 과제다. 퍼즐 조각을 나눠 들고 맞추는 것과 비슷하다.

decoy(함정 사실)기준과 관련 있는 참인 사실이지만 경쟁 선택지에 유리해서 판단을 흐리는 정보다.

R1 (rarest-first)주장을 말한 에이전트 수가 적은 순으로 메모에 담는 선택 방식이다.

CrossProfile지원·함정·무관 사실의 보유자를 공유/비공개로 교차 배치한 60개 템플릿, 480개 과제의 진단용 벤치마크다.

사회적 증거(social proof)여러 사람이 말했다는 이유로 그 정보를 더 믿는 경향이다. 여기서는 판단 모델이 태그가 많은 사실을 더 믿는 현상이다.

TL;DR Highlight

에이전트 토론 요약을 '희귀 우선'이나 '관련성 우선'으로 고르면 결론이 쉽게 틀어진다

Who Should Read

멀티 에이전트 토론 결과를 요약·메모리로 압축해 최종 판단 모델에 넘기는 파이프라인을 만드는 백엔드 개발자

Core Mechanics

희귀 우선은 평균이 랜덤과 같다
- 희귀한 주장부터 남기는 방식(R1)은 CrossProfile 평균에서 Random과 차이가 없었다.
- 희귀한 사실이 정답 근거일 때만 이기고, 오답 유도 사실일 때는 진다.
관련성 필터는 함정 정보를 되살린다
- 오답 유도 사실(decoy)은 기준에 관련된 참인 진술이라 관련성 필터를 통과한다.
- 필터가 완벽해도 고전 hidden-profile 설정에서 R1보다 낮았다.
정책보다 남은 근거의 균형이 결과를 정한다
- 정답 쪽 근거가 오답 쪽보다 얼마나 앞서는지에 따라 정확도가 단조 증가했다.
- 그 값을 알고 나면 어떤 정책으로 골랐는지는 거의 영향이 없었다.
여러 에이전트 태그가 붙으면 더 믿는다 (사회적 증거)
- 판단 모델은 [A1,A2,A3,A4]처럼 여러 에이전트가 말했다고 태그된 사실에 가중치를 더 줬다.
- 실제로는 같은 사실을 모두에게 배정한 것이라 독립 근거가 아닌데도 그랬다.
자연스러운 토론에서는 근거가 메모리 전에 사라진다
- 전체 대화록을 넘긴 정확도가 아무 메모도 없을 때보다 낮았다.
- 에이전트가 자기 근거를 먼저 말하게 하면 Llama만 크게 올랐고 Qwen은 변화가 없었다.

Evidence

랜덤과 평균이 같다
- CrossProfile 평균 정확도는 R1 64.0%, Random 64.5%(Qwen), R1 63.0%, Random 63.4%(Llama)였다.
- 지원 사실이 비공개이고 오답 유도 사실이 공유일 때 R1은 90~97%, B4(첫 언급 순)는 11~31%였다. 반대 배치에서는 B4 92~96%, R1 18~40%였다.
완벽한 관련성 필터도 졌다
- 고전 셀에서 정답 라벨로 관련성을 준 oracle이 R1보다 Qwen −23.3p, Llama −31.1p, DeepSeek-V4.1-Flash −29.4p 낮았다.
- R1-rel은 고전 셀에서 R1 대비 Qwen −22.2p, Llama −20.0p, Flash −32.2p였다.
태그를 빼면 정확도가 올랐다
- 고전 셀 all-facts 메모리에서 태그를 제거하자 Qwen +14.4p, Llama +13.3p, Flash +24.4p 올랐다(Flash는 72.8%→97.2%).
- 태그를 랜덤 재배정(줄 순서 고정)해도 두 오픈 모델에서 +12.8p 올랐다.
대화록이 빈 메모보다 나빴다
- 자연 토론 HiddenBench에서 REF(전체 대화록) 정확도는 Qwen 22.1%, Llama 33.8%, Flash 25.6%로, 빈 메모(33.8%, 36.9%, 35.9%)보다 낮았다.
- 모든 사실을 줬을 때는 Qwen 70.3%, Llama 61.5%, Flash 89.7%였다.
증거 먼저 말하기는 Llama에만 먹혔다
- 증거 먼저 프롬프트로 Llama REF 정확도가 +30.8p 올랐고, 새 시드 ablation에서도 +25.1p였다.
- Qwen은 눈에 띄는 변화가 없었다.

How to Apply

요약 입력에서 에이전트 태그 빼 보기
- 판단 모델에 넘기는 메모에서 [A1,A2] 같은 발언자 표시를 지운 버전과 비교해 정확도를 재라.
- 출처가 독립적이지 않은 서비스라면 태그 없는 쪽을 기본값으로 삼아라.
요약 정책을 근거 균형으로 평가하기
- 평가 세트에서 어떤 정책이 남긴 사실의 찬반 개수를 세어 정답 쪽 순우위를 같이 기록하라.
- 정확도 차이가 정책 탓인지 남은 근거 탓인지 분리해서 보라.
토론 프롬프트에 근거 먼저 말하기 넣기
- 에이전트 첫 턴에 추천 전에 받은 정보의 구체적 관찰을 조건·부정·숫자와 함께 말하게 지시하라.
- 모델마다 효과가 달라서 쓰는 모델로 REF 정확도를 따로 재라.
메모 정책을 보유자별 평가셋으로 시험하기
- 같은 사실을 공유와 비공개로 바꿔 배치한 케이스를 만들어 요약 정책을 돌려라.
- 평균만 보지 말고 셀별 정확도를 확인하라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전: 태그 유무에 따른 판단 비교)

아래 {{질문}}에 대해 두 가지 메모로 각각 판단해 줘. 메모 A는 발언자 태그가 있고 메모 B는 없다. 각 메모만 근거로 쓰고, 형식은 'Reasoning: (다섯 문장 이내) / Decision: (선택지 그대로)'로 답해.

질문: {{질문}}
선택지: {{선택지}}

메모 A (태그 있음):
{{[A1,A2,A3,A4] 사실1 / [A2] 사실2 ... 형식의 메모}}

메모 B (태그 없음):
{{같은 사실에서 태그만 지운 메모}}

이어서 해 볼 것: 두 판단이 다르면 어떤 사실을 더 비중 있게 봤는지 설명하게 해 봐.

Terminology

hidden-profile 과제참가자마다 일부 사실만 갖고 있어서 정보를 모아야 정답이 나오는 의사결정 과제다. 퍼즐 조각을 나눠 들고 맞추는 것과 비슷하다.

decoy(함정 사실)기준과 관련 있는 참인 사실이지만 경쟁 선택지에 유리해서 판단을 흐리는 정보다.

R1 (rarest-first)주장을 말한 에이전트 수가 적은 순으로 메모에 담는 선택 방식이다.

CrossProfile지원·함정·무관 사실의 보유자를 공유/비공개로 교차 배치한 60개 템플릿, 480개 과제의 진단용 벤치마크다.

사회적 증거(social proof)여러 사람이 말했다는 이유로 그 정보를 더 믿는 경향이다. 여기서는 판단 모델이 태그가 많은 사실을 더 믿는 현상이다.

Original Abstract (Expand)

희귀해도, 관련 있어도 틀린다: LLM 그룹 의사결정에서 메모리가 실패하는 방식

TL;DR Highlight

Who Should Read

Core Mechanics

Evidence

How to Apply

Try It

Terminology

관련 논문

희귀해도, 관련 있어도 틀린다: LLM 그룹 의사결정에서 메모리가 실패하는 방식

TL;DR Highlight

Who Should Read

Core Mechanics

Evidence

How to Apply

Try It

Terminology

관련 논문