LLM 자동 채점의 일관성: 모델 내·모델 간 편차와 Voting 전략

TL;DR Highlight

여러 LLM의 다수결 투표가 같은 모델 내 편차는 거의 없으면서도 모델 간 편차가 크다는 특성을 활용하여 자동 채점 정확도를 높인다.

Who Should Read

LLM을 이용해 사용자 답변, 에세이, 코드 품질 등을 자동 평가하는 파이프라인을 구축 중인 AI 엔지니어나 교육 테크 개발자.

Core Mechanics

Claude, DeepSeek, Gemini, GPT, Qwen 5개 모델 테스트 결과, 같은 모델 내(intra-LLM) 반복 채점 일관성은 temperature 설정과 무관하게 거의 완벽 수준
서로 다른 모델 간(inter-LLM) 일관성은 중간 수준 — 채점하기 쉬운 문항일수록 모델 간 합의도 높아짐
모델 내 일관성이 높다고 채점 정확도가 높은 건 아님 — 혼자서 일관되게 틀릴 수 있다는 뜻
반면 모델 간 일관성은 채점 정확도와 강한 양의 상관관계 — 여러 모델이 동의하면 실제로 맞을 가능성이 높음
여러 LLM의 결과를 다수결(majority voting)로 합산하면 단일 모델보다 채점 정확도 향상

Evidence

5개 LLM 모두 intra-LLM 일관성에서 'almost perfect' 등급 달성 (Cohen's kappa 기준)
inter-LLM 일관성은 'moderate' 수준으로, 쉬운 채점 문항에서 더 높은 모델 간 합의 확인
intra-LLM 일관성과 채점 정확도 간 상관관계 없음 vs inter-LLM 일관성과 정확도 간 강한 양의 상관관계
majority voting 전략 적용 시 단일 LLM 대비 채점 정확도 유의미하게 향상 (ASAP 오픈 데이터셋 및 과학 교육 평가 데이터 기준)

How to Apply

단일 LLM으로 채점하는 경우: temperature를 0으로 고정해도 일관성은 확보되지만, 정확도 보장은 별개 문제이므로 정답 레이블과 비교하는 검증 단계를 추가할 것
높은 채점 정확도가 필요한 경우: Claude, GPT, Gemini 등 2~3개 모델에 동일 프롬프트를 보내고 다수결로 최종 점수를 결정하는 앙상블 파이프라인 구성
모델 간 불일치가 잦은 문항은 '채점하기 어려운 문항'으로 플래그 처리해 사람이 검토하도록 라우팅하는 신뢰도 기반 필터 설계에 활용 가능

Code Example

snippet

import openai
import anthropic
import google.generativeai as genai
from collections import Counter

def score_response(question, student_answer, rubric, models=["gpt", "claude", "gemini"]):
    """
    여러 LLM으로 채점 후 majority voting 적용
    """
    prompt = f"""다음 문항과 학생 답변을 루브릭 기준으로 채점하세요.

문항: {question}
학생 답변: {student_answer}
루브릭: {rubric}

점수만 숫자로 출력하세요 (예: 2)."""

    scores = []

    # GPT
    if "gpt" in models:
        response = openai.chat.completions.create(
            model="gpt-4o",
            messages=[{"role": "user", "content": prompt}],
            temperature=0  # intra-LLM 일관성 확보
        )
        scores.append(int(response.choices[0].message.content.strip()))

    # Claude
    if "claude" in models:
        client = anthropic.Anthropic()
        response = client.messages.create(
            model="claude-opus-4-6",
            max_tokens=10,
            messages=[{"role": "user", "content": prompt}]
        )
        scores.append(int(response.content[0].text.strip()))

    # Majority voting
    vote_counts = Counter(scores)
    final_score = vote_counts.most_common(1)[0][0]
    confidence = vote_counts[final_score] / len(scores)

    return {
        "final_score": final_score,
        "confidence": confidence,
        "all_scores": scores,
        "needs_review": confidence < 0.6  # 모델 간 불일치 시 사람 검토 플래그
    }

# 사용 예시
result = score_response(
    question="광합성 과정에서 빛에너지의 역할을 설명하시오.",
    student_answer="빛에너지는 물 분자를 분해하는 데 사용됩니다.",
    rubric="0점: 무관한 답변, 1점: 부분 정답, 2점: 완전한 답변"
)
print(result)

Terminology

intra-LLM consistency같은 모델에 같은 질문을 여러 번 했을 때 얼마나 같은 답이 나오는지. 사람으로 치면 같은 채점자가 오늘과 내일 같은 답안을 같은 점수로 매기는지.

inter-LLM consistency다른 모델들이 같은 답안을 채점했을 때 얼마나 같은 점수를 주는지. 여러 채점자가 얼마나 의견이 일치하는지와 같음.

majority voting여러 모델(또는 사람)의 판단을 모아서 가장 많이 나온 답을 최종 정답으로 채택하는 방식. 대선 선거처럼 과반수 득표한 쪽을 선택.

temperatureLLM이 응답을 생성할 때 얼마나 '랜덤성'을 줄지 조절하는 파라미터. 0에 가까울수록 항상 같은 답, 높을수록 매번 다른 창의적 답이 나옴.

Cohen's kappa두 채점자(또는 모델)가 얼마나 일치하는지 측정하는 통계 지표. 단순 일치율과 달리 우연에 의한 일치를 보정함. 1에 가까울수록 완벽한 일치.

constructed-response item객관식이 아닌 서술형/단답형 문항. 학생이 직접 문장으로 답해야 해서 자동 채점이 어려운 유형.

ASAPAutomated Student Assessment Prize의 약자. 학생 서술형 답변 자동 채점 연구를 위한 유명한 오픈 벤치마크 데이터셋.

Related Resources

https://www.kaggle.com/c/asap-aes (ASAP Automated Student Assessment Prize 데이터셋)

Original Abstract (Expand)

Large language models (LLMs) have shown great potential in automatic scoring. However, due to model characteristics and variation in training materials and pipelines, scoring inconsistency can exist within an LLM and across LLMs when rating the same response multiple times. This study investigates the intra-LLM and inter-LLM consistency in scoring with five LLMs (i.e., Claude, DeepSeek, Gemini, GPT, and Qwen), variability under different temperatures, and their relationship with scoring accuracy. Moreover, a voting strategy that assembles information from different LLMs was proposed to address inconsistent scoring. Using constructed-response items from a science education assessment and open-source data from the Automated Student Assessment Prize (ASAP), we find that: (a) LLMs generally exhibited almost perfect intra-LLM consistency regardless of temperature; (b) inter-LLM consistency was moderate, with higher agreement observed for items that were easier to score; (c) intra-LLM consistency consistently exceeded inter-LLM consistency, supporting the expectation that within-model consistency represents an upper bound for cross-model agreement; (d) intra-LLM consistency was not associated with scoring accuracy, whereas inter-LLM consistency showed a strong positive relationship with accuracy; and (e) majority voting across LLMs improved scoring accuracy by leveraging complementary strengths of different models.