의료 태스크와 임상 추론에서 DeepSeek LLM 비교 벤치마크
Comparative benchmarking of the DeepSeek large language model on medical tasks and clinical reasoning
TL;DR Highlight
연구가 DeepSeek 모델과 GPT-4 등 기존 모델의 의료 질문 및 임상 추론 성능을 직접 비교했다.
Who Should Read
의료 AI 챗봇이나 임상 의사결정 지원 시스템을 개발 중인 개발자. 모델 선택 단계에서 DeepSeek vs GPT-4 vs 다른 오픈소스 모델을 고민하는 상황에 유용.
Core Mechanics
- DeepSeek LLM을 USMLE(미국 의사 면허 시험), MedQA, MedMCQA 등 의료 벤치마크에서 GPT-4, Claude, LLaMA 등과 비교 평가
- 임상 추론(증상→진단→치료 단계별 논리 전개) 능력을 별도로 측정해서 단순 암기 vs 추론 능력을 구분
- DeepSeek은 비슷한 규모의 오픈소스 모델 대비 의료 도메인에서 경쟁력 있는 성능을 보임
- 의료 특화 파인튜닝 없이 일반 모델만으로도 의료 태스크에서 어느 수준까지 가능한지 기준선(baseline) 제시
- 모델별로 강점 분야가 다름 — 진단 추론은 GPT-4가 앞서지만 비용 대비 성능은 DeepSeek이 유리할 수 있음
Evidence
- 논문 제목 기반으로 구체적 수치 확인 불가 — USMLE 패스 기준(60% 이상)을 넘는지 여부가 주요 측정 지표로 활용됨
- MedQA, MedMCQA 등 표준 의료 벤치마크 정확도 수치를 모델별로 표로 제시 (정확한 수치는 원문 확인 필요)
- 임상 추론 시나리오에서 단계별 정확도를 측정해 단순 MCQ 정확도와 별도로 비교
How to Apply
- 의료 챗봇 프로토타입을 만들 때 GPT-4 대신 DeepSeek API를 써보고 이 벤치마크 결과를 기준으로 허용 가능한 오류율인지 판단하면 된다.
- USMLE 스타일 문제를 테스트셋으로 구성해서 자체 서비스에 쓸 모델을 직접 평가하는 파이프라인을 만들 때 이 논문의 프롬프트 형식을 참고하면 된다.
- 의료 도메인 파인튜닝 전에 베이스 모델 성능을 이 벤치마크 점수와 비교해서 파인튜닝 ROI를 판단하는 기준으로 활용 가능.
Code Example
# USMLE 스타일 의료 추론 평가 프롬프트 예시
prompt = """
You are a medical expert. Answer the following clinical question step by step.
Question: A 45-year-old male presents with sudden onset chest pain radiating to the left arm, diaphoresis, and shortness of breath. ECG shows ST elevation in leads II, III, aVF.
What is the most likely diagnosis and immediate management?
Think step by step:
1. Key symptoms and signs
2. Most likely diagnosis
3. Differential diagnoses
4. Immediate management steps
"""
import openai # DeepSeek은 OpenAI 호환 API 제공
client = openai.OpenAI(
api_key="YOUR_DEEPSEEK_API_KEY",
base_url="https://api.deepseek.com"
)
response = client.chat.completions.create(
model="deepseek-chat",
messages=[{"role": "user", "content": prompt}],
temperature=0.1 # 의료 태스크는 낮은 temperature 권장
)
print(response.choices[0].message.content)Terminology
관련 논문
LLM이 TLA+로 실제 시스템을 제대로 모델링할 수 있을까? — SysMoBench 벤치마크
LLM이 TLA+ 명세를 작성할 때 문법은 잘 통과하지만 실제 시스템과의 동작 일치도(conformance)는 46% 수준에 그친다는 걸 체계적으로 검증한 벤치마크 연구로, AI 기반 형식 검증의 현실적 한계를 보여준다.
Natural Language Autoencoders: Claude의 내부 활성화를 자연어 텍스트로 변환하는 기법
Anthropic이 LLM 내부의 숫자 벡터(활성화값)를 직접 읽을 수 있는 자연어로 변환하는 NLA 기법을 공개했다. AI가 실제로 무슨 생각을 하는지 해석하는 interpretability 연구의 새로운 진전이다.
ProgramBench: LLM이 프로그램을 처음부터 다시 만들 수 있을까?
LLM이 FFmpeg, SQLite, PHP 인터프리터 같은 실제 소프트웨어를 문서만 보고 처음부터 재구현할 수 있는지 측정하는 새 벤치마크로, 최고 모델도 전체 태스크의 3%만 95% 이상 통과하는 수준에 그쳤다.
MOSAIC-Bench:코딩 에이전트의 Compositional Vulnerability 유도 측정
티켓 3장으로 쪼개면 Claude/GPT도 보안 취약점 코드를 53~86% 확률로 그냥 짜준다.
LLM의 거절(Refusal) 동작은 단 하나의 방향(Direction)으로 제어된다
13개의 오픈소스 채팅 모델을 분석했더니, 모델이 유해한 요청을 거절하는 동작이 내부 활성화 공간에서 단 하나의 1차원 벡터 방향으로 인코딩되어 있었다. 이 방향을 제거하면 안전 파인튜닝이 사실상 무력화되므로, 현재 안전 학습 방식이 얼마나 취약한지 보여준다.
LLM의 구조화된 출력(Structured Output)을 테스트하는 새 벤치마크 SOB 공개
스키마 준수 여부만 보던 기존 벤치마크의 한계를 넘어, 실제 값의 정확도까지 7가지 지표로 평가하는 Structured Output Benchmark(SOB)가 공개됐다. 인보이스 파싱, 의료 기록 추출처럼 JSON 출력의 정확성이 중요한 프로덕션 시스템에서 어떤 모델을 써야 할지 판단하는 데 직접적으로 참고할 수 있다.