의료 태스크와 임상 추론에서 DeepSeek LLM 비교 벤치마크
Comparative benchmarking of the DeepSeek large language model on medical tasks and clinical reasoning
TL;DR Highlight
연구가 DeepSeek 모델과 GPT-4 등 기존 모델의 의료 질문 및 임상 추론 성능을 직접 비교했다.
Who Should Read
의료 AI 챗봇이나 임상 의사결정 지원 시스템을 개발 중인 개발자. 모델 선택 단계에서 DeepSeek vs GPT-4 vs 다른 오픈소스 모델을 고민하는 상황에 유용.
Core Mechanics
- DeepSeek LLM을 USMLE(미국 의사 면허 시험), MedQA, MedMCQA 등 의료 벤치마크에서 GPT-4, Claude, LLaMA 등과 비교 평가
- 임상 추론(증상→진단→치료 단계별 논리 전개) 능력을 별도로 측정해서 단순 암기 vs 추론 능력을 구분
- DeepSeek은 비슷한 규모의 오픈소스 모델 대비 의료 도메인에서 경쟁력 있는 성능을 보임
- 의료 특화 파인튜닝 없이 일반 모델만으로도 의료 태스크에서 어느 수준까지 가능한지 기준선(baseline) 제시
- 모델별로 강점 분야가 다름 — 진단 추론은 GPT-4가 앞서지만 비용 대비 성능은 DeepSeek이 유리할 수 있음
Evidence
- 논문 제목 기반으로 구체적 수치 확인 불가 — USMLE 패스 기준(60% 이상)을 넘는지 여부가 주요 측정 지표로 활용됨
- MedQA, MedMCQA 등 표준 의료 벤치마크 정확도 수치를 모델별로 표로 제시 (정확한 수치는 원문 확인 필요)
- 임상 추론 시나리오에서 단계별 정확도를 측정해 단순 MCQ 정확도와 별도로 비교
How to Apply
- 의료 챗봇 프로토타입을 만들 때 GPT-4 대신 DeepSeek API를 써보고 이 벤치마크 결과를 기준으로 허용 가능한 오류율인지 판단하면 된다.
- USMLE 스타일 문제를 테스트셋으로 구성해서 자체 서비스에 쓸 모델을 직접 평가하는 파이프라인을 만들 때 이 논문의 프롬프트 형식을 참고하면 된다.
- 의료 도메인 파인튜닝 전에 베이스 모델 성능을 이 벤치마크 점수와 비교해서 파인튜닝 ROI를 판단하는 기준으로 활용 가능.
Code Example
# USMLE 스타일 의료 추론 평가 프롬프트 예시
prompt = """
You are a medical expert. Answer the following clinical question step by step.
Question: A 45-year-old male presents with sudden onset chest pain radiating to the left arm, diaphoresis, and shortness of breath. ECG shows ST elevation in leads II, III, aVF.
What is the most likely diagnosis and immediate management?
Think step by step:
1. Key symptoms and signs
2. Most likely diagnosis
3. Differential diagnoses
4. Immediate management steps
"""
import openai # DeepSeek은 OpenAI 호환 API 제공
client = openai.OpenAI(
api_key="YOUR_DEEPSEEK_API_KEY",
base_url="https://api.deepseek.com"
)
response = client.chat.completions.create(
model="deepseek-chat",
messages=[{"role": "user", "content": prompt}],
temperature=0.1 # 의료 태스크는 낮은 temperature 권장
)
print(response.choices[0].message.content)Terminology
관련 논문
2,000명이 내 AI 어시스턴트를 해킹하려 한 뒤 벌어진 일
실제로 6,000개 이상의 이메일로 AI 에이전트에 prompt injection 공격을 시도한 공개 실험 결과로, Claude Opus 4.6이 비밀 파일 유출을 한 번도 허용하지 않았지만 실험 설계의 현실성에 대한 논란이 뜨거웠다.
언제 LLM을 조합하면 효과가 있나? 67개 Frontier 모델에서 Routing, Voting, Mixture-of-Agents의 Co-Failure Ceiling 분석
여러 LLM을 조합해도 '모든 모델이 동시에 틀리는 비율(β)'이 성능 상한선이며, 업계가 쓰는 pairwise 상관계수(ρ)는 이 상한선을 예측하지 못한다.
Function Calling을 넘어서: Tool-Environment 신뢰성 문제 하에서의 Tool-Using Agent 벤치마크
실제 환경처럼 API가 망가지거나 결과가 이상할 때 LLM 에이전트가 얼마나 잘 버티는지 측정하는 벤치마크 ToolBench-X 공개.
LG 스마트 TV 앱의 절반 가까이에 Residential Proxy SDK가 심어져 있다
6,038개의 LG·Samsung 스마트 TV 앱을 스캔했더니 2,058개에서 사용자의 IP를 몰래 팔아 트래픽을 중계하는 Residential Proxy SDK가 발견됐다. TV는 컴퓨터처럼 감시받지 않아서 프록시 호스트로 거의 이상적인 환경이다.
Prompt Injection의 본질은 Role Confusion이다
LLM이 시스템 프롬프트, 사용자 입력, 툴 출력을 구분하지 못하는 구조적 결함이 prompt injection의 근본 원인이라는 ICML 2026 논문으로, 현재 LLM 보안 아키텍처의 한계를 명확히 분석한다.
GPT-5.5의 환각(Hallucination) 비율이 MIT 라이선스 GLM-5.2보다 3배 높다
모델 크기가 커질수록 성능이 좋아진다는 통념에 반해, 오픈소스 753B 모델 GLM-5.2가 추정 1~2T 규모의 GPT-5.5보다 환각 비율이 3배 낮다는 벤치마크 결과가 나왔다. 단순히 파라미터 수와 벤치마크 점수만으로 모델을 선택하면 실제 업무에서 낭패를 볼 수 있다는 경고다.