10년 된 CNN이 최신 LLM보다 피부암 진단을 더 잘했다

Who Should Read

의료·이미지 분류 기능에 범용 LLM API를 붙일지 전용 모델을 학습시킬지 고민하는 백엔드 개발자

Core Mechanics

• 200건 중 CNN 125건, LLM은 84·85건
  • 6개 진단 중 정답을 맞힌 수는 Inception v3가 125건(62%)이다.
  • GPT-6 Astra는 84건, Claude Fable 5.1은 85건(둘 다 42%)이다.
• 2순위까지 봐도 CNN이 앞섰다
  • 1·2순위 중 정답이 있는 경우는 CNN 173건, GPT-6 Astra 134건, Claude Fable 5.1 138건이다.
  • 흑색종 30건 중 1순위 정답은 CNN 13, GPT-6 Astra 8, Claude Fable 5.1 11이다.
• CNN은 20분 파인튜닝한 구형 모델이다
  • 2015년 구글이 공개한 Inception v3를 ISIC 아카이브 이미지 68,011장으로 H100 한 장에서 전체 레이어 파인튜닝했다.
  • 테스트 200건과 같은 병변·환자의 사진은 학습 데이터(검증셋 포함)에서 모두 뺐다.
• LLM은 각자 찍는 답이 있었다
  • GPT-6 Astra는 기저세포암이 25건뿐인데 75건을 기저세포암이라 했고, 흑색종 30건 중 14건도 그렇게 답했다.
  • Claude Fable 5.1은 광선각화증이 20건뿐인데 53건을 광선각화증이라 했다.
• 양성 병변 구분에서 격차가 가장 컸다
  • 점(nevus) 50건 중 CNN 37, GPT-6 Astra 16, Claude Fable 5.1 33건을 맞혔다.
  • 지루각화증 50건 중 CNN 26, GPT-6 Astra 13, Claude Fable 5.1 6건을 맞혔다.
• CNN이 전부 이긴 건 아니다
  • 기저세포암은 GPT-6 Astra가 25/25, CNN이 24/25였다.
  • 광선각화증은 두 LLM(10·12건)이 CNN(9건)보다 많이 맞혔다.
• 저자가 밝힌 한계가 분명하다
  • 병변 200건, 흑색종 30건뿐이라 근소한 차이는 순위를 매기기 어렵고 LLM은 케이스당 1회만 실행했다.
  • 전 병변을 조직검사한 어려운 케이스라 일반 이미지에서는 CNN의 ROC 곡선 아래 면적(AUC)이 0.96, 이번 테스트는 0.86이다.

Community Reactions

• 범용 LLM보다 전용 분류기가 낫다는 의견
  • 데이터와 라벨이 충분한 분류 작업이면 xgboost나 분류 헤드를 단 딥러닝이 정답이라는 의견이 있었다.
  • LLM은 추론 설명이나 분류기를 만드는 보조로 쓰라는 의견이다.
• 벤치마크에 맞춘 모델이라 일반화가 약하다는 반론
  • 특정 데이터셋에 파인튜닝하면 작은 모델이 이기지만 실제 촬영 이미지 같은 분포 밖 데이터에서는 약할 것이라는 의견이 있었다.
  • 문진 기록, 환자 질문, 문신 같은 예외 요소를 다루는 LLM의 잠재력을 놓쳤다는 의견도 있었다.
• 학습 데이터를 컨텍스트에 넣어 비교해야 한다는 제안
  • CNN 학습에 쓴 데이터 일부를 프롬프트에 넣고 LLM에 분류시키는 비교가 중요하다는 의견이 있었다.
  • 표 형식 예측의 TabPFN이 이런 방식이라는 언급이다.
• 피부과 리더보드 1위 모델 개발자의 경험
  • 약 11개 라벨의 좁은 과제에서는 단순한 모델이 LLM을 이기는 게 당연하다는 의견이다.
  • 오픈 가중치 의료 이미지-언어 임베딩인 MedSigLIP도 상위 10위에 못 들었다고 했다.

How to Apply

• 지금 쓰는 LLM 분류 작업을 정답표로 채점하기
  • 라벨 있는 샘플 100~200건을 뽑아 LLM에 같은 프롬프트로 돌려 정답률과 클래스별 오답 쏠림을 표로 만든다.
  • 한 클래스에 답이 몰리는지 혼동 행렬로 확인한다.
• 라벨 데이터가 있으면 전용 분류기를 베이스라인으로 붙이기
  • 이미지·표 데이터는 사전학습 모델 파인튜닝이나 xgboost 같은 작은 모델을 같은 테스트셋으로 비교한다.
  • 테스트 데이터와 같은 대상의 샘플을 학습셋에서 먼저 제거한다.
• LLM은 분류기 제작 보조와 설명 역할로 돌리기
• 학습 코드, 데이터 전처리, 오류 분석은 LLM에게 맡긴다.
  • 최종 판정은 전용 분류기가 하고 LLM은 근거 설명을 붙이는 구조로 나눈다.

Try It

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: LLM 분류 결과 진단표 만들기)

나는 LLM으로 {{분류 작업 설명}}을 하고 있다. 아래는 정답 라벨과 LLM 예측이 들어있는 CSV다.
{{label,prediction CSV 붙여넣기}}

다음을 해줘.
1. 전체 정확도와 클래스별 정확도를 표로 보여줘.
2. 혼동 행렬을 만들어줘.
3. LLM이 특정 클래스로 과하게 몰아 답하는지 찾아줘. 예측 수와 실제 수를 비교해줘.
4. 가장 위험한 오분류 유형을 꼽아줘.

이어서 해 볼 것: 같은 데이터로 xgboost나 로지스틱 회귀 베이스라인을 만드는 파이썬 코드를 써달라고 요청해 비교해 본다.

Terminology

관련 논문

• 미국 미디어·영화·예술 일자리 20만 개 감소, AI 탓은 얼마나 될까

  미국 창작 산업 일자리가 4년간 20만 개 넘게 줄었지만 AI 책임 비중은 입증하기 어렵다

• AI 투자 효과, 빅테크 밖에서는 아직 안 보인다

  Mag 7은 1인당 매출·마진이 오르는데 S&P 493은 제자리

• LLM으로 대규모 formal verification이 가능해졌다

  Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다

• PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점

  Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다

• LLM에게 confidence 점수를 물어보면 안 되는 이유

  LLM이 말한 confidence 숫자는 측정값이 아니라 그럴듯한 텍스트일 뿐이다

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

Related Resources

• https://lynchlab.net/llm-skin-cancer