AI 랩들은 펠리컨 벤치마크에 맞춰 학습할까? 1,008개 SVG로 확인

TL;DR Highlight

동물×탈것 48칸 SVG 1,008개로 보니 펠리컨 자전거 특화 학습 증거는 없었다

Who Should Read

새 모델이 나올 때마다 비공식 벤치마크 결과를 보고 모델 선택을 고민하는 LLM API 개발자

Core Mechanics

48칸 격자로 펠리컨만 따로 튀는지 봤다
- 동물 8종 × 탈것 6종 = 48개 프롬프트로, 유명한 펠리컨+자전거는 그중 한 칸이다.
- 7개 모델이 프롬프트마다 3개씩 그려 SVG 1,008개를 만들었고 LLM 심판이 1~5점으로 채점했다.
펠리컨도 자전거도 상위권이 아니었다
- 동물 평균 점수에서 펠리컨은 8종 중 6위로, 고양이·고래·너구리·왜가리·영양보다 낮았다.
- 자전거는 탈것 6종 중 5위였고, 48칸 전체에서 펠리컨+자전거는 42위였다.
난이도를 보정해도 특화 효과는 없었다
- 조합별 난이도를 흡수하는 회귀분석을 돌렸더니 랩별 펠리컨 효과는 -0.11~+0.14점이었고 p값 최소가 0.25였다.
- 자전거 효과는 Gemini 3.5 Flash만 p=0.022로 유의했지만 21번 검정에서 우연히 하나 나올 수준이고, Bonferroni 보정(0.05/21≈0.002)은 통과하지 못했다.
펠리컨+자전거 21장이 전부 오른쪽을 본 건 특이하지 않았다
- 전체 1,008장 중 60%가 오른쪽을 보고, 자전거는 81%, 펠리컨은 78%로 원래 오른쪽 쏠림이 강하다.
- 영양+스쿠터와 펠리컨+스쿠터는 20/21, 왜가리+자전거는 19/21이라 21/21도 이상치로 보기 어렵다고 한다.
암기한 장면의 흔적도 없었다
- 플라밍고+보트는 매번 해가 있고, 수달+비행기는 38%에서 스카프, 고양이+자전거는 38%에서 바구니가 나왔다.

Community Reactions

자전거가 오른쪽을 보는 건 사진 관행 때문이라는 의견
- 구동계가 오른쪽에 있어서 판매용 자전거 사진이 거의 오른쪽에서 찍히고, 학습 데이터도 그럴 거라는 의견이다.
- 생성된 그림에서도 자전거가 항상 오른쪽을 보고 라이더 다리도 오른쪽에만 있어 구조 이해가 부족해 보인다는 관찰이 있었다.
표를 보면 학습 흔적이 있다는 반론
- 100% 우측 정렬을 60% 평균에 묻는 건 통계적으로 맞지 않다는 주장이다.
- 명확한 루브릭 없이 단일 모델이 점수를 매긴 방법론도 믿기 어렵다는 지적이다.
수달 비행기는 따로 학습한 듯하다는 관찰
- GLM 5.2와 DeepSeek V4는 동물이 비행기 위에 서 있는데 수달만 좌석에 앉아 있었다는 관찰이다.
- Ethan Mollick의 'Otter On A Plane Using WiFi' 벤치마크 때문 아니냐는 의견이다.
펠리컨이 아니라 SVG 전반을 강화한다는 의견
- 랩들이 SVG용 RL 환경(강화학습 훈련 환경)에서 과하게 학습시키는 것 같다는 의견이다.
- Gemini 3.1 Pro 발표에서 애니메이션 SVG만 크게 오른 걸 근거로 들었다.
간단한 아이콘은 여전히 못 그린다는 경험
- 지도용 칼 아이콘을 요청했더니 ChatGPT, Claude Sonnet 5, Gemini 모두 결과가 나빴다는 경험이다.

How to Apply

내 서비스용 미니 격자 벤치마크 만들기
- 오늘 자주 쓰는 프롬프트의 주제와 조건을 각각 3~4개로 바꿔 격자(예: 3×4=12개)를 만든다.
- 후보 모델마다 3회씩 돌려 한 칸만 유독 좋은지 확인한다.
유명 벤치마크 대신 변형 프롬프트로 검증하기
- 모델 선정 때 유명 예시 한 개 결과만 보지 말고 같은 형식의 변형 10개 이상을 함께 돌린다.
- 대표 예시 점수가 변형 평균보다 크게 높으면 과적합을 의심한다.
LLM 심판 점수는 항목별로 쪼개 매기기
채점 프롬프트에 대상, 도구, 동작 일관성을 각각 1~5점으로 나누고 평균을 쓴다.
- 심판 모델을 두 종류 쓰고 같은 이미지를 두 번 채점해 일관성을 확인한다.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (논문 방법의 간이 버전: 격자 벤치마크 설계)

내 서비스의 핵심 작업은 {{작업 설명}}이다. 이 작업으로 모델이 유명 예시에만 맞춰 학습됐는지 확인하는 격자 평가를 설계해 줘.

조건:
1. 축 2개를 제안해 줘. 하나는 {{축1: 예 주제}} 6~8개, 다른 하나는 {{축2: 예 형식}} 4~6개다. 유명 예시와 비슷한 값, 쉬운 값, 어려운 값, 완전히 다른 값을 섞어 줘.
2. 조합마다 같은 문장 틀의 프롬프트를 만들어 줘.
3. 1~5점 채점표를 항목 3개로 나눠 줘. 항목마다 점수 기준을 한 줄씩 적어 줘.
4. 유명 조합이 난이도를 보정한 뒤에도 평균보다 높은지 판단하는 방법을 단계별로 알려 줘.

이어서 해 볼 것: 만든 프롬프트를 모델별로 3번씩 돌리고 결과를 표로 붙여 주면 분석해 달라고 요청해 보세요.

Terminology

benchmaxxing인기 벤치마크 점수를 올리려고 모델을 거기에 맞춰 최적화하는 일이다. 시험 문제를 미리 알고 공부하는 것과 비슷하다.

pelicanmaxxing'펠리컨이 자전거 타는 SVG' 벤치마크에 맞춰 모델을 특화하는 일을 농담처럼 부른 말이다.

고정효과 회귀조합마다 원래 어려운 정도를 변수로 흡수해 그 효과를 빼고 비교하는 통계 방법이다. 난이도 다른 시험 점수를 보정해 비교하는 것과 같다.

Bonferroni 보정검정을 여러 번 하면 우연히 유의한 결과가 나오므로 기준 p값을 검정 횟수로 나눠 엄격하게 만드는 방법이다.

LLM 심판사람 대신 LLM이 출력물을 보고 점수를 매기는 방식이다. 채점자가 한 명이라 그 사람의 취향이 결과에 섞인다.