LLM은 왜 표 형식(tabular) 예측에서 실패하는가

TL;DR Highlight

LLM은 표 데이터 차원이 커질수록 정확도가 떨어지는 유일한 방법이었다

Who Should Read

LLM에 CSV를 통째로 넣어 분류·예측을 시키려다 결과가 들쭉날쭉해 고민인 백엔드·데이터 개발자

Core Mechanics

원인 가설 5개 중 4개는 기각
- 노이즈·비선형 데이터, CSV 형식, 숫자 토큰화, 쿼리당 테스트 포인트 수는 통제 실험에서 원인이 아니었다.
- 남은 가설인 입력 차원(컬럼 수)이 결정적이었다.
차원이 커지면 LLM만 나빠진다
- 31개 벤치마크 데이터셋에 랜덤 선형 투영(차원을 바꾸는 변환)을 적용해 9개 방법을 비교했다.
- LLM은 차원이 커질수록 정확도가 떨어진 유일한 방법이었고, 고전 기법은 모두 유지되거나 좋아졌다.
실험 조건은 가장 순수한 추론
- 프롬프트 한 번에 학습·테스트 데이터 전체를 넣고 한 번만 생성하게 했다.
- 도구, 에이전트 구조, 파인튜닝은 쓰지 않았다.
2차원에서는 거리 기반 방식과 비슷
- 252개 설정의 고전 모델과 예측 양상을 비교했다.
- 2차원에서 LLM은 지역적·거리 기반 방법처럼 예측했고, 격자 일치율은 최대 91.6%였다.
고차원에선 어떤 고전 모델과도 안 닮음
- 차원별로 튜닝한 노이즈를 더한 고전 모델도 LLM의 예측을 재현하지 못했다.
- 저자들은 내부 메커니즘은 밝히지 못했고 열린 질문으로 남긴다고 밝혔다.

Community Reactions

표 데이터엔 도구와 하네스를 먼저 붙이라는 의견
- LLM에 데이터를 날것으로 넣지 말고, 데이터에 맞는 최적 도구를 먼저 묻고 제대로 된 하네스를 만들어야 한다는 의견이 있었다.
LLM 탓이 아니라 트리 부스팅이 강한 것일 수도 있다는 의견
- 표 데이터에선 트리 부스팅이 워낙 뛰어나서 LLM이 밀리는 것일 수 있다는 지적이 있었다.
CSV 형식 가설 기각이 의외라는 경험
- gpt-3.5-turbo·gpt-4o 시절 바늘 찾기 테스트에서 CSV·TSV·마크다운 형식 차이가 크게 났다는 경험이 있었다.
- 당시 CSV는 세로 읽기가 형편없었고 마크다운은 괜찮았다고 한다.
추론 수준을 밝히지 않았다는 비판
- 논문에 reasoning 수준·예산이 없는데 결과에 큰 영향을 줄 변수라는 지적이 있었다.
- 도구·에이전트를 뺀 설정이라 실무와 무관하다는 반응도 있었다.

How to Apply

표 예측 작업에 LLM 전체 투입 여부 점검하기
- 오늘 LLM에 CSV를 통째로 넣어 분류·예측하는 코드가 있는지 찾아라.
- 같은 데이터를 로지스틱 회귀나 트리 모델로 돌려 정확도를 비교해라.
컬럼 수를 늘려가며 정확도 곡선 그리기
- 컬럼을 5, 10, 20개로 늘리며 LLM 정확도가 떨어지는지 확인해라.
- 같은 구간에서 고전 모델과 나란히 비교해라.
LLM은 예측기 대신 도구 호출 조율에 쓰기
- 예측은 고전 모델이나 표 전용 모델에 맡기고, LLM은 데이터 준비와 호출 역할로 한정해라.
- 논문은 도구·에이전트를 쓰지 않은 조건이므로 이 구조의 효과는 별도로 측정해라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 — 논문 방법의 간이 버전 (LLM 단독 예측 vs 고전 모델 비교 계획 세우기)

나는 표 데이터 분류를 LLM에 프롬프트로 직접 시키고 있다. 컬럼 수가 늘어날 때 LLM 정확도가 떨어지는지 검증하는 실험을 설계해 달라.

데이터 설명: {{데이터 설명과 컬럼 수}}
현재 프롬프트: {{현재 사용 중인 프롬프트}}

요구사항:
1. 컬럼을 늘려가며 비교하는 실험 단계를 만들어 줘.
2. 같은 데이터에 로지스틱 회귀, 랜덤 포레스트, kNN을 돌리는 scikit-learn 코드를 써 줘.
3. LLM 예측과 고전 모델 정확도를 컬럼 수별로 표로 비교하는 방법을 알려 줘.

이어서 해 볼 것: 결과 표를 붙여넣고 LLM이 어느 컬럼 수부터 밀리는지 해석해 달라고 요청해 보라.

Terminology

Tabular prediction엑셀·DB 표 형태의 데이터로 값을 맞히는 작업이다. 고객 이탈 예측이나 사기 탐지가 해당한다.

Tabular foundation model표 데이터 전용으로 만든 사전학습 모델이다. 범용 LLM 대신 표에 특화된 도구로 쓴다.

랜덤 선형 투영데이터를 임의의 방향으로 섞어 차원 수를 바꾸는 변환이다. 컬럼 수만 바꿔도 모델 성능이 어떻게 변하는지 보는 용도다.

Classical baseline오래된 전통 머신러닝 기법이다. 새 모델이 이겨야 하는 기준선 역할을 한다.

Grid agreement2차원 평면을 격자로 나눠 두 모델의 예측이 얼마나 같은지 재는 지표다.