Text-to-SQL 파이프라인 모듈, 비용 대비 값어치 있나? 정확도-비용 분석

Who Should Read

LLM으로 Text-to-SQL 기능을 만들며 어떤 파이프라인 모듈을 붙일지 비용 때문에 고민하는 백엔드 개발자

Core Mechanics

• 실행 피드백 재작성은 항상 이득
  • R1은 쿼리를 실행해 에러나 빈 결과일 때만 모델에게 다시 쓰게 하는 방식이다.
  • 4개 백엔드 모두에서 +1.83~+4.89pp 올랐고 CPP는 어디서나 0.30 USD/pp 미만이다.
  • 실패한 쿼리에만 호출이 일어나서 평균 비용이 거의 안 늘어난다.
• 나머지 모듈은 모델 따라 갈린다
  • 스키마 링킹은 약한 모델(GPT-4o-mini)에서 효과가 가장 크고 강한 모델일수록 줄어든다.
  • CoT 생성은 GPT-4o-mini에서 +4.24pp였지만 추론형 DeepSeek-V4-Flash에서는 -0.39pp였다.
  • 추론형 3종(DeepSeek-V4-Flash, Qwen3-235B, o3-mini)에서는 CoT·분해 방식이 일관된 이득을 못 줬다.
• 후보 여러 개 뽑아 고르기는 비싸고 천장이 있다
  • 5개 후보를 만들어 고르는 방식은 후보 풀에 없는 정답은 못 찾는다.
  • 최고 선택기도 오라클 상한과 GPT-4o-mini에서 5.74pp 차이가 남았다.
  • 그래서 논문은 비용 효율 가이드에서 후보 선택을 뺐다.
• 토큰 입력은 구조, 출력은 모델이 결정
  • 입력 토큰은 파이프라인 구조를 따라가고 모델이 바뀌어도 비슷하다.
  • 출력 토큰은 모델 성향에 크게 좌우된다.
  • 추론형 DeepSeek-V4-Flash는 GPT-4o-mini보다 출력이 훨씬 많았다.

Evidence

• 실행 피드백 재작성 효과
  • BIRD dev에서 R1은 GPT-4o-mini 49.74→54.63, Gemini-2.5-Flash 59.84→62.32였다(N=1 기본 대비).
  • GPT-5.4는 61.28→63.30이고 비용은 7.305→7.905 USD였다.
• Gemini 스택 vs GPT-5.4 기본
  • BIRD dev에서 Gemini-2.5-Flash 스택은 EX 67.14%, 비용 2.916 USD였다.
  • GPT-5.4 기본(N=1)은 61.28%, 7.305 USD였다.
  • GPT-5.4 스택은 69.43%, 16.237 USD였다.
• Spider 이전 결과
  • BIRD에서 고른 스택을 Spider dev에 그대로 적용하면 4개 모두 +3.68~+6.77pp 올랐다.
  • GPT-4o-mini 스택은 80.17%, 0.315 USD로 GPT-5.4 기본(80.27%, 1.879 USD)에 근접했다.
• 가이드라인을 새 모델 5종에 적용
  • BIRD에서 T2는 T1 대비 +1.24~+2.61pp, T3는 +3.98~+7.63pp 올랐다.
  • Claude Sonnet 4.5는 T1 62.71→T3 70.34(+7.63)였고 비용은 8.62→18.94 USD였다.
  • Llama-3.1-8B-Instruct는 37.61→44.07이고 비용은 0.05→0.09 USD였다.

How to Apply

• SQL 실행 실패 때만 재작성 붙이기
  • 지금 Text-to-SQL 코드에서 생성된 SQL을 읽기 전용 DB에 먼저 실행하라.
  • 에러나 빈 결과일 때만 에러 메시지와 함께 모델에게 다시 쓰게 하라.
  • 성공한 쿼리는 그대로 반환해 추가 호출을 막아라.
• 추론형 모델에는 CoT 단계 빼기
• 추론형 모델(o3-mini, Qwen3 thinking 등)에는 '단계별로 생각해' 프롬프트를 넣지 말고 직접 생성으로 비교하라.
  • 비추론 모델(GPT-4o-mini 등)에서는 CoT 생성을 켜서 정확도 차이를 측정하라.
• 비싼 모델 전에 중간 모델 스택 먼저 시험
• 모델을 올리기 전에 중간 모델에 마스킹 질문 기반 예시 검색, 의사 SQL 기반 스키마 선별, R1을 붙여 보라.
  • 같은 평가셋에서 정확도와 총 비용을 같이 기록하라.
  • 후보 5개 뽑아 고르기는 정확도 우선일 때만 추가하라.
• 안전장치 함께 넣기
  • 생성된 SQL은 읽기 전용 계정과 샌드박스에서만 실행하라.
  • 논문도 최소 권한, SQL 검증, 감사 로그를 권한다.

Try It

# Claude나 ChatGPT에 붙여넣기. 논문 R1 방식(실행 오류 때만 SQL 재작성)의 간이 버전

너는 SQL 수정 도우미다. 아래 SQL을 실행했더니 문제가 생겼다. 스키마와 질문을 보고 SQL을 고쳐라.

[스키마]
{{스키마}}

[질문]
{{질문}}

[실행한 SQL]
{{SQL}}

[실행 결과]
{{에러 메시지 또는 '결과 0행'}}

지시: 원인을 한 줄로 설명하고, 수정한 SQL만 코드블록으로 출력해라.

이어서 해 볼 것: 앱 코드에서 SQL을 먼저 실행하고, 에러나 0행일 때만 이 프롬프트를 호출하라.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터