명세를 얼마나 명시하느냐가 LLM 생성 코드의 실패를 좌우한다
How Specification Explicitness Shapes Failure in LLM-Generated Code
TL;DR Highlight
제약·불변식·엣지케이스를 명시했더니 숨은 테스트 실패가 47.2% 줄었다
Who Should Read
LLM에 요구사항을 던져 코드를 생성시키는데 엣지케이스에서 자꾸 깨져 고민인 백엔드 개발자
Core Mechanics
- 구조만 갖춘 명세는 거의 효과 없다
- 목표·입출력·인수 기준(Given-When-Then)·제약만 적은 G2는 실패가 19.67개로 G1(21.54개)과 비슷했다.
- 형식만 갖추는 건 LLM이 알아서 채우는 빈칸을 줄여주지 못했다.
- 행동 의무를 적으면 실패가 절반 가까이 준다
- 불변식·금지 요구사항·엣지케이스·동점 처리·예외 처리까지 적은 G3는 실패가 11.38개였다.
- 실패 유형 수도 G1 4.04에서 G3 3.21로 줄었다.
- LLM의 실패는 명세가 비워 둔 곳에서 나온다
- 불변식 위반은 92.71%에서 31.46%로, 근거 없는 가정은 58.33%에서 23.61%로 줄었다.
- 무작위 환각이 아니라 안 적은 부분을 모델이 추측해서 틀린 것이다.
- 어떤 항목을 적느냐가 중요하다
- 기능 요구사항, 불변식, 금지 요구사항이 숨은 테스트 성공과 가장 강하게 연관됐다.
- 인수 기준은 음의 연관이었는데, 저자들은 어려운 과제에 더 자주 등장한 탓으로 해석했다.
- 요구사항이 바뀌면 깨지는 양은 줄지만 건수는 늘 수 있다
- 변경 후 회귀(전에 통과하던 테스트가 실패)는 G3가 4/24건으로 G1·G2의 2/24건보다 많았다.
- 대신 G3는 건당 잃은 동작이 적었다.
- 명세가 있으면 생성 코드를 덜 과신한다
- 명세 없이 쓴 G1은 정답률을 약 23%p 과대평가했다.
- G3는 코드가 더 좋은데도 -22.20%p로 보수적으로 판단했다.
Evidence
- G3는 G1 대비 실패 47.2% 감소
- 숨은 테스트 33개 기준 평균 실패가 G1 21.54, G2 19.67, G3 11.38이었다.
- G2의 감소폭은 G1 대비 8.7%에 그쳤다.
- 실패 유형별 감소폭(G1 → G3)
- 불변식 위반 92.71% → 31.46%, 제약 누락 76.49% → 51.36%.
- 근거 없는 가정 58.33% → 23.61%, 엣지케이스 실패 48.15% → 31.02%.
- 프롬프트를 더 많이 쓴 효과가 아니다
- 프롬프트 수·길이·유형을 공변량으로 넣어도 결과가 크게 달라지지 않았다.
- 다만 G3 보정 모델은 Holm 보정 후 유의하지 않았다(IRR 0.48, pHolm=0.205).
- 변경 후 회귀 깊이(G2 대비 G3)
- 평균 pass-to-fail 전환이 0.38에서 0.17로 55.3% 줄었다.
- 회귀율은 2.38%에서 0.70%로 70.6% 줄었다. 회귀 발생이 8건뿐이라 유의하지는 않았다.
How to Apply
- 코드 생성 전 불변식·금지 사항을 먼저 쓰게 하기
- 오늘 쓰는 프롬프트에 '불변식, 해선 안 되는 동작, 엣지케이스, 동점 처리, 예외 처리' 칸을 추가하라.
- 같은 과제를 칸 없이 돌린 결과와 비교하라.
- LLM에게 빠진 의무부터 물어보게 하기
- 코드 생성 전 단계에 '이 명세에서 비어 있는 제약·가정을 질문하라'는 단계를 넣어라.
- 답을 명세에 반영한 뒤에만 코드를 생성시켜라.
- 명세 항목을 테스트로 바꾸고 변경 시 같이 고치기
- 요구사항이 바뀌면 명세·프롬프트·테스트·코드를 함께 갱신하기
- 변경 요청이 들어오면 명세 문서부터 고치고, 그 문서를 프롬프트에 다시 붙여라.
- 낡은 불변식이 남아 있지 않은지 점검하라.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (논문 방법의 간이 버전)
너는 코드를 쓰기 전에 명세를 점검하는 리뷰어다. 아래 요구사항으로 코드를 작성하지 말고 먼저 다음 항목을 채워라.
- 입력/출력과 정렬 규칙
- 기능 요구사항
- 제약
- 불변식(항상 성립해야 하는 것)
- 금지 요구사항(하면 안 되는 동작)
- 엣지케이스·경계 조건
- 동점/우선순위 규칙
- 예외 처리
요구사항 원문:
{{요구사항}}
명세에서 비어 있거나 모호한 부분은 추측하지 말고 나에게 질문으로 먼저 물어라.
내가 답하면 완성된 명세를 기준으로 코드와 테스트를 작성하고, 각 테스트가 어느 명세 항목에서 나왔는지 표시해라.
이어서 해 볼 것: 요구사항을 하나 바꿔 말하고 명세를 먼저 고친 뒤 코드를 다시 생성시켜 보라.Terminology
관련 논문
같은 문제, 다른 문장: 문제를 다시 쓰면 LLM이 언제 더 잘 푸는가
문제 문장을 유형에 맞게 다시 쓰면 정답률이 올라가지만, 무작정 다시 쓰면 오히려 떨어진다
STE80 Humanizer: AI 말투 지우고 ASD-STE100 80% 수준으로 다시 쓰는 에이전트 스킬
AI 티 26가지를 지우고 짧은 문장으로 다시 쓰는 스킬이 나왔다
LLM 소설의 캐릭터 이름 쏠림: 측정과 반복 완화 (Speculative Naming)
이름 후보를 여러 개 뽑아 빈도로 걸러내자 Elara류 이름 쏠림이 95% 줄었다
LLM Voice: 초안을 LLM에 맡기면 안 되는 이유
Martin Fowler: LLM이 쓴 초안은 사람이 고쳐도 특유의 어색함이 남는다
사실 회상엔 Instruction 튜닝이 세금: Base 모델이 Instruct 모델을 이긴다
Base 모델에 few-shot 이어쓰기와 다중 샘플링을 썼더니 chat 대비 F1 0.568→0.684
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Related Resources
Original Abstract (Expand)
When LLMs turn requirements into code, every underspecified constraint becomes behavior that the model must decide during generation. We test when specifications move beyond structure and begin to control generated behavior. In a controlled experiment, 72 participants implemented and revised Python tasks with an LLM under three levels of specification explicitness. The results show a clear break between lightweight structure and explicit behavioral obligations. Lightweight structure reduced hidden-test failures by only 8.7%. Requiring participants to specify constraints, invariants, negative requirements, edge cases, tie-breaking rules, and exception handling cut failures by 47.2% and reduced the number of distinct failure modes by 20.5%. The largest drops were in failure modes tied to implicit obligations. Invariant violations fell by 66.1%, and unsupported assumptions fell by 59.5%. After a requirement change, specifications with explicit behavioral obligations produced regressions in more submissions, but each affected submission lost less previously correct behavior. Explicit specifications also changed how developers judged generated code. Without explicit obligations, participants overestimated generated-code correctness by about 23 percentage points. With explicit obligations, they produced better code but judged it more cautiously. Thus, the lesson is sharper than "better specifications help." Lightweight structure barely helped, while explicit behavioral obligations nearly halved failures, made regressions shallower, and improved calibration.