모델한테 YAML 쓰게 하지 마라: LLM은 필드 변경 의도만, 파일 수정은 결정적 코드로 | AI Paper Digest

TL;DR Highlight

LLM은 바꿀 필드만 말하고 코드가 바이트를 고쳤더니 415회 전부 정확

Who Should Read

LLM 에이전트가 제안한 수정을 Kubernetes manifest에 자동 반영하는 GitOps 파이프라인을 만드는 플랫폼·DevOps 개발자

Core Mechanics

diff 생성은 조용히 틀린다
- 엄격하게 적용하면 Sonnet 5 diff가 거의 안 붙는다(2.7%).
- GNU patch --fuzz는 96%를 적용하지만 14~20%는 엉뚱한 곳에 에러 없이 들어간다.
전체 파일 재작성은 모델 따라 갈린다
- 작은 모델(gemini-3.7-flash)은 파일 전체를 reflow(줄바꿈·들여쓰기를 다시 정리)해 망가뜨린다.
- 프런티어 모델(claude-sonnet-5)은 대체로 맞지만 같은 요청이 어떤 seed에서는 필드를 빠뜨린다.
모델은 '무엇을'만, 코드가 '어떻게'를
- 에이전트는 kind, name, field_path, new_value, reason만 구조화해서 낸다.
- 코드가 YAML 파서의 위치 정보로 대상 값의 글자 범위를 찾아 그 부분만 바꾼다.
파일을 다시 직렬화하지 않아 diff가 최소다
- 범위 밖 바이트는 그대로라서 주석·따옴표·키 순서가 유지된다.
- 결과는 모델이 뭐든 같고, 생성 비용은 파일 크기와 무관하다.
애매하면 거부한다(fail-closed)
- 대상이 없거나 중복이거나 스칼라가 아니면 추측하지 않고 거절한다.
- 알려진 구멍은 YAML alias로, anchor 줄을 대신 고친다.

Evidence

span-edit은 415회 전부 정답
- 83개 task × 5 seed 모두 correct 1.000, flaky 0/83이다.
- 두 모델에서 결과가 동일하다(모델을 호출하지 않음).
Sonnet 5 전체 파일 재작성은 6/83이 불안정
- 정답률 0.976이지만 6개 task가 seed에 따라 맞기도 틀리기도 한다.
- 405 vs 415 정답, 즉 415회 중 10회 차이다.
diff 적용기별 오적용률 (Sonnet 5 B2 diff 415개)
- strict 정답 0.027, offset-tolerant 0.675(오적용 0).
- GNU patch --fuzz=3은 적용 0.964, 오적용 0.140이고 공백 무시(-l)를 켜면 0.202다.
flash 전체 재작성은 정답 2.4%
- 97.6%가 무관한 줄까지 바꾸고 평균 diff는 921.3줄이다.
- 출력 토큰은 편집당 span-edit 약 50~150, B1 약 9,300(Sonnet 5 근사치)이다.

How to Apply

에이전트 출력을 FieldChange JSON으로 제한하기
- 지금 수정 파일/diff를 쓰게 하는 프롬프트를 kind, name, field_path, new_value, reason JSON 출력으로 바꿔 보자.
- field_path의 컨테이너와 env는 인덱스가 아닌 이름으로 지정하게 하라.
적용 단계를 파서 위치 기반 치환으로 바꾸기
- PyYAML의 yaml.compose_all로 노드를 얻고 start_mark.index와 end_mark.index 구간만 문자열 치환하라.
- 파일을 dump해서 다시 쓰지 마라.
모호한 대상은 거부하게 만들기
- 리소스·필드가 없거나 (kind, name)이 중복되거나 대상이 스칼라가 아니면 수정하지 말고 None을 반환하라.
- alias 필드는 아직 구멍이라 명시적으로 거부하라.
병합은 사람만 하게 막기
- preview로 diff를 보여주고 PR만 열게 하라.
- merge 엔드포인트 호출 코드가 없는지 CI 테스트로 강제하라.

Try It

복사해서 바로 해보기

# 파이썬 3 터미널에서 실행 (논문 방법의 간이 버전: 위치 기반 치환)
# 설치: pip install pyyaml

import yaml

raw = """spec:
  replicas: 3 # keep >= HPA min
  template:
    spec: {}
"""

def find_span(raw, path):
    node = yaml.compose(raw)
    for key in path:
        if isinstance(node, yaml.MappingNode):
            node = next((v for k, v in node.value if k.value == key), None)
        else:
            return None
        if node is None:
            return None
    if not isinstance(node, yaml.ScalarNode):
        return None
    return node.start_mark.index, node.end_mark.index

span = find_span(raw, ["spec", "replicas"])
if span is None:
    print("refuse")
else:
    s, e = span
    print(raw[:s] + "5" + raw[e:])

# 이어서 해 볼 것: 없는 필드, 맵 대상, 이름 있는 리스트(containers)를 넣어 거부 동작과 주석 보존을 확인해 보자.

Terminology

GitOps원하는 인프라 상태를 Git에 두고 컨트롤러가 클러스터를 맞추는 방식이다. 변경은 PR 리뷰를 거친다.

unified diffgit diff처럼 @@ 줄 번호와 +/- 줄로 변경을 적는 패치 형식이다. 줄 번호가 틀리면 엄격한 도구는 거부한다.

GNU patch --fuzz컨텍스트가 조금 달라도 억지로 붙여 주는 패치 도구 옵션이다. 관대한 대신 엉뚱한 곳에 조용히 적용될 수 있다.

node markYAML 파서가 각 값의 원문 시작과 끝 글자 위치를 기록해 둔 정보다. 책에 형광펜으로 친 위치 표시와 비슷하다.

fail-closed애매하면 허용하지 않고 거부하는 설계다. 문 잠금이 기본값인 것과 같다.

flaky같은 입력인데 실행마다 결과가 맞다 틀리다 하는 상태다.

관련 논문

Original Abstract (Expand)

LLM agents increasingly diagnose incidents and propose remediations. In a GitOps workflow, applying a fix means editing a version-controlled config file, and the obvious implementation, having the model author the edited file or a diff, is what practitioners reach for first. Evaluating that choice on real Kubernetes manifests, we find no text-generation strategy is safe for unattended automation. Unified diffs are unsafe: under strict patching almost none apply, but that is an artifact, since a tolerant tool (GNU patch) applies 96%, yet silently misapplies about 1 in 7 (14-20%) with no error signal. Full-file rewrite is capability-dependent: a small model corrupts the file, while a frontier model is usually correct but non-deterministic (it silently drops a field or edits a neighbor on some runs) and must regenerate the whole file, costing O(file size) per edit. We present an alternative that separates the semantic decision (which resource, field, and value) from the syntactic act of editing the file. The agent emits only a structured field-change intent; a deterministic pipeline indexes manifests by (kind, name), locates the target scalar's exact character span via the YAML parser's node position marks, and replaces only that span in the raw text. Because the file is never re-serialized, the diff is minimal by construction, formatting and comments are preserved, and the edit is correct and deterministic independent of the model, at O(1) generation cost. The contribution is the pairing of an LLM-proposed intent with a deterministic, fail-closed application contract for GitOps. We implement it in KubeAstra (Apache-2.0) and release the benchmark. Our claim is scoped to faithful application of a known change; whether the change is right is left to human PR review.