SlopShape: 문장이 아닌 구조로 AI 생성 웹 콘텐츠 찾아내기

Who Should Read

AI가 쓴 마케팅 콘텐츠를 걸러내거나 자사 생성 글의 품질을 평가하려는 콘텐츠·백엔드 개발자

Core Mechanics

• 단어 수준 탐지기는 재작성에 약하다
  • 기존 탐지기는 편집 안 한 AI 글은 거의 완벽하게 잡는다.
  • 하지만 문장을 바꿔 쓰면 무너진다는 문헌이 있다.
  • 단어 점수만으로는 글의 특성도, 어느 모델이 썼는지도 알 수 없다.
• 구조 특징으로 AI 글을 구분했다
  • 정보를 어떤 순서로, 어떤 근거로, 어떤 어조로 보여주는지를 구조 특징(structural signature)으로 본다.
  • 소설용 StoryScope 연구를 기업 블로그 콘텐츠로 재현했다.
• 실험 데이터는 사람 글 2,250편 대 AI 글 11,250편
  • 사람 글은 ChatGPT 이전에 268개 기업 도메인에서 가져온 블로그다.
  • AI 글은 최신 모델 5개가 같은 주제로 쓴 사본이다.
• 구조 특징 176개로 macro-F1 97.0
  • LLM이 203개 특징 항목을 적용했고, 그중 구조 특징 176개만 썼다.
  • 학습에 쓰지 않은 기업의 글에서 낸 점수다.
• AI가 스스로 재작성해도 96.1로 거의 유지
  • 모든 AI 글을 해당 모델이 다시 쓰게 한 뒤 측정했다.

Community Reactions

• 구조 특징은 탐지기이자 평가 도구라는 의견
  • 브랜드용으로 파인튜닝한 새 버전이 기존보다 덜 AI스럽게 쓰는지 측정할 수 있다는 의견이다.
  • 같은 내용을 세 번 말하는 패턴은 LLM 이전 콘텐츠 마케팅 강의의 구조라는 의견도 있었다.
• 오분류 19건이 SEO 템플릿 글인지 묻는 질문
  • 리스트형 글이나 "ultimate guide" 같은 템플릿 글이라면 "모델이 썼나"보다 "템플릿으로 썼나"를 잡는 것일 수 있다는 의견이다.
• LLM이 기준을 만드는 방식이 못 미덥다는 의견
  • 임계값 설정과 탐지를 LLM 프롬프트에 맡기면 특정 서드파티 모델에 의존하게 된다는 지적이다.
  • 모델이 내려가면 재현이 어려우니 결정적인 코드로 하는 편이 낫다는 의견이다.
• 오탐을 경험했다는 댓글이 여럿
  • 100% 직접 쓴 블로그가 "AI 도움을 받은 사람 글일 가능성 50%"로 나왔다는 경험이 있다.
  • ChatGPT 이전 글에서도 오탐이 났고, 결론에서 주제를 다시 말하는 것을 신호로 보는 방법론이 문제라는 의견이다.

How to Apply

• 내 블로그 글 3편을 LLM에 구조 분석시키기
  • 오늘 사람 글 3편과 AI 글 3편을 아래 프롬프트에 붙여 구조 차이를 비교해 보라.
  • 결과가 갈리는 항목을 메모해 두라.
• 생성 파이프라인에 구조 체크 평가 단계 넣기
  • 마케팅 글 자동 생성 서비스라면 발행 전에 구조 체크리스트를 LLM으로 채점하라.
  • 점수가 높은 초안은 사람이 다시 쓰도록 돌려보내라.
• 파인튜닝 전후 버전을 구조 점수로 비교하기
  • 같은 주제 20개를 새 모델과 현재 모델로 생성하라.
  • AI스러움 점수가 더 높은 버전은 배포하지 마라.
• 탐지 결과를 단독 판정에 쓰지 않기
  • 오탐 사례가 있으니 점수는 검토 대상 선별에만 써라.
  • 최종 판단은 사람이 하게 두라.

Try It

# Claude나 ChatGPT 대화창에 붙여넣기 (논문 방법의 간이 버전: 203개 특징 대신 소수 항목만 사용)

아래 글의 '구조'만 분석해줘. 문장 표현이 아니라 정보 제시 방식을 본다.
각 항목을 0(없음)~2(뚜렷함)로 채점하고 한 줄 근거를 붙여줘.
1. 도입부에서 앞으로 말할 내용을 예고하는가
2. 같은 요점을 결론에서 반복하는가
3. 소제목과 목록이 균일하게 정돈되어 있는가
4. 구체적 근거(수치, 사례, 출처)가 있는가
5. 어조가 처음부터 끝까지 일정한가
6. 예상 밖의 구조나 흐름이 있는가

[글]
{{문서}}

마지막에 총점과 "AI가 쓴 모양에 가까운 정도"를 상/중/하로 알려줘.

이어서 해 볼 것: 같은 주제의 사람 글과 AI 글을 각각 넣어 점수 차이를 비교해 보세요.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://arxiv.org/abs/2609.15369
• https://github.com/KatyarAILabs/Ookami