미공개 수학 연구를 OpenAI에 맡겨도 될까? 또 불거진 신뢰 논란
More questions about whether researchers can trust OpenAI with unpublished math
TL;DR Highlight
수학자가 Codex 대화 내용 도용 의혹을 제기해 학습 데이터 신뢰 논쟁이 번졌다
Who Should Read
사내 기밀이나 미공개 아이디어를 LLM API·챗봇에 넣어 쓰는 개발자
Core Mechanics
- 원문은 사실상 비어 있다
- 수집된 원문은 Mastodon 게시물의 제목과 자바스크립트 안내문뿐이다.
- 게시물 본문 내용은 원문에서 확인되지 않는다.
- 원문에서 확인되는 것은 작성자뿐이다
- 작성자는 Andreas Thom이고 tristanbuckmaster 계정에 답하는 글의 1/3 부분이다.
- 구체적 주장과 수치는 원문에 없다.
- 논쟁 내용은 댓글 쪽에만 있다
- 이 글에서 원문 사실로 쓸 수 있는 내용은 위가 전부다.
- 쟁점 정리는 커뮤니티 반응 칸을 보면 된다.
Community Reactions
- 학습에 쓰였는지 검증할 수 없다는 의견
- OpenAI가 해당 대화로 학습하지 않았다고 주장해도 외부에서는 확인할 수 없다는 의견이 있었다.
- 데이터 출처 추적 자체가 어렵다는 지적도 있었다.
- 증거가 약하다는 반론
- 누군가 AI와 그 주제로 대화했다는 주장뿐이라 근거가 약하다는 의견이 있었다.
- OpenAI가 해당 프롬프트는 학습에 영향을 줄 수 없었다고 단언했다는 인용도 있었다.
- 카나리 문구로 실험해 보고 싶다는 의견
- 학습 허용 상태의 채팅에 고유 문구를 넣고 모델이 나중에 아는지 확인해 본 사람이 있는지 묻는 댓글이 있었다.
- 대화 한 건이 모델에 큰 흔적을 남길지는 의문이라는 의견이 함께 달렸다.
- 연구 날짜를 공개 기록으로 남긴다는 경험
- GitHub에 날짜와 함께 공개하며 연구 중이라는 댓글이 있었다.
- 나중에 AI 랩이 같은 결과를 내면 선행 여부가 드러나게 하려는 목적이다.
How to Apply
- 우리 서비스의 학습 반영 설정부터 확인하기
- 오늘 쓰는 LLM 제품과 API의 데이터 학습 사용 여부 설정을 직접 열어 확인하라.
- 기본값이 켜져 있으면 끄고 약관 날짜를 기록해 두어라.
- 프롬프트에 넣는 데이터 등급 나누기
- 미공개 아이디어·고객 데이터·소스 코드를 '넣어도 됨/마스킹/금지'로 분류하라.
- 금지 등급은 로컬 모델이나 계약상 학습 제외가 확인된 경로로만 보내라.
- 미공개 작업물에 날짜 기록 남기기
- 중요한 아이디어는 커밋이나 타임스탬프로 먼저 기록하라.
- 나중에 선행 여부를 다툴 때 근거로 쓸 수 있다.
Terminology
관련 논문
The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법
심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다
미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다
벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖
Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기
LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다
StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결
LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위
그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)
정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다
신경망은 이미 깔끔하다: polysemanticity의 원인 재해석
뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장
Linus Torvalds의 첫 LLM 보조 패치 시리즈
Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다