Terence Tao의 ChatGPT 대화: Jacobian Conjecture 반례 탐구
Terence Tao's ChatGPT conversation about the Jacobian Conjecture counterexample
TL;DR Highlight
Tao가 ChatGPT와 대화하며 Jacobian Conjecture 반례를 파고든 기록이 화제
Who Should Read
LLM을 전문 분야 작업의 공동 연구자처럼 쓰고 싶은 개발자
Core Mechanics
- 원문은 대화 링크뿐이다
- 본문 텍스트는 제목 'ChatGPT - Jacobian Conjecture Counterexample'이 전부다.
- 대화 내용과 수치는 원문에 없어 여기서 요약하지 않는다.
Community Reactions
- 전문 용어로 짧게 찌르는 질문이 통했다
- 어려운 전문 용어로 짧고 날카롭게 질문하면 모델이 질문자 수준에 맞춘다는 경험이 나왔다.
- Tao도 쉬운 질문 없이 분야 용어로 강하게 끌고 간다는 의견이다.
- 질문은 한 문장, 답은 세 페이지
- 사람은 한 문장만 쓰고 LLM이 길게 답하는 패턴이라는 의견이 있었다.
- 반례 다항식이 무작정 대입한 게 아니라 구조를 갖췄다는 의견도 있었다.
- 모델이 반박하고 오래 맥락을 유지했다
- 한 댓글이 대화에서 '맞지만 단서가 있다', '조심하라' 같은 반박을 4번 셌다.
- Q&A, PDF 읽기, 코드 작성, 추론을 오래 이어가도 주제를 유지한 것으로 보인다는 의견이다.
- 모델이 막다른 길이라 해도 계속했더니 됐다
- 한 댓글러는 미로 풀이 모델을 만들 때 ChatGPT가 더 줄일 방법이 없다고 했지만 계속 시도해 돌파구 3번을 얻었다고 했다.
- 그 결과 23바이트로 보지 못한 2D 미로의 92.75%를 푼다고 한다.
How to Apply
- 전문 용어로 짧은 질문 던져 보기
- 오늘 쓰는 코드베이스나 도메인의 용어를 그대로 넣어 질문 3개를 짧게 쓴다.
- 쉬운 설명 요청 대신 구체적 가정을 박아 모델이 어떻게 답하는지 비교한다.
- 모델이 '그만하자' 할 때 다른 접근 시도하기
- 모델이 더 할 게 없다고 하면 다른 표현, 다른 분해 방식으로 한 번 더 묻는다.
- 모델의 단념 선언과 실제 결과를 같이 기록한다.
Try It
# Claude나 ChatGPT에 그대로 붙여넣기 (원문 대화는 공개 대화 링크뿐이라 댓글 속 사용 패턴을 프롬프트로 옮긴 간이 버전)
너는 {{분야}} 공동 연구자다. 내 가정이 틀리면 먼저 반박하고, 맞으면 '맞지만 단서는 이것'처럼 조건을 붙여라.
문제: {{문제}}
1) 전체 구조를 다른 표현으로 바꿔서 핵심 축을 찾아라.
2) 작은 단위로 쪼개 각각 독립 검증하라.
3) 다시 합쳐서 원래 문제에 맞는지 확인하라.
이어서 해 볼 것: 네가 '더 할 게 없다'고 하면 다른 접근 두 가지를 제시해라.Terminology
관련 논문
AI는 도구다, 잘 쓰려면 기술이 필요하다
Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박
딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합
GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781
GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기
OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다
Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상
응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다
Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다
옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다
프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM
Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로
언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트
"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다