프롬프트

Rust off Rails: 코드 없이 Markdown 60개로 만든 AI 에이전트용 웹 스택

Markdown 규칙 60개로 에이전트가 Rust 웹앱을 짜게 한다는 프레임워크

LLM에게 confidence 점수를 물어보면 안 되는 이유

LLM이 말한 confidence 숫자는 측정값이 아니라 그럴듯한 텍스트일 뿐이다

같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

AI 글쓰기 버릇을 학습으로 뺀 Qwen3-4B (qwen3-4b-deslop)

Qwen3-4B를 LoRA로 증류했더니 AI 문체 점수가 121에서 12.5로 떨어졌다

Harness Engineering 101: LLM은 뇌, harness는 몸

에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

환경 비의존 에이전트 개선하기: 스캐폴딩의 역할

'막히면 멈추고 보고해'라는 한 줄로 게임 점수는 올랐지만 비용도 올랐다

요약을 걸러라, 히스토리가 아니라: 출처 검증 기반 컨텍스트 압축(SJC)

압축 요약에서 출처 없는 항목을 지웠더니 Pass3가 2.1~8.9%p 올랐다

SkillNEO: 점수 낮은 스킬 버전도 계속 고쳐서 에이전트 스킬을 진화시키기

점수 낮은 스킬도 계속 수정했더니 GPT-5.4 Mini 보상이 49.1%→66.4%로 올랐다

AI는 도구다, 잘 쓰려면 기술이 필요하다

Hickey의 'AI는 도구가 아니다'에 맞서, LLM도 쓰는 사람의 기술이 결과를 가른다고 반박

롤플레이 LLM의 지식의 저주: 캐릭터가 몰라야 할 정보를 말해버린다

캐릭터가 못 듣고 못 이해한 내용을 오픈웨이트 LLM은 67~72%p 더 말했고, 관찰 가능한 정보만 주면 0이 됐다

버그를 환자처럼, 코딩 에이전트를 의료팀처럼: 5개월간의 MOLT Sinai 실험

에이전트 파이프라인을 교육병원처럼 짰더니 5개월간 100만 줄 머지에 revert 7건

딥리서치 에이전트의 Reflective Prompt Optimization: 토픽 분리·멀티 시드로 본 진짜 성능 향상과 프롬프트 과적합

GEPA로 프롬프트를 최적화했더니 held-out 인용 보상 0.702→0.781

GPT-6와 Intelligent UI: 채팅 안에서 시각·인터랙티브 응답 만들기

OpenAI가 GPT-6로 채팅 응답에 UI를 넣는다는데 원문이 없어 댓글 반응만 확인된다

1866년처럼 써라: LLM에게 전보체(cablese)로 요약시키면 출력 토큰 40~49% 절감

전보체로 쓰라고 시켰더니 출력 토큰 40~49%가 줄고 정답률은 유지됐다

WebFovea: 모델은 맞았는데 클릭이 틀렸다 — 비전 웹 에이전트의 하네스 신뢰성

모델 대신 하네스(파싱·실행·피드백·관찰)를 고쳤더니 챌린지 점수 31.0→57.0

Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

Claude와 Claude Code에서 Opus 5.5 제대로 쓰는 법

완료 기준을 적고 끝까지 맡기면 Opus 5.5가 긴 작업을 알아서 해낸다

에이전트에게 필요한 건 메모리가 아니라 문서다

RAG 메모리 플러그인 대신 Markdown 문서 '두뇌'를 읽고 고치게 하자는 주장

Jev식 Typed Decision Model에서는 정의보다 라벨이 이긴다

옵션 이름을 A, B로 바꿨더니 정확도가 +0.1511 올랐다

DeReAct: 행동 승인과 완료 판정을 분리한 신뢰할 수 있는 AI 에이전트

ReAct에서 행동 검문·완료 판정을 분리했더니 약한 모델 Pass@1이 최대 7.0점↑

토큰 너무 많이 쓰나? 단순 휴리스틱으로 싸게 하는 멀티모달 LLM 영상 어노테이션

영상을 2×8 이미지 그리드 한 장으로 줄였더니 토큰 비용 약 15%로 전체 영상 이해에 근접

LLM 기반 발견(Discovery)은 초기화가 성패를 가른다

병렬로 먼저 후보를 모아 시작점으로 삼았더니 SOTA 하니스 점수가 2~21% 올랐다

프롬프트는 얼마나 필요한가? Few-shot 예시를 블랙박스로 최소화하는 DD-FSM

Delta debugging으로 few-shot 예시를 평균 65.3% 줄여도 출력은 그대로

언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다

Claude Opus 5.5 프롬프팅 가이드: effort·진행 업데이트·무인 에이전트 설정

Opus 5.5는 medium effort로 Opus 5 high급 성능, 프롬프트·하네스 조정법 정리

"추측하지 마" 한 문장으로 LLM 지어내기 70.7%→20.2%

추출 프롬프트에 "Do not guess"를 넣었더니 없는 필드 지어내기가 70.7%→20.2%

LLM logprobs로 만든 Jev식 단일 토큰 분류 래퍼 (비전 모델 포함)

답을 글자 1개로 강제하고 logprobs를 읽었더니 웹캠 프레임도 분류됐다

Jevmem – Claude Code 프로젝트 메모리를 JEVMEM.md로 자동 저장

채팅 속 결정·규칙을 JEVMEM.md에 저장했더니 이전 결정 준수가 28/72→66/72

덜 생각해야 더 잘 흉내 낸다: 직관 프롬프트가 개인별 SNS 반응 시뮬레이션을 개선한다

'바로, 직관적으로 답해라' 한 줄로 개인 반응 예측이 가장 좋아졌다

LLM은 언제 자기 수정본을 믿어야 하나: 자기 교정(Intrinsic Self-Correction)의 위험 분석

29개 LLM에 재검토를 시켰더니 오답도 고치지만 정답도 뒤집었다

Claude Code는 텔레메트리가 켜져 있을 때만 AGENTS.md를 읽는다 [수정됨]

텔레메트리를 껐더니 Claude Code가 AGENTS.md를 조용히 무시했다

에이전트에게 "더 빠르게" 시켜 SOTA 라이브러리보다 빠른 Rust 코드 만들기

측정 가능한 목표를 주고 에이전트를 반복시켰더니 Rust 코드가 2x~20x 빨라졌다

SlopShape: 문장이 아닌 구조로 AI 생성 웹 콘텐츠 찾아내기

글의 구조 특징 176개만으로 AI 작성 블로그를 F1 97.0으로 구분했다

gzip만으로 언어 모델을 만들 수 있을까? (gzipt)

gzip 압축 길이를 점수로 빔서치했더니 셰익스피어풍 문장이 나왔다

Transformer Explainer: 브라우저에서 GPT-2를 돌리며 배우는 Transformer 구조

GPT-2를 브라우저에서 직접 돌리며 Transformer 내부와 temperature를 눈으로 본다

프롬프트는 실체가 아니다: 평가·최적화 파이프라인이 본체

프롬프트를 손으로 다듬지 않고 pass^k 테스트와 옵티마이저로 자동 개선

AI 생성 포스터가 꼭 끔찍할 필요는 없다

ChatGPT에 디자인 스타일을 직접 지정했더니 획일적인 포스터를 벗어났다

Claude Code, CLAUDE.md 없으면 AGENTS.md를 읽는다

CLAUDE.md가 없는 프로젝트에서 Claude Code가 AGENTS.md를 대신 읽는다

Claude Code, 드디어 AGENTS.md 지원 추가

Claude Code 2.1.277부터 CLAUDE.md가 없으면 AGENTS.md를 읽는다

LLM과 글쓰기: 대필 말고 교정자로 쓰는 두 가지 규칙

LLM이 낸 단어는 쓰지 않고 칭찬을 막았더니 내 문체를 지키며 교정만 받았다

LLM 분류는 결국 피처 엔지니어링이다

LLM 판정을 로지스틱 회귀의 피처로 쓰니 아이러니 탐지 F1이 0.747→0.779로 올랐다

OpenSpec: 코딩 에이전트와 스펙을 맞추는 가벼운 스펙 프레임워크

스펙을 먼저 쓰고 에이전트가 구현·검증하게 하는 OpenSpec, 호불호 갈림

LLM은 언제 답을 포기해야 할까? Chain-of-Self-Questioning으로 오답 줄이기

답하기 전 필요한 정보를 자가 점검시켰더니 오답 커밋이 13.1%→8.9%로 줄었다

ML 리서치 에이전트는 왜 벤치마크에 과적합하지 않나: 압축이 답

에이전트 전략을 16~32토큰으로 압축해도 성능이 유지돼 과적합이 아님을 확인했다

Transformer Circuits를 위한 수학적 프레임워크 (2021)

Transformer를 수학적으로 동등하게 다시 쓰자 작은 모델 내부와 induction head가 보였다

에이전트 실패 원인 찾기는 검색 문제다: Continual Search

판정 LLM에게 안 읽은 증거를 계속 찾게 했더니 Opus-4.8 F1이 0.471→0.608로 올랐다

Draft-Verify-Revise 파이프라인에서 LLM은 지시어 모호성을 해결할 수 있을까?

검증 단계 피드백을 판정시켰더니 모델이 'Previous' 라벨에 끌려 reasoning effort에 따라 정확도가 0.156~1.0로 갈렸다

컨텍스트를 키우면 과교정이 줄어든다: 최소 편집 문법 교정을 위한 프롬프트·배칭 최적화

문장을 여러 개 묶어 보내고 프롬프트를 다듬었더니 파인튜닝 모델과 0.38점 차

Qwen 3.8이 GPT-5.5 Pro의 추론 앞부분을 따라간다: reasoning prefill 실험 v1.1

GPT-5.5 Pro 추론 1%를 앞에 붙였더니 Qwen3.8 답변 유사도가 18%p 올랐다

Claude, "Add to Cart" 버튼을 파란색으로 바꿔줘 (풍자 사이트)

버튼 하나 파랗게 바꾸라는 미니게임, 에이전트의 과잉 행동을 풍자한다

How I Prompt: 코딩 에이전트에게 정보를 어디서 가져오게 할 것인가

프롬프트마다 '모델이 이 정보를 어디서 얻나'를 따졌더니 에이전트가 99% 코드를 썼다

SPINE: 25턴 동안 끈질기게 반박하면 LLM은 언제 무너지는가

최대 25턴 압박하자 LLM 붕괴율이 5턴 0~57%에서 20~97%로 올랐다

Show HN: LLM Attention 시각화 도구

토큰별 attention을 hover로 보니 LLM이 복붙을 잘하는 이유가 보였다

I-have-ADHD: 코딩 에이전트가 답을 묻어버리지 않게 하는 스킬

10개 규칙 스킬로 에이전트 답변이 행동 먼저, 번호 단계로 바뀐다

Subagents vs Agent Skills: 긴 에이전트 작업에서 재사용 지식을 실행하는 방법

스킬을 서브에이전트로 돌렸더니, 입출력 계약이 명확한 스킬에서 에이전트 스킬보다 정확도가 올랐다

"수익 극대화" 시스템 프롬프트가 LLM의 안전 신호 판단을 흐린다 (Profit Alignment Problem)

시스템 프롬프트에 "수익 극대화"를 넣자 LLM이 위험 신호를 6.8%p 더 묵살했다

LLM으로 글을 쓰면 지식의 지퍼가 열려 있다 (Bryan Cantrill)

LLM으로 쓴 LinkedIn 글은 티가 나서 독자가 읽기를 멈춘다