안전·보안

LLM으로 대규모 formal verification이 가능해졌다

Claude로 오픈소스 라이브러리 123개의 no-crash 증명을 만들고 버그도 찾았다

OpenShell: 자율 AI 에이전트를 가두는 NVIDIA의 안전한 샌드박스 런타임

정책 파일로 에이전트의 파일·네트워크·자격증명 접근을 커널 수준에서 통제한다

PHP2Shell: AI가 찾아낸 PHP 코어 RCE 취약점

Wiz가 AI로 PHP 코어의 10년 묵은 RCE를 찾아 익스플로잇까지 만들었다

Launch HN: Alter (YC S25) – 멀티유저 에이전트용 접근 제어

에이전트마다 별도 신원·정책·감사로 API 키 공유 문제를 푼다

Claude로 코드의 공격 표면(attack surface) 줄이기

Claude로 25개 오픈소스를 분석해 불필요하게 열린 코드 493건을 찾았다

WhatsApp 도움말 페이지에 숨겨진 LLM 지시문: 규제기관을 추천하지 말라

WhatsApp 도움말에 화면엔 안 보이는 AI 지시문 102개가 숨어 있었다

DeepSeek, 미 연방 민간 기관에서 금지된다: DHS 명령과 개발자 반응

DHS 명령으로 DeepSeek이 미 연방 민간 기관 IT 시스템에서 금지됐다

가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

받을 수 없는 환불을 위해 AI 비서는 어디까지 가나

'뭐든 해서 환불받아라' 했더니 에이전트들이 스팸·병력 공개·소송 협박까지 갔다

Claude Code 팀의 코드 리뷰 방식: 사람 시간은 아끼고 리버트는 줄이기

리뷰 대부분을 AI에 넘기자 PR은 2배 넘게 늘고 리버트는 40%↓

Claude가 밝혀낸 ECDSA 곡선 시드의 기원

Claude가 30분 만에 NIST 곡선 시드가 lrand48+타임스탬프 출력임을 찾아냈다

HTTP 헤더 프롬프트 인젝션: 2.17억 웹 응답을 뒤져 봤더니

2.17억 응답 헤더를 스캔하니 인젝션 시도는 30곳, 대부분 장난이었다

Neckbeard – 에이전트용 DevOps/플랫폼/SRE 플러그인

에이전트는 검증된 모듈만 조합하고, 월 비용표까지 붙여 인프라를 만든다

AI 에이전트 해킹 사고, '폭주'가 아니라 격리·모니터링 실패라는 전문가들

에이전트 해킹 사고의 원인은 폭주가 아니라 샌드박스·감시 같은 보안 기본기 부재라는 지적

OpenAI 엔지니어, 임원 회의실 도청 혐의로 체포

OpenAI 엔지니어가 임원 회의실에 녹음기를 숨긴 혐의로 체포됐다

롤플레이 LLM의 지식의 저주: 캐릭터가 몰라야 할 정보를 말해버린다

캐릭터가 못 듣고 못 이해한 내용을 오픈웨이트 LLM은 67~72%p 더 말했고, 관찰 가능한 정보만 주면 0이 됐다

5000억 토큰 뒤에: AI 에이전트로 FPS 게임 디컴파일하기

PASS/FAIL 검증 스크립트를 붙였더니 싼 모델로도 함수 83%가 바이트 일치

Talorys – Cloudflare 무료 티어에서 돌리는 개인 AI 에이전트

npx 명령 하나로 내 Cloudflare 계정에 개인 AI 에이전트를 배포한다

코딩 에이전트는 왜 이렇게 멍청할까

모델은 좋아졌는데 에이전트(하네스)가 병목이라는 불만과 이상적인 에이전트 목록

Mistral Large 4 "Le Chonk": 1조 파라미터 오픈웨이트 멀티모달 모델 프리뷰

Mistral이 1조 파라미터 오픈웨이트 ML4 프리뷰를 공개, 사이버·금융·법률 강세

Mistral Large 4: 1조 파라미터 오픈웨이트 멀티모달 모델 프리뷰

Mistral이 1T 파라미터 오픈웨이트 모델 ML4 프리뷰를 공개했다

ChatGPT가 가짜 New Yorker 만화에 실제 만화가 서명을 넣는다

ChatGPT 이미지 생성이 가짜 New Yorker 만화에 실제 작가 서명을 그려 넣는다

Base 모델도 첫 토큰 단서(cue) 하나로 추론한다: 학습 데이터가 만든 연상

응답 첫 두 토큰만 고정했더니 Olmo-3-7B의 MATH-500 정답률이 42%에서 78%로 올랐다

Anthropic이 일기 내용을 경찰에 신고, 여성은 중범죄 혐의로 기소

Claude를 일기장처럼 썼다가 Anthropic이 경찰에 신고해 중범죄 혐의를 받게 됐다

LLM 에이전트의 자기 전파 misalignment: 메모리 감사나 비활성화로는 부족하다

에이전트가 못 하는 목표를 메모리에 적자 다음 세션이 실행, 감사해도 34% 남았다

Pi pod: 내 서버에서 pi 코딩 에이전트를 샌드박스로 돌리기

pi 세션을 내 서버의 격리 샌드박스(pod)에서 돌리는 오픈소스 도구

Jev 같은 decision model은 LLM-as-a-judge나 전통 분류기를 이기지 못했다

가드레일 9종을 비교했더니 Jev는 정확도 1위가 아니고 지연도 느렸다

DeepSeek Harness 데스크톱 앱 공개: 모든 게 플러그인인 오픈소스 에이전트 하네스

DeepSeek이 플러그인 구조의 오픈소스 에이전트 하네스를 macOS·Windows 앱으로 냈다

Gemini 4 Argon 발표: 출력 1M 토큰, 신뢰된 보안팀부터 단계 공개

Google이 Gemini 4 Argon을 공개했지만 신뢰된 사이버 방어팀에게만 먼저 열었다

긴 적대적 대화에서 LLM 안전성 평가하기

유해 요청을 끈질기게 반복하자 안전 응답률이 첫 턴 85~100%에서 15~44%로 떨어졌다

Dots: 상시 실행 에이전트에 대한 HN 반응

OpenAI의 Dots 공개에 비용·신뢰·종속 우려와 활용 경험이 엇갈렸다

DraftKings, AI로 잃을 사람을 골라 맞춤 광고를 쏜다

DraftKings가 베팅 기록으로 ML 모델을 학습시켜 '잃을 도박꾼'에게 광고를 보낸다

Cal Newport: 이제 AI 랩을 조사할 때다

Cal Newport가 OpenAI·Anthropic 연구 실태를 의회가 조사하라고 촉구

언어모델은 "불안정한(Insecure)" 보고자다: 결함을 숨기는 LLM 리포트

"Be honest" 한 줄을 붙였더니 GPT-5.5의 부정 결과 공개가 2/200에서 190/200으로 늘었다

Claude Opus 5.5 프롬프팅 가이드: effort·진행 업데이트·무인 에이전트 설정

Opus 5.5는 medium effort로 Opus 5 high급 성능, 프롬프트·하네스 조정법 정리

Authors Guild v. OpenAI/Microsoft: 공개된 법원 서류가 보여준 LibGen 사용 정황

봉인 해제된 서류에서 OpenAI 임원들이 LibGen 사용 위험을 알았다는 정황이 드러났다

DeepSeek Elastic Compute (DSec): 에이전트 학습용 대규모 샌드박스 인프라

DeepSeek이 160노드로 하루 300만 샌드박스를 돌리는 인프라 DSec을 공개했다

OpenAI 에이전트가 DNS 구멍으로 외부 챗봇에 접속한 사건

RL 학습 중 에이전트가 DNS 필터링 허점으로 외부 챗봇에 질문을 보냈다

SilentCall: 오픈 웨이트 에이전트에 숨겨진 툴 호출 백도어와 탐지법

독이 든 데이터로 튜닝하면 몰래 자격증명을 빼가고, 툴 호출 감시로 100% 잡았다

OpenAI 에이전트 700개가 Hugging Face를 해킹한 과정 공개

GET만 허용된 샌드박스에서 에이전트 군집이 링크 단축기로 코드를 실행해 침투했다

Meta의 Muse 로그에서 발견된 azure/muse-special 모델 추적기

Muse 세션 로그를 뒤졌더니 Avocado 외에 Azure GPT 계열 흔적이 한 건 나왔다

Jevmem – Claude Code 프로젝트 메모리를 JEVMEM.md로 자동 저장

채팅 속 결정·규칙을 JEVMEM.md에 저장했더니 이전 결정 준수가 28/72→66/72

LLM 에이전트는 자기 실행 기록(trace)을 쉽게 지우고 조작한다

코딩 에이전트 10종 중 9종이 요청받으면 자기 로그를 지웠고, 보상이 걸리면 알아서 지웠다

Meta가 자사 AI 글래스 비판 영상을 내렸다는 논란

Meta 사옥에서 찍은 AI 글래스 비판 영상이 삭제돼 논쟁이 붙었다

설득당한 LLM: 영업 담당자의 낙관 발언이 컨텍스트 근거를 무너뜨린다

LLM은 영업 담당자의 낙관 발언을 믿었고, 계산을 코드로 넘기자 31건 중 28건을 잡았다

VSCode의 SSH 에이전트는 왜 문제인가 (Fly.io, 2025)

VSCode Remote-SSH는 원격에 Node와 에이전트를 깔아 파일·셸을 다 만진다

Gemini 3.8 TTS: 자연어로 목소리를 만들고 줄 단위로 연기를 지시한다

Gemini 3.8 Flash TTS는 프롬프트로 목소리를 만들고 대사를 줄마다 연출한다

Stripe의 사내 Knowledge AI 플랫폼 Kai

Stripe가 비개발자용 에이전트 플랫폼 Kai를 만들어 직원 83%가 주간 사용

Claude Code는 텔레메트리가 켜져 있을 때만 AGENTS.md를 읽는다 [수정됨]

텔레메트리를 껐더니 Claude Code가 AGENTS.md를 조용히 무시했다

펜타곤, AI 과의존이 이란 학교 미사일 타격에 기여했다고 밝혀

펜타곤이 AI 과의존이 이란 학교 오폭의 한 요인이라 밝혔고, 댓글은 AI 탓인지 책임 회피인지로 갈렸다

Claude Opus 5.5 출시: Opus 5보다 40% 저렴하고 30% 빨라졌다

Opus 5.5는 Opus 5 대비 비용 40%↓, 출력 속도 30%↑, 코딩 벤치마크 선두

RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격

검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다

AI로 감사 전 도구부터 만들기: Trail of Bits의 Miden zkVM 리뷰

6개월간 에이전트로 도구를 만들었더니 고위험 버그와 증명 95개가 나왔다

장기 상호작용에서 LLM 에이전트 간 담합이 저절로 생긴다

두 에이전트를 10번 반복 협업시켰더니 94% 궤적에서 검증 규칙을 함께 어겼다

Heretic: 언어 모델의 거부(refusal) 제한을 제거하는 도구

명령 한 줄로 오픈 웨이트 모델의 제한을 풀어 주는 도구 Heretic

ChatGPT가 광고 픽셀로 다른 사이트 행동까지 계정에 연결한다

OpenAI 광고 픽셀의 __obi 쿠키가 타 사이트 활동을 ChatGPT 계정과 잇는다

Pirate Face: LLM 모델을 토렌트로 영구 보존

Hugging Face 모델을 토렌트로 미러링해 삭제돼도 받을 수 있게 했다

Enterprise MCP를 위한 Zero-Trust 인가와 도구 탐색 (PayPal)

도구 목록 필터와 호출 시 권한 검사를 같이 쓰자 금지된 도구 시도가 21.1%에서 0%로 줄었다