Meta AI 챗봇 악용으로 Instagram 계정 2만여 개 탈취

Who Should Read

AI 챗봇이나 에이전트에 계정 복구·결제 같은 권한 있는 도구를 붙이려는 백엔드 개발자

Core Mechanics

• Meta AI 챗봇이 비번 재설정에 악용됐다
  • 2FA를 켜지 않은 계정은 누구나 챗봇에 요청해 비밀번호를 재설정할 수 있었다.
  • 챗봇이 인증 코드를 계정 주인이 아닌 해커가 지정한 이메일로 보냈다.
• 피해 규모는 최소 2만 225명
  • Maine 법무장관실에 제출된 유출 통지서 기준이다.
  • 해킹은 4월 17일경 시작돼 이번 주까지 이어졌다.
• 원인은 챗봇이 아닌 별도 코드 경로의 검증 누락
  • Meta는 요청한 이메일이 계정에 등록된 이메일과 일치하는지 시스템이 확인하지 않았다고 밝혔다.
  • 등록되지 않은 이메일이 들어와도 거절하지 않고 재설정 링크를 보냈다.
• 탈취되면 계정 전체와 연동 계정까지 넘어갔다
  • 연락처, 생년월일, 프로필 정보를 얻을 수 있었다.
  • 게시물, DM, 계정 활동도 열람할 수 있었다.
• Meta의 조치는 챗봇 중단과 경로 삭제
  • AI 챗봇을 일단 비활성화하고 계정 재설정 코드 경로를 제거했다.
  • 다른 챗봇도 점검 중이며, 실제 유출된 개인정보가 무엇인지는 모른다고 밝혔다.

Community Reactions

• 챗봇을 고객지원에 쓰는 것 자체를 비판하는 의견
  • 해킹된 계정 문의에 봇을 두고 조치 권한까지 준 것이 말이 안 된다는 의견이 있었다.
  • 사람이 개입하지 않는 구조가 문제라는 지적도 나왔다.
• "기능은 의도대로 동작"이라는 Meta 해명에 반발하는 의견
  • 이런 상황에 "제대로 동작했다"는 표현은 맞지 않는다는 의견이 있었다.
  • 사용자가 다른 이메일을 요청할 수 있는지는 가장 먼저 해볼 테스트 아니냐는 의견도 있었다.
• 2FA 덕에 피해를 피했다는 경험
  • 의심스러운 재설정 메일을 받았지만 MFA를 켜 뒀고 감사 로그에도 이상이 없었다는 경험이 있었다.
  • 2FA를 진작에 모두에게 강제했어야 한다는 의견도 있었다.

How to Apply

• 챗봇이 호출하는 계정 도구의 이메일 검증 확인하기
  • 오늘 비번 재설정·계정 복구 API에서 요청 이메일이 등록 이메일과 같은지 서버가 검사하는지 코드로 확인하라.
  • 불일치하면 링크를 보내지 말고 거절하도록 고쳐라.
• LLM 인자를 믿지 말고 서버에서 재검증하기
  • 도구 호출 인자(이메일, 계정 ID)는 LLM이 만든 값이니 서버 쪽 인증 세션과 대조하라.
  • 검증은 프롬프트가 아니라 도구 코드에 넣어라.
• 민감 작업은 챗봇 권한에서 빼거나 사람 승인 붙이기
  • 비번 재설정처럼 계정 탈취로 이어지는 도구는 챗봇에서 분리하라.
  • 꼭 필요하면 기존 인증 채널의 확인이나 사람 승인을 거치게 하라.

Try It

# Claude나 ChatGPT에 그대로 붙여넣는 프롬프트 (우리 서비스 챗봇 도구 보안 점검용)

너는 보안 리뷰어다. 아래는 우리 AI 챗봇이 호출할 수 있는 도구 목록과 코드다.

{{도구 정의와 핸들러 코드}}

다음을 점검해 줘.
1. LLM이 넘긴 인자(이메일, 계정 ID 등)를 서버가 인증된 사용자 정보와 대조하는가?
2. 요청자가 계정 주인임을 확인하기 전에 비밀번호 재설정·인증 코드 발송이 가능한가?
3. 챗봇이 호출하는 경로와 일반 경로의 검증이 서로 다른 코드 경로로 갈라져 있는가?
4. 사용자가 "다른 이메일로 보내줘"라고 요청하는 공격 시나리오를 5개 만들고, 각각 막히는지 판정해 줘.
결과는 취약점, 근거 코드 위치, 수정안 순서로 표로 정리해 줘.

Terminology

관련 논문

• WhatsApp 도움말 페이지에 숨겨진 LLM 지시문: 규제기관을 추천하지 말라

  WhatsApp 도움말에 화면엔 안 보이는 AI 지시문 102개가 숨어 있었다

• 같은 시뮬레이션, 다른 근거: 도구 출력을 파일로 넘기면 LLM 에이전트 정확도가 어디서 깎이나

  긴 툴 출력을 파일로 넘기자 GPT-5.1은 정확도 11.3%p 하락, 정식 출력 지정하니 회복

• 가짜 뉴스가 진짜 폭락을: LLM 트레이딩 에이전트 대상 정보 주입 공격

  가짜 헤드라인 한 줄로 LLM 트레이딩 에이전트 62%를 조종했다(프롬프트 주입은 14%)

• Harness Engineering 101: LLM은 뇌, harness는 몸

  에이전트는 JSON 배열을 관리하는 루프이고, 16개 챕터로 직접 만들어 본다

• Harness²: 에이전트 harness를 스스로 고쳐 쓰는 재귀 최적화 프레임워크

  모델은 고정하고 harness를 재귀로 고쳤더니 벤치마크 점수가 최대 11.8%p 올랐다

• Ask HN: 이해 못 하는 AI 작성 코드를 배포할 때 어떻게 하나

  설계는 내가, 구현은 LLM이: 이해 못 하는 코드를 다루는 개발자들의 방법

• 해고된 Savannah 경찰관, ICE 요원 남편에게 Flock 계정 공유

  경찰관이 Flock 계정을 남편(ICE 요원)에게 공유했고, 감사에서 983건 검색이 드러나 해고됐다

• tmux와 Claude Code: 세션, send-keys, 그리고 한계선

  tmux로 Claude Code 여러 개를 돌리면 편하지만 에이전트 4개쯤에서 한계가 온다

Related Resources

• https://this.weekinsecurity.com/meta-confirms-thousands-of-instagram-accounts-were-hacked-by-abusing-its-ai-chatbot/
• https://news.ycombinator.com/item?id=48359102