임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환

TL;DR Highlight

짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다

Who Should Read

사내 문서 임베딩을 외부 벡터 DB에 저장해 RAG를 운영하며 벡터 유출 위험이 걱정되는 백엔드 개발자

Core Mechanics

짝 데이터 없이 임베딩 공간을 변환
- 쌍으로 된 데이터, 인코더, 미리 정한 매칭 목록 없이 한 모델의 임베딩을 다른 모델의 벡터 공간으로 옮기는 첫 방법이라고 한다.
- 비지도(정답 라벨 없이 학습하는) 방식이다.
보편 잠재 표현을 거쳐 오간다
- 어떤 임베딩이든 보편 잠재 표현(모델 공통의 의미 구조)으로 갔다가 돌아오는 구조다.
- 이 공통 구조는 Platonic Representation Hypothesis가 가정하는 것이다.
구조가 다른 모델끼리도 코사인 유사도가 높다
- 아키텍처, 파라미터 수, 학습 데이터가 다른 모델 쌍에서도 높은 cosine similarity를 얻었다고 한다.
- 구체적 수치는 이 페이지 초록에 없다.
벡터만 훔쳐도 문서 정보가 샌다
- 임베딩 벡터에만 접근하는 공격자가 원문에 대한 민감 정보를 뽑을 수 있다고 한다.
- 분류와 속성 추론(문서에서 특정 속성을 알아내기)에 충분한 수준이다.

Community Reactions

유사도와 실행 가능성은 다르다는 의견
- LLM 은닉 상태 연구 경험상 겹치는 부분 밖의 작은 R2 차이가 모델이 실제로 해석하는 부분이라는 의견이다.
- 그래서 한 LLM의 잠재 표현을 다른 LLM이 실행하게 만들기는 실패할 거라는 주장이다.
벡터를 외부에 노출하는 곳이 얼마나 되느냐는 반문
- 임베딩에 정보가 복구되는 건 당연하다는 반응이다.
- 다만 벡터를 노출하는 사례 자체가 많지 않다는 의견이다.
같은 데이터로 학습해서 생긴 현상 아니냐는 의견
- 플라톤 표현 가설의 증거라기보다 비슷한 데이터셋으로 학습한 결과일 가능성이 크다는 의견이다.
논문이 설명 위주이고 세부가 적다는 의견
- 수학 배경 독자가 세부 내용이 가볍다고 느꼈다는 반응이다.
- 이 글은 v4이며 NeurIPS OpenReview 링크도 공유됐다.

How to Apply

벡터 DB 접근 권한 점검하기
- 오늘 임베딩 벡터를 읽을 수 있는 API, 백업, 로그 경로를 목록으로 만들어라.
- 원문 텍스트와 같은 등급의 민감 데이터로 분류하라.
벡터를 외부에 노출하지 않기
- 벡터 검색은 서버 안에서 하고 클라이언트에는 결과 문서 ID만 돌려줘라.
- 임베딩 원본 반환 엔드포인트가 있으면 제거하라.
민감 문서는 별도 인덱스로 분리하기
- 개인정보·기밀 문서는 다른 인덱스와 접근 정책으로 나눠라.
- 서드파티 벡터 호스팅에 올리기 전에 위협 모델에 임베딩 유출을 넣어라.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣는 프롬프트 (보안 점검용, 논문 방법의 간이 버전 아님)

너는 보안 리뷰어다. 아래는 우리 RAG 시스템 구조다.
{{시스템 구조 설명: 임베딩 모델, 벡터 DB 종류, 벡터를 읽을 수 있는 API/백업/로그, 저장 문서 종류}}

전제: 공격자가 원문 없이 임베딩 벡터만 얻어도 다른 임베딩 공간으로 변환해 문서의 주제 분류와 속성 추론이 가능하다.

1) 벡터가 유출될 수 있는 경로를 위험도 순으로 나열해라.
2) 각 경로에 대해 유출 시 추론될 수 있는 민감 정보 유형을 써라.
3) 오늘 바로 할 수 있는 완화책 3개를 제시해라.

이어서 해 볼 것: 답변에서 1순위 경로를 실제 코드에서 찾아 접근 제어를 추가해 보라.

Terminology

임베딩문장을 숫자 배열로 바꾼 지도 좌표다. 비슷한 의미는 가까운 위치에 놓인다.

Platonic Representation Hypothesis서로 다른 모델도 결국 같은 세계의 구조를 배워 비슷한 표현으로 수렴한다는 가설이다.

비지도 변환정답 쌍 없이 두 공간의 구조만 보고 하나를 다른 쪽으로 옮기는 방식이다. 언어를 모르는 두 지도의 모양만 맞춰보는 것과 비슷하다.

속성 추론벡터만 보고 원문의 특성(예: 주제, 개인 속성)을 알아내는 공격이다.