FAISS 내부 들여다보기: 10억 개 벡터 유사도 검색의 원리

Inside FAISS: Billion-Scale Similarity Search

Jun 4, 2026•tohms•View Original

TL;DR Highlight

IVF로 건너뛰고 PQ로 압축하면 10억 벡터도 RAM에 올라간다

Who Should Read

RAG·시맨틱 검색에 FAISS 인덱스를 쓰면서 메모리와 지연 시간 때문에 인덱스 선택이 고민인 백엔드 개발자

Core Mechanics

브루트포스는 10억 개에서 불가능하다
- SIFT 10억 개(D=128, float 4바이트)를 그대로 담으면 512GB RAM이 필요하다.
- 쿼리 하나마다 거리 계산을 10억 번 해야 한다.
IVF는 후보 구역만 훑는다
- K-Means(비슷한 것끼리 묶는 군집화)로 공간을 Voronoi 셀로 나눈다.
- 쿼리가 속한 셀과 이웃 셀 몇 개만 거리 계산한다.
PQ는 벡터를 8바이트로 압축한다
- 128차원 벡터를 m=8개 조각으로 자르고 조각마다 256개 centroid(대표 벡터) 중 하나의 번호만 저장한다.
- 512바이트가 8바이트로 줄어 64배 압축이다.
조각으로 나누면 코드북이 128KB로 준다
- 통짜 코드북으로 64비트를 만들려면 2^64개 centroid가 필요해서 저장·학습·검색 모두 불가능하다.
- 조각별 코드북은 centroid 2,048개만 저장하면 되고 총 128KB라 L2 캐시에 들어간다.
거리 계산은 표 조회와 덧셈으로 끝난다
- 쿼리는 원본 그대로 두고 조각별 거리표(LUT)를 미리 만드는 방식이 ADC이며, FAISS 기본값이다.
- 후보 하나당 표 조회 m번과 덧셈 m-1번이면 되고 곱셈과 제곱근은 필요 없다.
IVFPQ는 잔차를 PQ로 인코딩한다
- 원본 벡터 대신 coarse centroid와의 차이(residual)를 압축한다.
- 잔차는 0 근처에 몰려 같은 바이트 예산으로 복원이 더 정확하다.
GPU에서는 연산보다 메모리 대역폭이 병목이다
- 거리표를 shared memory에 복사하면 접근이 약 400사이클에서 약 25사이클로 줄어든다.
- 서브 밀리초 지연은 GPU 구현의 영역이다.

Community Reactions

PQ 코드의 정확한 위치를 확인하라는 의견은 없고, 대신 원 논문이 동료 심사를 거치지 않았다는 지적이 있었다
- 댓글 작성자는 요즘은 그런 논문을 읽는 것이 시간 낭비라고 배웠다는 의견을 냈다.
- 시각화 자체는 훌륭하다고 평가했다.
FAISS는 쓸 만하지만 패키지 호환이 아쉽다는 경험
- 댓글 작성자는 특정 용도에서 FAISS가 매우 좋았다고 했다.
- faiss-cpu 외에는 요즘 대부분의 패키지와 맞게 업데이트되지 않는다고 했다.
Meta가 왜 유지보수를 줄였는지 궁금하다는 질문
- 속도 때문인지 우선순위 때문인지 묻는 댓글이 있었지만 답은 없었다.
인터랙티브 사이트가 훌륭하다는 반응
- 다른 댓글은 감사 인사와 함께 매우 훌륭한 인터랙티브 웹사이트라고 평했다.

How to Apply

현재 인덱스의 메모리 계산부터 해 보기
- 오늘 벡터 수 n과 차원 D로 n×D×4바이트를 계산해 Flat 인덱스 메모리를 구하라.
- 그 값이 서버 RAM의 절반을 넘으면 IVF나 IVFPQ 후보로 올려라.
Flat 대비 IVF 속도·재현율 비교하기
- 실제 임베딩 샘플 10만 개 정도로 IndexFlatL2와 IndexIVFFlat을 둘 다 만들어라.
- nprobe를 1, 8, 64로 바꿔 가며 검색 시간과 Flat 결과와의 일치율을 기록하라.
메모리가 모자라면 IVFPQ로 바꾸기
- 인덱스 팩토리 문자열 'IVF1024,PQ8'로 생성해 코드가 벡터당 8바이트인지 확인하라.
- 정확도 하락이 허용 범위인지 Flat 결과와 비교해 결정하라.
RAG 검색 설정을 조절 가능한 다이얼로 문서화하기
- 지연 시간, 메모리, 재현율 목표를 한 줄씩 적고 nprobe와 PQ 바이트 수를 거기에 맞춰라.

Try It

복사해서 바로 해보기

# 터미널에서 실행 (pip install faiss-cpu numpy)

import time
import numpy as np
import faiss

d, n, nq, k = 64, 200_000, 100, 5
rng = np.random.default_rng(0)
xb = rng.random((n, d), dtype="float32")
xq = rng.random((nq, d), dtype="float32")

flat = faiss.IndexFlatL2(d)
flat.add(xb)
t = time.time(); _, I0 = flat.search(xq, k)
print("Flat", round(time.time() - t, 4), "s")

quant = faiss.IndexFlatL2(d)
ivf = faiss.IndexIVFFlat(quant, d, 1024)
ivf.train(xb); ivf.add(xb)
for nprobe in (1, 8, 64):
    ivf.nprobe = nprobe
    t = time.time(); _, I = ivf.search(xq, k)
    rec = np.mean([len(set(I[i]) & set(I0[i])) / k for i in range(nq)])
    print("IVF nprobe", nprobe, round(time.time() - t, 4), "s recall", round(rec, 3))

pq = faiss.index_factory(d, "IVF1024,PQ8")
pq.train(xb); pq.add(xb)
pq.nprobe = 8
_, I = pq.search(xq, k)
print("IVFPQ recall", np.mean([len(set(I[i]) & set(I0[i])) / k for i in range(nq)]))

Terminology

IVF (Inverted File)도서관에서 장르 코너부터 찾아가는 방식이다. 벡터를 군집으로 나눠 두고 쿼리와 가까운 군집만 훑는다.

Product Quantization (PQ)벡터를 여러 조각으로 잘라 조각마다 대표 벡터의 번호만 저장하는 압축법이다. 이미지를 타일로 나눠 타일마다 팔레트를 쓰는 것과 비슷하다.

codebook대표 벡터(centroid)를 모아 둔 목록이다. GIF의 색상 팔레트와 같고 저장된 번호가 코드다.

ADC (Asymmetric Distance Computation)쿼리는 압축하지 않고 DB 벡터만 압축 상태로 비교하는 방식이다. 조각별 거리표를 한 번 만들어 두고 덧셈으로 거리를 구한다.

residual원본 벡터에서 소속 셀의 중심을 뺀 차이값이다. 값이 0 근처에 몰려 있어 압축하기 쉽다.

nprobeIVF에서 쿼리 하나당 살펴볼 셀의 수다. 글의 w에 해당하며 클수록 정확하지만 느리다.

Related Resources

FAISS 내부 들여다보기: 10억 개 벡터 유사도 검색의 원리

Inside FAISS: Billion-Scale Similarity Search

Jun 4, 2026•tohms•View Original

TL;DR Highlight

IVF로 건너뛰고 PQ로 압축하면 10억 벡터도 RAM에 올라간다

Who Should Read

RAG·시맨틱 검색에 FAISS 인덱스를 쓰면서 메모리와 지연 시간 때문에 인덱스 선택이 고민인 백엔드 개발자

Core Mechanics

브루트포스는 10억 개에서 불가능하다
- SIFT 10억 개(D=128, float 4바이트)를 그대로 담으면 512GB RAM이 필요하다.
- 쿼리 하나마다 거리 계산을 10억 번 해야 한다.
IVF는 후보 구역만 훑는다
- K-Means(비슷한 것끼리 묶는 군집화)로 공간을 Voronoi 셀로 나눈다.
- 쿼리가 속한 셀과 이웃 셀 몇 개만 거리 계산한다.
PQ는 벡터를 8바이트로 압축한다
- 128차원 벡터를 m=8개 조각으로 자르고 조각마다 256개 centroid(대표 벡터) 중 하나의 번호만 저장한다.
- 512바이트가 8바이트로 줄어 64배 압축이다.
조각으로 나누면 코드북이 128KB로 준다
- 통짜 코드북으로 64비트를 만들려면 2^64개 centroid가 필요해서 저장·학습·검색 모두 불가능하다.
- 조각별 코드북은 centroid 2,048개만 저장하면 되고 총 128KB라 L2 캐시에 들어간다.
거리 계산은 표 조회와 덧셈으로 끝난다
- 쿼리는 원본 그대로 두고 조각별 거리표(LUT)를 미리 만드는 방식이 ADC이며, FAISS 기본값이다.
- 후보 하나당 표 조회 m번과 덧셈 m-1번이면 되고 곱셈과 제곱근은 필요 없다.
IVFPQ는 잔차를 PQ로 인코딩한다
- 원본 벡터 대신 coarse centroid와의 차이(residual)를 압축한다.
- 잔차는 0 근처에 몰려 같은 바이트 예산으로 복원이 더 정확하다.
GPU에서는 연산보다 메모리 대역폭이 병목이다
- 거리표를 shared memory에 복사하면 접근이 약 400사이클에서 약 25사이클로 줄어든다.
- 서브 밀리초 지연은 GPU 구현의 영역이다.

Community Reactions

PQ 코드의 정확한 위치를 확인하라는 의견은 없고, 대신 원 논문이 동료 심사를 거치지 않았다는 지적이 있었다
- 댓글 작성자는 요즘은 그런 논문을 읽는 것이 시간 낭비라고 배웠다는 의견을 냈다.
- 시각화 자체는 훌륭하다고 평가했다.
FAISS는 쓸 만하지만 패키지 호환이 아쉽다는 경험
- 댓글 작성자는 특정 용도에서 FAISS가 매우 좋았다고 했다.
- faiss-cpu 외에는 요즘 대부분의 패키지와 맞게 업데이트되지 않는다고 했다.
Meta가 왜 유지보수를 줄였는지 궁금하다는 질문
- 속도 때문인지 우선순위 때문인지 묻는 댓글이 있었지만 답은 없었다.
인터랙티브 사이트가 훌륭하다는 반응
- 다른 댓글은 감사 인사와 함께 매우 훌륭한 인터랙티브 웹사이트라고 평했다.

How to Apply

현재 인덱스의 메모리 계산부터 해 보기
- 오늘 벡터 수 n과 차원 D로 n×D×4바이트를 계산해 Flat 인덱스 메모리를 구하라.
- 그 값이 서버 RAM의 절반을 넘으면 IVF나 IVFPQ 후보로 올려라.
Flat 대비 IVF 속도·재현율 비교하기
- 실제 임베딩 샘플 10만 개 정도로 IndexFlatL2와 IndexIVFFlat을 둘 다 만들어라.
- nprobe를 1, 8, 64로 바꿔 가며 검색 시간과 Flat 결과와의 일치율을 기록하라.
메모리가 모자라면 IVFPQ로 바꾸기
- 인덱스 팩토리 문자열 'IVF1024,PQ8'로 생성해 코드가 벡터당 8바이트인지 확인하라.
- 정확도 하락이 허용 범위인지 Flat 결과와 비교해 결정하라.
RAG 검색 설정을 조절 가능한 다이얼로 문서화하기
- 지연 시간, 메모리, 재현율 목표를 한 줄씩 적고 nprobe와 PQ 바이트 수를 거기에 맞춰라.

Try It

복사해서 바로 해보기

# 터미널에서 실행 (pip install faiss-cpu numpy)

import time
import numpy as np
import faiss

d, n, nq, k = 64, 200_000, 100, 5
rng = np.random.default_rng(0)
xb = rng.random((n, d), dtype="float32")
xq = rng.random((nq, d), dtype="float32")

flat = faiss.IndexFlatL2(d)
flat.add(xb)
t = time.time(); _, I0 = flat.search(xq, k)
print("Flat", round(time.time() - t, 4), "s")

quant = faiss.IndexFlatL2(d)
ivf = faiss.IndexIVFFlat(quant, d, 1024)
ivf.train(xb); ivf.add(xb)
for nprobe in (1, 8, 64):
    ivf.nprobe = nprobe
    t = time.time(); _, I = ivf.search(xq, k)
    rec = np.mean([len(set(I[i]) & set(I0[i])) / k for i in range(nq)])
    print("IVF nprobe", nprobe, round(time.time() - t, 4), "s recall", round(rec, 3))

pq = faiss.index_factory(d, "IVF1024,PQ8")
pq.train(xb); pq.add(xb)
pq.nprobe = 8
_, I = pq.search(xq, k)
print("IVFPQ recall", np.mean([len(set(I[i]) & set(I0[i])) / k for i in range(nq)]))

Terminology

IVF (Inverted File)도서관에서 장르 코너부터 찾아가는 방식이다. 벡터를 군집으로 나눠 두고 쿼리와 가까운 군집만 훑는다.

codebook대표 벡터(centroid)를 모아 둔 목록이다. GIF의 색상 팔레트와 같고 저장된 번호가 코드다.

residual원본 벡터에서 소속 셀의 중심을 뺀 차이값이다. 값이 0 근처에 몰려 있어 압축하기 쉽다.

nprobeIVF에서 쿼리 하나당 살펴볼 셀의 수다. 글의 w에 해당하며 클수록 정확하지만 느리다.

FAISS 내부 들여다보기: 10억 개 벡터 유사도 검색의 원리

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

FAISS 내부 들여다보기: 10억 개 벡터 유사도 검색의 원리

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources