Google, HEIR 컴파일러로 동형암호 기반 Private AI 추론 시연

Who Should Read

사용자 민감 데이터를 서버로 보내는 AI 추론 기능의 프라이버시 설계를 고민하는 백엔드·ML 서비스 개발자

Core Mechanics

• HEIR는 암호화 상태로 AI를 돌리는 컴파일러
  • HEIR(Homomorphic Encryption Intermediate Representation)는 동형암호용 오픈소스 컴파일러 툴체인이다.
  • 평문 입력용으로 학습된 모델을 암호화된 입력에서 돌아가게 변환할 수 있다.
• 동형암호는 암호문 그대로 계산한다
  • 서버가 암호문을 처리해 암호화된 결과를 돌려주고, 안의 정보는 보지 못한다.
  • 예컨대 클라우드가 사용자 특징을 보지 않고 콘텐츠를 추천할 수 있다.
• 프라이버시 문제를 비용 문제로 바꾼다
  • 원문은 동형암호에 상당한 비용 오버헤드가 있다고 인정한다.
  • 그래서 성능과 프라이버시의 맞교환이 비용 문제가 되고, 그 비용이 빠르게 줄고 있다고 주장한다.
• 기존 대안에는 한계가 있다
  • end-to-end 암호화는 스팸·바이러스 탐지처럼 데이터가 필요한 기능을 막는다.
  • 로컬 처리는 기기 성능에 막히고, 독점 모델을 기기에 배포하면 모델 유출 위험이 있다.
• 데모 4종을 단일 스레드 CPU에서 시연했다
  • 추천 모델, 신용카드 사기 탐지, Kitsune 네트워크 이상 탐지, 핫워드 탐지다.
  • 모두 HEIR로 컴파일했고 소스코드는 GitHub 저장소에 공개되어 있다.

Community Reactions

• 동형암호 오버헤드가 약 10^3 이상이라는 지적
  • 프라이버시 보존 ML을 연구한다는 댓글러는 추론에서 오버헤드가 약 10^3이라 상용화가 어렵다고 말했다.
  • 다른 댓글도 10^3~10^6배 연산 비용을 들어 쓸 만한 용도를 되물었다.
• 원문에 오버헤드 수치가 없다는 비판
  • 여러 댓글이 글이 "nontrivial"이라고만 하고 구체적 수치를 밝히지 않았다고 지적했다.
  • 20년 전 연구했다는 댓글러는 덧셈 하나의 암호문이 약 1MB였다며 이후 돌파구가 있었는지 물었다.
• 로컬 오픈웨이트 모델이 더 실용적이라는 의견
  • 자기 하드웨어에서 돌리는 모델이 훨씬 실용적인 Private AI라는 의견이 많았다.
  • 1000배 비용이면 AWS Outpost 같은 방식이 더 싸다는 의견도 있었다.
• 연산 자체가 올바른지는 보장하지 않는다는 반론
  • FHE는 키가 있어야 입출력을 볼 수 있다는 것만 보장한다는 댓글이 있었다.
  • 연산이 악의적으로 짜였거나 공격자가 연산을 끼워 넣을 수 있다는 의견이다.
• 복잡한 에이전트 워크플로에는 어렵다는 의견
  • 중간 단계가 서로 의존하는 에이전트 작업에서는 암호화 비용을 빼도 비실용적이라 틈새에 머물 것이라는 의견이 있었다.

How to Apply

• 서비스의 민감 데이터 흐름 목록 만들기
  • 오늘 30분 동안 서버로 보내는 사용자 입력 중 서버가 평문으로 볼 필요 없는 것을 골라라.
  • 추천·이상 탐지·핫워드처럼 원문 데모와 비슷한 소형 모델 후보를 표시하라.
• HEIR GitHub 예제를 읽고 모델 크기 맞춰 보기
  • 원문이 공개했다고 한 4개 데모 소스를 열어 모델 구조를 확인하라.
  • 우리 모델이 데모처럼 작은 모델인지 비교하라.
• 암호화 추론 vs 로컬 처리 비용 비교표 작성
  • 같은 기능을 로컬 실행, 신뢰 실행환경, 동형암호로 할 때 지연과 비용을 항목별로 적어라.
  • 댓글에서 10^3 이상 오버헤드 지적이 나왔으므로 직접 측정해 검증하라.

Try It

# Claude 또는 ChatGPT에 그대로 붙여넣기 (원문 논의의 간이 버전: 동형암호 도입 타당성 점검)

나는 아래 AI 기능을 운영 중이다. 사용자 데이터를 서버가 평문으로 보지 않게 하는 방법을 비교하고 싶다.
기능 설명: {{기능 설명}}
모델 종류와 크기: {{모델 종류/크기}}
전달되는 민감 데이터: {{민감 데이터 종류}}
목표 지연시간: {{목표 지연시간}}

다음 세 방식을 비교해 표로 만들어라.
1) 로컬(온디바이스) 실행
2) 하드웨어 기반 보호(secure enclave)
3) 동형암호(HEIR 같은 컴파일러 사용)

비교 항목: 프라이버시 보장 방식, 지연·비용 부담, 모델 유출 위험, 우리 기능에 대한 적합성.
수치를 모르면 지어내지 말고 "측정 필요"라고 써라.

이어서 해 볼 것: HEIR GitHub 예제를 우리 모델과 같은 규모로 돌려 지연을 직접 재 보라.

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://blog.google/security/how-google-is-making-private-ai-practical-with-homomorphic-encryption/
• https://fhetextbook.github.io/