Mistral OCR 4.1: 문단 단위 bbox와 블록 신뢰도를 주는 문서 OCR API

Who Should Read

PDF·스캔 문서를 RAG나 추출 파이프라인에 넣으면서 Tesseract 대신 OCR API를 고민하는 백엔드 개발자

Core Mechanics

• OCR 4.1은 Document AI의 최신 OCR
  • 모델 ID는 mistral-ocr-4-1이다.
  • 2026년 7월 16일 GA(정식 출시)로 표기돼 있다.
• 문단 단위 좌표를 바로 준다
  • 문단 수준 bounding box(문단 위치 좌표) 추출을 기본으로 지원한다.
  • 구조 블록 라벨도 함께 나온다.
• 블록마다 신뢰도 점수가 붙는다
  • block-level confidence score(블록별 인식 확신도)를 제공한다.
  • 원문에는 점수 범위나 사용법 설명이 없다.
• 가격은 페이지당 과금이다
  • 일반 페이지는 1000페이지당 $4 또는 €5로 적혀 있다.
  • 주석(Annotated) 페이지는 1000페이지당 $5다.
• 엔드포인트는 /v1/ocr과 /v1/batch다
  • BBox 추출, OCR, 구조화 Annotations는 /v1/ocr로 쓴다.
  • 배치는 /v1/batch로 쓴다.

Community Reactions

• 엣지 케이스엔 약하다는 평가
  • 합자, Fraktur 글자, 위·아래첨자가 섞인 책 스캔에선 특별한 점이 없었다는 경험이 있었다.
  • OpenAI pro 모델이 더 낫지만 최고급 모델도 복잡한 텍스트는 못 한다는 의견이다.
• 단순 문서엔 싸고 빠르다는 의견
  • PDF를 EPUB으로 바꾸며 써 보니 Bleak House 한 챕터의 헤더·제목·각주를 매번 추출·태깅했다는 경험이 있다.
  • 오른쪽 여백 줄번호는 5번 중 3번만 aside text로 태깅했다고 한다.
  • 프롬프트 없이 PDF만 올리면 되고 배치 모드는 50% 할인이라는 의견이다.
• 가격이 비싸다는 반응이 많았다
  • 1000페이지에 3.5 수준이면 Tesseract보다 월등해야 한다는 의견이 있었다.
  • 렌더 GPU에서 1000페이지를 0.05~0.1달러, 페이지당 약 0.8초로 돌린다는 경험이 있었다.
  • 릴리스마다 가격이 오른다는 의견도 있었다.
• 대안과 신뢰성 논의
  • 은행 명세서를 NuExtract로 RTX 4090 한 장에 로컬 처리해 보니 Tesseract나 범용 비전 모델보다 낫다는 경험이 있다.
  • VLM은 민감 문서를 몰래 검열하고, OCR 전용 모델은 환각을 낸다는 의견이다.

How to Apply

• 내 문서 샘플 20장으로 비교 테스트하기
  • 지금 쓰는 Tesseract(OcrMyPDF) 결과와 /v1/ocr 결과를 같은 PDF로 나란히 비교하라.
  • 표·각주·다국어 페이지를 섞어 넣어라.
• bbox와 블록 라벨을 청킹에 쓰기
  • RAG 인덱싱 때 문단 bbox와 라벨로 헤더·본문·각주를 구분해 청크를 나눠라.
  • 답변에 인용할 때 bbox로 원본 위치를 하이라이트하라.
• 신뢰도 낮은 블록은 검수 큐로 보내기
  • 블록 신뢰도에 임계값을 두고 낮은 블록만 사람 검수나 다른 모델 재처리로 보내라.
  • 임계값은 샘플 테스트 결과로 정하라.
• 실시간이 아닌 작업은 /v1/batch로 돌리기
  • 대량 백필(일괄 재처리)은 배치 엔드포인트로 보내라.
  • 비용은 댓글의 50% 할인 언급을 공식 가격표에서 확인하라.

Try It

# Claude나 ChatGPT에 붙여넣기: OCR 도입 전 비교 평가 계획을 세우는 프롬프트

나는 PDF를 RAG 인덱싱에 쓰려고 한다. 현재는 {{현재 OCR 도구}}를 쓴다.
후보는 Mistral OCR 4.1이다. 특징은 문단 bbox, 구조 블록 라벨, 블록별 신뢰도 점수, 1000페이지당 $4다.
문서 유형은 {{문서 유형: 계약서/스캔 책/표 많은 보고서 등}}이다.

다음을 만들어 줘.
1. 샘플 20장을 고르는 기준(표, 각주, 다국어, 저화질 포함)
2. 정확도 비교 지표와 채점 방법
3. 블록 신뢰도 임계값을 정하는 실험 절차
4. 월 {{월 페이지 수}}페이지 기준 비용 비교표

이어서 해 볼 것: 계획대로 만든 샘플 결과를 붙여넣고 오류 유형별로 분류해 달라고 요청하라.

Terminology

관련 논문

• 트랜스포머는 '기억 저장소'에서 처음부터 만들어 낼 수 있었다

  선형층→MLP→self-attention을 기억 저장소로 보면 용량이 64→약 2,700→100만 이상

• 400년치 고문서에 AI를 돌렸더니 잊힌 운석·코뿔소·화산 폭발이 나왔다

  임베딩 검색과 싼 필터 모델로 400년 고문서를 뒤져 미기록 사건 발굴

• EmbeddingGemma 2: 텍스트·이미지·오디오·비디오를 한 벡터 공간에 넣는 오픈 경량 임베딩 모델

  740M 오픈 모델 하나로 텍스트·이미지·오디오·비디오를 같은 벡터 공간에서 검색

• RAG-NAROK: 출처를 직접 반박하는 문서로 RAG 지식베이스를 오염시키는 공격

  검색된 출처를 겨냥해 반박문을 심었더니 1위 검색과 탐지 회피가 높아졌다

• 텍스트냐 이미지냐 둘 다냐: 멀티모달 문서 QA 입력 방식 비교

  문서 QA에서 페이지 이미지가 정확도는 높지만 느려서, 질문별 라우터로 지연 30% 줄였다

• MS 임원이 AI 스크래핑을 '인류 역사상 최대의 노동 도둑질'이라 불렀다는 NYT 소송 공개 문서

  NYT 소송 공개 문서에서 MS·OpenAI 내부의 스크래핑 인식이 드러났다

• 임베딩의 보편적 기하 구조 활용: 짝 데이터 없이 임베딩 공간 간 변환

  짝 데이터 없이 임베딩을 다른 모델 공간으로 옮겼고, 벡터 DB 보안 위험이 드러났다

Related Resources

• https://docs.mistral.ai/models/ocr-4-1