Clef: Cloudflare의 오픈 웨이트 decision model과 RL 파인튜닝 플랫폼

TL;DR Highlight

Cloudflare가 Jev 호환 decision model Clef를 공개해 Jev Decision Index 1위를 주장했다

Who Should Read

티켓 라우팅·콘텐츠 필터링처럼 LLM 호출 전에 싼 분류 단계를 넣고 싶은 백엔드·에이전트 개발자

Core Mechanics

decision model은 분류 결과를 확률로 돌려준다
- 입력과 질문을 넣으면 타입이 정해진 답과 확률이 나온다.
- 코드가 그 확률로 티켓 라우팅, 에스컬레이션, 사람에게 넘기기를 정한다.
Clef와 Clef-flash, Jev API 호환
- 둘 다 Workers AI에서 호스팅되고 Apache 2.0으로 Hugging Face에 공개됐다.
- Clef는 정밀도용, Clef-flash는 지연이 중요한 결정용이다.
Jev와 차별점은 이미지 입력과 64k 컨텍스트
- Clef는 비전 인코더가 있어 이미지도 분류한다.
- 컨텍스트 윈도우는 64k로 Jev의 32k보다 크다.
벤치마크는 Jev 대비 우세라고 주장
- BFCL case exact는 Clef 98.47, Jev 95.75다.
- Typesafe 자체 평가 4개 중 3개에서 Jev를 앞섰다고 한다.
- When2Call accuracy는 Clef 72.37, Jev 80.97로 Jev가 높다.
도메인 분류에서 gpt-oss-120b보다 빨랐다
- Threat Intelligence 팀 도메인 분류에서 Clef는 fetch·render·classify에 2.2초였다.

Community Reactions

가격이 Jev보다 비싸다는 의견
- Clef는 입력 100만 토큰당 $0.24로 Jev($0.042)의 약 6배라는 계산이 나왔다.
- Clef-flash는 $0.09라 훨씬 경쟁력 있다는 의견이다.
직접 돌려 보니 Jev보다 느렸다는 경험
- clef-flash 중앙값 661ms, Jev는 230ms였다는 측정이 있다.
- 지식베이스 쓰기 리뷰 판단 테스트에서 호스팅 p50이 Clef 약 850ms, Jev 약 110ms였고 품질은 비슷(recall 0.98 vs 1.00)했다는 경험이다.
품질도 기대에 못 미쳤다는 경험
- 혐오 발언 필터링에서 Clef가 Jev보다 2~3배 느리고 덜 잡았다는 경험이다.
- 동전 이미지 분류에서 8bit 양자화 Clef는 정확도 약 41%, 로컬 gemma4:27b는 53%에 4배 빨랐다는 경험이다.
오픈 소스가 아니라 오픈 웨이트라는 지적
- 가중치 라이선스만 관대하고 데이터와 학습 파이프라인은 공개되지 않았다는 의견이다.
- Jev류는 prior를 넘길 수 없어 파인튜닝 없이는 쓸모가 적다는 의견도 있었다.

How to Apply

현재 LLM 분류 호출을 Clef와 지연 비교하기
- 라우팅·모더레이션처럼 LLM으로 하던 분류 한 건을 골라 같은 입력 100건을 Clef, Clef-flash, 기존 모델에 보낸다.
- 중앙값·p95 지연과 정답 일치율을 비교한다.
싼 분류 모델을 앞단, LLM을 뒷단에 두기
- 확률이 임계값 이상이면 바로 처리하고 낮으면 LLM이나 사람에게 넘기도록 분기 코드를 쓴다.
- 분기 비율과 오류율을 로그로 남겨 임계값을 조정한다.
비용을 본인 트래픽으로 계산하기
- 호출당 입력 토큰 수에 가격을 곱해 월 비용을 뽑는다.
- 트래픽이 많으면 Hugging Face 가중치 셀프호스팅과 비교한다.

Try It

복사해서 바로 해보기

# 셸 터미널에 붙여넣기 (원문 curl 예시 기반, 계정 ID와 토큰을 바꿔 넣으세요)

export CLOUDFLARE_ACCOUNT_ID={{계정ID}}
export CLOUDFLARE_AUTH_TOKEN={{토큰}}

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
  -X POST \
  -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
  -d '{"model":"clef","state":"Checkout has been failing for every customer for the last hour.","questions":{"urgent":{"type":"noul","instructions":"Is this support request urgent?"},"team":{"type":"choice","instructions":"Which team should handle this request?","criteria":{"billing":"Payments, invoices, and refunds","technical":"Outages, errors, and configuration","sales":"Plans and upgrades"}},"severity":{"type":"score","instructions":"How severe is the customer impact?","criteria":["No impact","Minor","Major","Critical"]}}}'

# 이어서 해 볼 것: state를 본인 서비스의 실제 문의로 바꾸고 "model"을 clef-flash로 바꿔 지연을 비교해 보세요.

Terminology

decision model자유 문장 대신 정해진 선택지에 확률을 붙여 돌려주는 모델이다. 코드 안의 if문에 확률 점수를 대 주는 심판 같은 존재다.

prefill입력을 한 번에 읽어 들이는 단계다. 답을 한 토큰씩 쓰는 과정을 건너뛰어서 빠르다.

LoRA 어댑터큰 모델은 얼려 두고 작은 보정 층만 학습하는 방식이다. 책 본문은 그대로 두고 포스트잇만 덧붙이는 것과 비슷하다.

Brier loss예측 확률이 실제 결과와 얼마나 어긋나는지 재는 손실 함수다. 확률이 정직하게 보정되도록 돕는다.

open weights모델 가중치는 공개했지만 학습 데이터와 학습 코드는 공개하지 않은 상태다.