Quasar 438B: Multiverse Computing의 '유럽 최고 AI 모델' 발표

Who Should Read

유럽 모델이나 API 전용 추론 모델을 에이전트·코딩 용도로 비교 검토하는 백엔드 개발자

Core Mechanics

• AA 지능지수 43점으로 유럽 1위
  • Artificial Analysis Intelligence Index v4.1.1(평가 9개 합산) 기준 43점이다.
  • Mistral Medium 3.5는 30점, Nemotron 3 Ultra는 38점, Inkling은 42점이다.
  • 선두는 Claude Opus 5로 63점이다.
• 500토큰 응답에 15.3초
  • 추론(thinking) 시간을 포함한 수치다.
  • 더 빠른 모델은 비교군 중 3개뿐이고, 그중 지수가 더 높은 건 Gemini 3.7 Flash(11.5초, 56점)뿐이다.
  • Mistral Medium 3.5는 18.8초, Inkling은 48.3초다.
• 긴 문서 추론은 선두권에 근접
  • AA-LCR 75.0점으로 Claude Opus 5(75.7)와 1점 이내 차이다.
  • Nemotron 3 Ultra보다 4.0점, Mistral Medium 3.5보다 9.7점 높다.
• 터미널 에이전트는 아직 격차가 큼
  • Terminal-Bench v2.1에서 69.3점이다.
  • Mistral Medium 3.5보다 18.7점, Nemotron 3 Ultra보다 15.4점 높다.
  • 선두 Claude Opus 5는 89.1점이고, 회사도 가장 개선 여지가 큰 항목이라고 밝혔다.

Community Reactions

• 가중치가 닫혀 있어 벤치마크를 못 믿겠다는 의견
  • 공개 가중치가 있는지 묻는 댓글이 있었다.
  • API 전용이면 사용·검증이 어려워 채택이 적을 것이라는 의견이 있었다.
• GLM 5.2나 MiniMax M3를 가공한 모델 아니냐는 의견
  • 이 회사는 파라미터를 줄이는 압축이 주력이라는 지적이 있었다.
  • 변경 로그에 GLM 5.2와 능력이 같다는 표현이 있고, effort 설정(high/max)과 텍스트 전용인 점이 같다는 근거가 제시됐다.
  • 다만 댓글 작성자도 틀릴 수 있다고 했다.
• 438B가 Qwen3.8-27B보다 낮다는 지적
  • 벤치마크가 조작된 것 아니냐는 반응이 있었다.
  • 큰 모델이 작은 모델에 진다는 점이 아이러니라는 의견이었다.
• 하네스를 붙였더니 SWE Pro가 10% 올랐다는 경험
  • Qwen3.8-27B 앞에 프록시를 두고 막히면 '계속해', 잘못된 출력이면 '다시 해'라고 알려줬다.
  • 반복 감지와 도구 사용 리마인더도 넣었다.
  • 오픈 모델은 모델 단독으로, 프런티어 모델은 하네스까지 합쳐 평가받는다는 의견이었다.
• 'thinking time 포함' 표현이 모호하다는 의견

How to Apply

• 지금 쓰는 모델과 지수·속도 표 만들기
  • 오늘 30분 안에 Artificial Analysis에서 후보 모델의 지수와 500토큰 응답 시간을 뽑아 표로 정리하라.
  • 우리 서비스의 지연 한도와 비교해 후보를 거르라.
• 내 업무 데이터로 직접 평가하기
  • 가중치가 닫힌 모델은 자체 평가셋 20~50건으로 정확도와 지연을 직접 재라.
  • 무료 첫 달 기간에 CompactifAI API로 돌려 보라.
• 에이전트 앞단에 재시도·리마인더 하네스 넣기
  • 빈 출력, 깨진 JSON, 반복 호출을 감지해 재시도 메시지를 주입하라.
  • 모델을 바꾸기 전에 하네스 유무로 점수를 먼저 비교하라.

Try It

# Claude나 ChatGPT에 붙여넣기. 댓글 속 하네스 아이디어의 간이 버전 (원문 방법 아님)

너는 도구를 쓰는 에이전트다. 아래 규칙을 지켜라.
- 막히면 멈추지 말고 다른 접근을 시도하라.
- 출력이 비었거나 JSON이 깨졌으면 스스로 감지하고 더 낫게 다시 답하라.
- 같은 도구를 반복 호출하면 먼저 계획을 다시 세워라.
- 도구를 오래 안 썼다면 쓸 수 있다는 점을 상기하라.

작업: {{작업 설명}}

이어서 해 볼 것: 같은 작업을 이 규칙 없이 한 번 더 돌려 결과를 비교해 보라.

Terminology

관련 논문

• The Judge Can Debias Itself: LLM-as-a-Judge가 스스로 편향을 고치게 하는 법

  심사 프롬프트에 편향 경고를 넣거나 스스로 비판시켰더니 21개 중 20개 조합에서 정확도가 올랐다

• 미국 노동시간의 90%는 AI 벤치마크가 제대로 다루지 못하는 일이다

  벤치마크 29개를 직업 과제에 매핑했더니 노동시간 90%가 커버 밖

• Postgres 19, AI 코드 리뷰가 버그를 너무 많이 찾아 출시 연기

  LLM 코드 리뷰가 버그를 쏟아내 Postgres 19가 11월로 밀리고 기능 8~10개가 빠졌다

• StarSkirmish Bench v0.2: LLM이 1시간 만에 짜는 StarCraft 봇 대결

  LLM에게 1시간 동안 StarCraft 봇을 짜게 했더니 GPT-6 Astra가 1위

• 그럴듯한 설명 하나면 멀티모달 LLM 심사위원도 속는다 (JUPE 벤치마크)

  정답은 그대로 두고 설명만 붙였더니 MLLM 심사위원의 오답 거절률이 12.7~13.8%p 떨어졌다

• 신경망은 이미 깔끔하다: polysemanticity의 원인 재해석

  뉴런을 직접 들여다봤더니 대부분 한 가지 역할이 있었다는 주장

• Linus Torvalds의 첫 LLM 보조 패치 시리즈

  Linus가 LLM으로 folio 조회 패치 10개를 만들어 read() 벤치가 10배 빨라졌다

Related Resources

• https://multiversecomputing.com/resources/introducing-quasar-438b-europe-s-leading-ai-model
• https://docs.compactif.ai/changelog/#added-3
• https://huggingface.co/MultiverseComputingCAI
• https://multiversecomputing.com/compactifai/deployment