뮤즈 스파크 1.3 출시, 토큰 25% 줄였다는 메타 발표 믿어도 될까

메타가 2026년 9월 2일(현지시각) 새 AI 모델 뮤즈 스파크 1.3을 공개했습니다. 도구 호출은 20% 줄이고 토큰 사용량은 25% 낮췄다는 게 메타의 설명입니다.

그런데 직전 버전인 뮤즈 스파크 1.2는 벤치마크 비교 대상 선정과 점수 산정 방식을 두고 논란을 겪은 전례가 있습니다. 이번 1.3 발표를 어디까지 믿을 수 있는지, 메타가 직접 공개한 벤치마크 표까지 뜯어봤습니다.

뮤즈 스파크 1.3, 무엇이 달라졌나

메타 개발자 페이지에 따르면 뮤즈 스파크 1.3은 장기 실행 에이전트 워크플로우에 맞춰 훈련됐습니다. 이전 대화 맥락과 결과를 계속 추적하고, 입력값이 뒤섞이거나 서로 충돌해도 처리하며, 필요하면 사용자에게 되물어보는 식으로 동작한다고 소개하고 있습니다.

개발자는 코딩 터미널 도구인 뮤즈 코드, 메타 모델 API, 오픈라우터 세 가지 경로로 뮤즈 스파크 1.3에 접근할 수 있습니다. 메타는 이 모델을 9월 2일부터 유료로 서비스하기 시작했고, 이후 인스타그램과 페이스북, 메타 AI 같은 자사 소비자용 서비스에도 순차 적용할 계획입니다.

가격은 두 가지로 나뉩니다. 사용 데이터를 제품 개선에 활용하는 muse-spark-1.3-contributor는 100만 토큰당 입력 0.10달러, 출력 0.20달러로 저렴한 대신 대화 내용이 메타 제품 개선에 쓰입니다. 데이터를 쓰지 않는 muse-spark-1.3은 입력 1.25달러, 출력 4.25달러입니다.

메타 개발자 페이지에 공개된 뮤즈 스파크 1.3 모델별 가격, contributor 버전은 대화가 제품 개선에 쓰이는 대신 가격이 10배 이상 저렴하다

Axios 보도에 따르면 이 가격은 직전 버전인 1.2와 동일합니다. 메타 최고AI책임자 알렉산더 왕은 이 가격 정책을 “공격적”이라고 표현하며, 성능 격차를 가격으로 상쇄하겠다는 전략을 이어가고 있습니다.

알렉산더 왕이 내세운 경쟁사 비교

왕은 뮤즈 스파크 1.3을 두고 “모델 성능에서 지금까지 가장 큰 도약”이라고 말했습니다. 앤트로픽의 클로드 페이블 5.1과 경쟁할 수 있는 수준이고, 오픈AI의 GPT-5.6 Sol보다는 특히 코딩 분야에서 앞선다고도 주장했습니다. 현재까지 공개된 중국 AI 모델보다도 성능이 높다는 평가도 덧붙였습니다.

이 발언에는 한 가지 눈에 띄는 지점이 있습니다. 왕이 언론에서 비교 대상으로 언급한 모델은 클로드 페이블 5.1인데, 정작 메타가 개발자 페이지에 직접 공개한 벤치마크 표에는 클로드 페이블 5.1이 아니라 앤트로픽의 다른 모델인 오퍼스 5가 비교군으로 올라와 있습니다. 언론 인터뷰에서 언급한 비교 대상과 실제로 수치를 공개한 비교 대상이 다른 셈입니다.

곧이곧대로 믿기 어려운 이유, 1.2가 겪은 벤치마크 논란

메타의 자체 성능 주장을 그대로 받아들이기 어려운 이유는 직전 버전인 뮤즈 스파크 1.2 때 이미 한 차례 불거졌습니다.

메타는 1.2를 발표하면서 AI 코딩 에이전트의 실무 수행 능력을 평가하는 터미널벤치 2.1에서 82.9%를 기록해 오픈AI 코덱스(81.8%)를 앞섰다고 밝혔습니다. 하지만 앤트로픽 클로드 코드(86.7%)에는 미치지 못했고, 낯선 과제 해결 능력을 보는 딥SWE 1.1 테스트에서도 59.3%로 클로드 코드(65.0%)와 코덱스(64.8%)에 뒤처졌습니다.

더 크게 논란이 된 부분은 비교 대상 선정이었습니다. 메타가 발표에서 경쟁사의 최상위 모델은 피하고 2티어 모델과 비교했다는 지적이 커뮤니티에서 나왔고, AI 정보 사이트 킹기AI는 메타가 공개한 점수 자체가 실제 검증된 수치보다 부풀려져 있다고 분석을 내놨습니다. 메타는 라마 4 때도 비슷한 벤치마크 조작 논란을 겪은 전례가 있어, 이번에도 비슷한 패턴이 반복되는 게 아니냐는 시선이 따라붙었습니다.

메타가 직접 공개한 벤치마크 표를 보면

이번 1.3 발표에서는 메타가 뮤즈 스파크 1.2, GPT-5.6 Sol, 오퍼스 5까지 넣은 벤치마크 표를 개발자 페이지에 직접 공개했습니다. 지난번처럼 비교 대상을 아예 숨기지는 않았다는 점에서는 진전입니다.

메타가 직접 공개한 뮤즈 스파크 1.3 벤치마크 표, 에이전트 항목에서는 오퍼스 5가 앞서는 칸이 더 많다

다만 표를 자세히 보면 메타가 강조한 “에이전틱 워크플로우 최적화”라는 문구와 실제 점수 사이에 온도차가 있습니다. 롱 컨텍스트(MRCR)와 코딩 항목 대부분에서는 뮤즈 스파크 1.3이 1위지만, 정작 에이전트 카테고리 6개 항목 중 GDPVal-AA v2, JobBench, OSWorld 2.0, AutomationBench 네 개는 오퍼스 5가 더 높은 점수를 받았습니다. DeepSearchQA와 Agentic IF Index 두 항목은 GPT-5.6 Sol이 1위입니다.

정리하면 뮤즈 스파크 1.3이 메타 자체 표에서도 1위를 차지한 항목은 롱 컨텍스트와 코딩 쪽이고, 정작 이번 버전의 핵심 세일즈 포인트로 내세운 에이전트 작업 수행 능력에서는 여섯 항목 모두 오퍼스 5나 GPT-5.6 Sol에 1위를 내줬습니다. “가장 큰 도약”이라는 표현과 자체 공개 수치 사이에는 거리가 있는 셈입니다.

정리

뮤즈 스파크 1.3은 도구 호출 감소와 토큰 절감 같은 효율화 지표, 그리고 롱 컨텍스트와 코딩 벤치마크에서는 실제로 개선된 수치를 보여줬습니다. 다만 메타가 발표에서 강조한 “에이전트 성능 도약”이라는 메시지는 정작 메타 자신이 공개한 벤치마크 표와는 온전히 맞아떨어지지 않습니다.

뮤즈 코드나 메타 모델 API로 이 모델을 검토하려는 개발자라면, 보도자료의 요약 문구보다는 메타가 공개한 원본 벤치마크 표와 자신의 실제 작업에 맞는 검증을 먼저 해보는 편이 안전합니다.

메타 개발자 페이지에서 뮤즈 스파크 1.3 보기