중국 문샷AI(Moonshot AI)가 내놓은 새 모델 Kimi K3가 화제입니다. 그런데 이번엔 성능을 검증하는 방식이 좀 색달랐습니다. 한 분석은 챗GPT·딥식·제미나이·클로드, 이렇게 서로 경쟁 관계인 네 AI에게 각각 "Kimi K3 성능을 분석해 달라"고 물어본 뒤 그 답변들을 나란히 놓고 교차 비교했거든요. 라이벌 AI들이 같은 모델을 어떻게 평가하는지 겹쳐 보니, 의견이 모이는 지점과 갈리는 지점이 꽤 선명하게 드러났습니다. 정리해 봤습니다.
왜 K3에 주목해야 할까?
본론에 들어가기 전에, 이 모델이 왜 화제인지 짚고 넘어갈 필요가 있습니다. 그동안 최고 성능의 AI 모델은 오픈AI(GPT)와 앤트로픽(클로드)처럼 가중치를 공개하지 않는 미국 기업들이 사실상 독점해 왔습니다. 여기에 딥식을 필두로 한 중국의 '오픈 웨이트' 진영이 가격을 앞세워 빠르게 추격해 온 것이 최근 몇 년의 큰 흐름이었죠.
Kimi K3가 의미 있는 이유는, 이 추격이 단순히 '가성비'를 넘어 성능 최상위권 문턱까지 도달했다는 신호이기 때문입니다. 아래에서 보겠지만, K3는 여러 항목에서 미국 최상위 모델과 어깨를 나란히 하거나 일부는 앞서기까지 합니다. 그래서 이번 분석은 'K3가 얼마나 대단한가'보다, 'K3가 정확히 어느 위치에 서 있는가'를 냉정하게 가늠하는 데 초점이 맞춰져 있습니다.
벤치마크가 말하는 K3의 현재 위치
먼저 문샷AI의 자체 발표부터 보겠습니다. 이에 따르면 K3는 Claude Opus 4.8 max와 GPT-5.5 high보다는 전반적으로 앞서지만, 최상위급인 Claude Fable 5와 GPT-5.6 Sol에는 못 미치는 것으로 나타났습니다.
독립 평가기관 Artificial Analysis의 결과도 이 구도를 뒷받침합니다. '장기 지식 노동' 항목에서 K3를 Claude Fable 5 바로 다음 순위에 올렸거든요. 다만 흥미로운 예외가 하나 있습니다. 프론트엔드 코딩 실력을 겨루는 'Frontend Code Arena'에서는 K3가 그 Fable 5마저 제치고 1위를 차지했습니다.
비용은 어떨까요? 작업당 비용이 Opus 4.8의 절반 수준이라 가격 경쟁력은 갖췄지만, 답변이 다소 길고 생성 속도가 느리다는 점이 단점으로 지적됐습니다.
4대 AI의 평가, 코딩에선 한목소리
4대 AI의 분석을 나란히 펼쳐 놓으면, 특히 코딩과 에이전트(자율 작업) 영역에서 평가가 놀라울 만큼 일치합니다.
- 딥식 : FrontierSWE와 Frontend Code Arena에서 1위
- 제미나이 : BrowseComp 1위, 터미널 자율성 우수
- 챗GPT : "최상위 모델과 대등한 코딩 성능"
- 클로드(수집 자료) : Frontend Code Arena 1위 (Fable 5 상회)
네 곳 모두 K3의 핵심 무기를 '코딩'과 '장기 자율 작업'으로 지목했다는 점에서 결론이 딱 맞아떨어집니다. 서로 다른 AI가 같은 방향을 가리킨다면, 그 평가에는 어느 정도 무게가 실린다고 볼 수 있습니다.
다만 한 가지는 감안해야 합니다. 이 일치가 각 AI의 독립적인 판단이라기보다, 이미 보도된 같은 정보를 저마다 학습한 결과일 수도 있다는 점이죠. AI에게 다른 AI를 평가시키는 방식은 흥미롭지만, 결국 인터넷에 떠도는 같은 자료를 되풀이하는 '메아리'가 될 위험도 함께 안고 있습니다. 그래서 겹치는 결론만큼이나, 갈리는 지점을 들여다보는 것이 오히려 더 유익합니다.
순위를 매기는 시선은 조금씩 다르다
겹치는 결론과 달리, '상대적인 순위 매김'에서는 미묘한 온도차가 있었습니다. 딥식·제미나이·챗GPT의 비교 자료는 특정 상대와의 1:1 우위에 초점을 맞추다 보니, K3를 압도적인 강자처럼 그리는 경향이 있었습니다.
반면 클로드가 참고한 자료(Artificial Analysis, Tom's Hardware 등 제3자 평가 포함)는 조금 달랐습니다. "K3가 Opus 4.8과는 엎치락뒤치락하지만 Fable 5에는 미치지 못한다"며 한층 또렷한 위계를 제시했거든요. 이를 종합하면 K3는 최상위 모델(Fable 5, GPT-5.6 Sol) 바로 아래 단계에 위치한다고 보는 편이 더 정확해 보입니다.
'비싸다'와 '싸다'가 공존하는 이유
가격에 대한 평가는 무엇과 비교하느냐에 따라 정반대로 갈렸습니다. 딥식과 견주면 K3는 10배 이상 비싼 고가 모델처럼 보입니다. 그런데 클로드와 견주면 Opus 4.8의 절반 가격이라 '상대적으로 저렴한 선택지'가 됩니다.
모순처럼 들리지만, 사실은 기준점의 차이일 뿐입니다. K3는 중국 오픈 웨이트 모델 진영 안에서는 비싼 축에 속하지만, 미국 최상위 클로드 모델과 비교하면 여전히 가성비가 좋은 편이라는 얘기죠.
화려한 점수 뒤에 가려진 약점
딥식·제미나이 비교에서는 거의 언급되지 않았지만, 챗GPT 비교에서 짚은 약점은 곱씹어 볼 만합니다. 바로 철학적 사유, 창의적 글쓰기, 그리고 한국어의 자연스러움이 부족하다는 지적입니다.
K3의 눈부신 벤치마크 성적은 어쩌면 평가 항목 자체가 코딩과 에이전트에 쏠려 있어서 나온 결과일 수 있습니다. 바꿔 말하면, 범용 언어 능력이나 인문학적 대화 역량은 기존 코딩 벤치마크만으로는 온전히 드러나지 않는다는 뜻이기도 합니다.
정리하며
지금까지의 분석을 종합하면 결론은 이렇습니다.
Kimi K3는 코딩과 장기 에이전트 작업에서 세계 최상위권 바로 아래까지 바짝 따라붙었고, 프론트엔드 코딩 같은 일부 항목에서는 최상위 모델을 앞지르기도 했습니다. 대단한 성과입니다.
그러나 이는 주로 코딩·에이전트 벤치마크에 집중된 결과라는 점을 잊지 말아야 합니다. 창의적 글쓰기, 철학적 대화, 다국어 처리 같은 범용 언어 능력에서는 여전히 최상위 클로드 모델과 격차가 있다는 게 네 AI의 공통된 평가였습니다.
무엇보다 K3의 벤치마크 자체가 문샷AI의 자체 발표나 서로 다른 테스트 환경에 기대는 경우가 많습니다. 그러니 절대적인 등수에 일희일비하기보다는, "상위권 안에서의 대략적인 위치" 정도로 받아들이는 편이 현명해 보입니다.