블랙박스 LLM의 크기를 재는 법

지난달 Moonshot AI가 Kimi K3 를 공개했습니다. 총 파라미터 수는 2.8조 개. 오픈웨이트 모델도 처음으로 ‘3T급’에 들어섰습니다 [8].

불과 2024년 말까지만 해도 DeepSeek V3의 671B에 놀랐는데요. 이후 1T를 넘는 오픈 모델이 잇달아 등장했고, 2년도 지나지 않아 2.8T까지 올라왔습니다. 크기뿐 아니라 성능에서도 미국 프론티어 모델과의 차이를 빠르게 좁혀가고 있습니다.

이를 보면서 문득 궁금해졌습니다. GPT, Claude, Gemini 같은 프론티어 모델은 대체 얼마나 클까요?

실제로 많은 사람이 공개되지 않은 모델의 크기를 추정하려고 해왔습니다. 단순히 체급을 비교하기 위해서만은 아닙니다. 어떤 규모의 모델에서 지금의 프론티어 성능이 가능하다는 사실을 보여주는, 일종의 ‘가능성의 증명’이기 때문입니다. 한 번 가능하다는 사실과 대략적인 목표 규모가 드러나면, 다른 팀들도 막연한 탐색 대신 그 지점을 향해 학습 전략과 인프라를 설계할 수 있습니다.

오늘 소개할 논문에서 제안한 기법은 Claude Sonnet을 약 766B급으로 추정합니다. 이는 소문으로 알려진 1T와도 꽤 가까운 수치입니다. 어떻게 이런 숫자를 얻었을까요? 이번 블로그 글에서 그 내용을 한 번 소개드리고자 합니다.

모델의 크기를 어떻게 추정해왔을까

GPT-4 이후 주요 AI 회사들은 최상위 모델의 파라미터 수를 거의 공개하지 않고 있습니다. 그래서 그동안 사람들은 API 가격이나 토큰 처리 속도, GPU 사용량 등을 단서로 모델 크기를 역산해왔습니다 [1]. 일종의 ‘AI 모델 체급 추정’입니다.

하지만 이런 단서는 모델의 크기 외에도 서비스 방식의 영향을 크게 받습니다. 같은 모델이라도 사용하는 하드웨어, 한 번에 처리하는 요청 수, 파라미터를 압축하는 방식에 따라 가격과 속도가 달라질 수 있습니다. 그렇다면 모델 바깥의 조건이 아니라, 모델이 이미 담고 있는 정보로 크기를 추정할 수는 없을까요?

이 논문은 여기서 질문을 바꿉니다. 모델은 얼마나 많은 사실을 기억하고 있는가?

아이디어는 단순합니다. 추론 능력은 더 좋은 아키텍처와 학습 방법을 통해 점점 작은 모델에도 담을 수 있지만, 수많은 독립적인 사실을 기억하려면 그만큼의 저장 공간이 필요합니다. 여러 희귀한 사실에 대한 답변을 모으면 모델이 실제로 기억하고 있는 지식의 양을 가늠할 수 있습니다. 이 지식량을 크기가 공개된 모델들과 비교해 모델의 크기를 역으로 추정하는 것이죠. 이것이 Incompressible Knowledge Probes (Li, 2026)  [2], 줄여서 IKP의 출발점입니다.

어떤 사실을 물어볼까

모델이 얼마나 많은 사실을 기억하는지 재려면, 먼저 모델에 던질 질문이 필요합니다. 단순히 어려운 질문을 모으는 것만으로는 부족합니다. 질문의 답을 추론으로 이끌어낼 수 있다면, 모델이 정답을 기억하고 있던 것인지 그 자리에서 추론한 것인지 구분할 수 없기 때문입니다.

그래서 저자들은 정답 자체를 알고 있어야만 맞힐 수 있는 사실을 골라 질문으로 만들었습니다. 또 대부분의 모델이 이미 아는 유명한 사실만 남지 않도록, 흔한 사실부터 매우 드문 사실까지 여러 단계로 나누었습니다 [6].

예를 들어 “USTC Hackergame은 몇 년에 시작되었는가?”처럼 특정 행사의 시작 연도를 묻거나, 잘 알려지지 않은 연구자의 세부 전공과 대표 논문을 함께 묻습니다. 이런 질문은 일반적인 규칙만으로 답을 계산하기 어렵습니다. 외부 검색 없이 안정적으로 답하려면 모델이 학습 과정에서 해당 사실을 접하고 기억하고 있어야 합니다.

논문에서는 이런 지식을 incompressible factual knowledge라고 부릅니다. 핵심은 이름 그대로 더 좋은 추론만으로 대신하기 어려운 사실 지식이라는 점입니다.

큰 모델은 더 많은 사실을 기억할까

이제 이 질문들로 모델 크기를 추정할 수 있는지 확인해야 합니다. 이를 위해 두 가지 조건이 필요합니다.

1. 크기에 따른 차이: 모델이 클수록 더 많은 사실을 기억해야 합니다.
2. 시간에 따른 안정성: 같은 크기라면 출시 시점이 달라도 기억하는 사실의 양이 크게 달라지지 않아야 합니다.

먼저 첫 번째 조건을 살펴보겠습니다. 저자들은 파라미터 수가 공개된 93개의 오픈웨이트 모델에 같은 질문을 던졌습니다. 결과는 뚜렷했습니다. 모델이 클수록 희귀한 사실을 더 많이 기억했고, 파라미터가 10배 늘 때마다 정답률은 약 15.9%p 올랐습니다. 이 관계가 얼마나 일정한지를 나타내는 R²도 0.910으로 높았습니다.

이 관계를 크기 추정에 쓸 수 있는지도 확인했습니다. 모델을 하나씩 숨긴 뒤 나머지 모델로 그 크기를 맞혀보니, 일반적인 오차는 약 1.48배였습니다. 100B 모델을 기준으로 보면 대략 68B에서 148B 사이로 추정한 정도입니다. 전체 결과의 72%는 실제 크기의 절반에서 두 배 사이, 86%는 3분의 1에서 세 배 사이에 들어왔습니다.

같은 크기의 최신 모델은 더 많이 기억할까

큰 모델일수록 더 많은 사실을 기억한다는 관계는 확인했습니다. 하지만 이 관계가 시간이 지나도 유지되는지는 별개의 문제입니다. 가령 최신 Qwen3.8-27B 가 과거의 Qwen2.5-72B 만큼 많은 희귀 사실을 기억한다면, 같은 지식량이 27B와 72B를 모두 가리키게 됩니다. 그러면 기억하는 사실의 양만으로 두 모델의 크기를 구분하기 어렵습니다.

실제로 Densing Law에 따르면 같은 수의 파라미터로 낼 수 있는 추론과 문제 해결 성능은 시간이 지나면서 빠르게 높아졌습니다 [3]. 그렇다면 사실을 기억하는 능력도 같은 속도로 좋아졌을까요?

논문은 이 차이를 능력의 종류에서 설명합니다. 추론이나 명령 수행은 더 좋은 학습법으로 적은 파라미터에서도 구현할 수 있지만, 앞에서 본 ‘기억해야 하는 사실’은 정답 자체가 모델 안에 남아 있어야 합니다. 문제를 푸는 방법은 효율화할 수 있어도, 저장해야 하는 정보 자체를 없앨 수는 없다는 것이죠 [4] [5] [7].

저자들은 출시 시점이 알려진 100개의 오픈웨이트 모델을 비교했습니다. 그 결과 파라미터 수가 같을 때, 최신 모델일수록 더 많은 사실을 기억하는 뚜렷한 경향은 발견되지 않았습니다.

같은 크기의 모델이 내는 추론과 문제 해결 성능은 빠르게 좋아졌지만, 기억하는 사실의 양은 같은 속도로 늘어나지 않았습니다. 두 번째 조건도 실제 모델에서 대체로 유지된 것입니다.

크기를 아는 모델로, 모르는 모델을 잰다

이제 앞에서 만든 기준선을 거꾸로 사용하면 됩니다. GPT, Claude, Gemini처럼 크기가 공개되지 않은 모델에 같은 질문을 던진 뒤, 그 결과가 어느 크기의 오픈웨이트 모델과 비슷한지를 찾는 것이죠.

즉, 오픈웨이트 모델에서는 파라미터 수 → 기억하는 사실의 양을 측정하고, 비공개 모델에서는 기억하는 사실의 양 → 파라미터 수를 추정합니다.

그래서 프론티어 모델은 얼마나 클까

이제 이 기준선에 비공개 모델의 IKP 정답률을 대입하면 됩니다. 그 결과 일부 최신 프론티어 모델은 수조 개 파라미터에 해당하는 지식 용량을 가진 것으로 추정됩니다.

아래 표에는 주요 회사의 대표 모델과 뒤에서 비교할 Opus·Sonnet 모델을 추려 담았습니다.

IKP 점수는 7개 난이도 구간의 희귀 사실 질문에서 얻은 점수를 동일한 비중으로 평균한 값입니다. 오답과 답변 거부는 모두 0점으로 계산합니다.

다만 여기서 얻은 숫자를 모델의 파라미터 수로 그대로 읽으면 안 됩니다. IKP가 직접 측정하는 것은 얼마나 많은 사실을 기억하고 있는가이기 때문입니다. 논문의 추정치는 정확히 말하면, “이 정도의 사실을 기억하는 오픈웨이트 모델이라면 어느 정도 크기인가”를 나타내는 값입니다. 즉 오픈웨이트 모델 기준의 유효 지식 용량에 가깝습니다.

특히 1T를 넘는 구간에는 비교 기준이 되는 공개 모델이 두 개뿐이므로 추정의 불확실성이 큽니다. IKP는 “이 모델은 정확히 3.2T다”라고 말하는 도구보다는, 수백B급인지 수T급인지 체급을 가늠하는 도구에 가깝습니다.

MoE 모델은 전체 파라미터와 활성 파라미터 중 무엇을 봐야 할까

MoE 모델에는 모든 expert를 합친 전체 파라미터(total)와, 질문 하나에 답할 때 실제로 사용하는 활성 파라미터(active)라는 두 가지 크기가 있습니다. 그렇다면 IKP가 추정하는 크기는 어느 쪽에 가까울까요?

논문이 41개의 오픈 MoE 모델을 비교한 결과, 모델이 기억하는 사실의 양은 활성 파라미터보다 전체 파라미터와 더 강하게 연결됐습니다. 질문 하나에는 일부 expert만 사용하지만, 서로 다른 사실은 모델 전체의 여러 expert에 나뉘어 저장될 수 있기 때문입니다.

따라서 앞 표의 숫자는 전체 파라미터를 기준으로 환산한 지식 용량으로 읽어야 합니다. 어떤 모델이 1T급으로 추정됐다고 해서 실제로 1T개의 파라미터를 가졌다는 뜻은 아닙니다. 전체 파라미터가 1T인 오픈모델과 비슷한 양의 사실을 기억한다는 뜻입니다. IKP만으로는 그 모델이 dense인지 MoE인지, 한 번에 얼마나 많은 파라미터를 사용하는지는 알 수 없습니다.

소문과 비교해보기

이 추정치들을 검증할 공식적인 방법은 없습니다. 프론티어 랩들이 정답을 공개하지 않기 때문입니다. 다만 흥미로운 비교 대상이 하나 있습니다.

2026년 4월 9일, Elon Musk가 X에서 Colossus 2의 학습 규모를 언급하면서 당시 Grok의 total 파라미터가 0.5T이고, 이것이 Sonnet의 절반, Opus의 1/10이라고 말했습니다. 여기서 역산하면 Sonnet은 1T, Opus는 5T가 됩니다. 발언 당시 최신 Anthropic 모델은 Sonnet 4.6과 Opus 4.6이었으므로 4.6 시리즈 모델이 각각 1T, 5T임을 알 수 있습니다.

논문에서 소개한 IKP 방식의 추정치는 Claude Opus 4.6이 약 1.6T, Sonnet 4.6이 약 766B입니다. Musk 발언에서 역산한 5T와 1T 중 Sonnet은 비교적 가깝지만 Opus는 차이가 큽니다. 수조 파라미터 규모의 공개 모델이 거의 없기 때문에, 이 구간에서는 추정 오차가 커질 수 있습니다. 그래도 두 값이 완전히 충돌하는 것은 아닙니다. Musk의 역산값은 모두 IKP가 제시한 넓은 예상 범위 안에 들어갑니다.

마치며

파라미터 수를 공개하지 않는 시대에도, 모델이 무엇을 기억하는지는 그 크기를 짐작할 수 있는 단서가 됩니다. IKP는 희귀한 사실을 얼마나 기억하는지 측정하고, 이를 크기가 공개된 오픈웨이트 모델과 비교해 비공개 모델의 대략적인 체급을 추정했습니다.

모델의 일반적인 성능은 같은 크기에서도 빠르게 좋아지고 있습니다. 하지만 정답 자체를 기억해야 하는 사실의 양과 총 파라미터 수 사이에는 여전히 강한 관계가 남아 있었습니다.

이 방법으로 정확한 파라미터 수를 알아낼 수는 없습니다. 그래도 어떤 규모에서 프론티어 성능이 가능해지는지를 가늠할 수 있다면, 그 자체로 다음 모델을 만드는 사람들에게 구체적인 목표가 됩니다. 누군가 이미 도달한 규모를 아는 것 역시 하나의 ‘가능성의 증명’이기 때문입니다.

References

[1] Erdil, E. Inference Economics of Language Models. arXiv:2506.04645, 2025.

[2] Li, B. Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity. arXiv:2604.24827v2, 2026.

[3] Xiao, C., et al. Densing Law of LLMs. arXiv:2412.04315, 2024. (Nature Machine Intelligence, 2025)

[4] Allen-Zhu, Z., Li, Y. Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws. arXiv:2404.05405, 2024.

[5] Morris, J. X., et al. How Much Do Language Models Memorize?. arXiv:2505.24832, 2025.

[6] Kandpal, N., et al. Large Language Models Struggle to Learn Long-Tail Knowledge. arXiv:2211.08411, 2023.

[7] Shannon, C. E. A Mathematical Theory of Communication. The Bell System Technical Journal, 27(3), 379–423, 1948.

[8] Moonshot AI. Kimi K3: Open Frontier Intelligence, 2026.

[9] Anthropic. Introducing Claude Opus 4.8, 2026.

[10] Anthropic. Claude Fable 5 and Claude Mythos 5, 2026.