로컬 LLM을 처음 올릴 때 대부분 모델 파일 크기부터 봅니다. 그런데 GPU로 로컬 LLM을 돌릴 때 실제로 발목을 잡는 것은 파일 크기가 아니라, 추론하는 동안 그래픽카드 메모리에 함께 올라가 있어야 하는 것들입니다.
왜 VRAM이 기준이 되는가
모델은 계산하는 동안 통째로 그래픽카드 메모리에 올라가 있어야 합니다. 자리가 모자라면 남은 부분이 시스템 메모리로 밀려나고, 그 순간 속도가 몇 배로 느려집니다. GPU VRAM 로컬 LLM 조합에서 중요한 것은 “돌아가느냐”보다 “얼마나 여유 있게 올라가느냐”입니다.
메모리에 올라가는 것은 세 가지입니다
첫째는 모델 가중치입니다. 파라미터 수에 양자화 비트를 곱하고 8로 나누면 나오며, 배포처가 표시하는 파일 크기와 거의 같습니다. 여기까지만 보고 카드 용량과 비교하는 것이 가장 흔한 실수입니다.
둘째는 KV 캐시입니다. 지금까지 읽은 토큰을 기억해 두는 공간이라 대화가 길어질수록 늘어납니다. 셋째는 런타임이 잡아먹는 여유 공간입니다. 이 둘을 빼놓으면 실행 도중 메모리 부족으로 멈춥니다.
같은 크기라도 구조에 따라 요구량이 갈립니다
KV 캐시는 파라미터 수가 아니라 어텐션 구조에서 나옵니다. 최근 모델은 층마다 방식이 다릅니다. Qwen3.5와 Qwen3.6은 네 층 중 한 층만 전체 문맥을 들고 있고 나머지는 선형 어텐션입니다. Gemma 4는 다섯 층 중 한 층만 전체 문맥을 보고 나머지는 1024토큰 창만 유지합니다.
그래서 비슷한 크기여도 결과가 크게 갈립니다. 8192토큰 기준으로 Gemma 4 31B의 KV 캐시는 약 2.0GiB인데, 파라미터가 더 많은 Qwen3.6 35B-A3B는 0.16GiB에 그칩니다. 모든 층이 전체 문맥을 들고 있다고 계산하면 이 세대 모델은 실제보다 네 배 가까이 크게 나옵니다.
전문가 혼합 모델은 총 파라미터로 봅니다
이름 끝에 A3B, A4B가 붙은 전문가 혼합 모델은 한 번에 3B, 4B만 계산에 씁니다. 속도는 그만큼 빠르지만 메모리는 총 파라미터 기준으로 잡아야 합니다. 어떤 전문가가 호출될지 미리 알 수 없어 가중치 전체가 올라가 있어야 하기 때문입니다.
내 그래픽카드로 확인해 보세요
아래 도구에서 쓰는 그래픽카드를 고르면 각 모델의 추정 사용량을 가중치와 KV 캐시로 나눠 보여줍니다.
VRAM 기준 로컬 LLM 추천 도구를 불러오는 중입니다.
표의 값은 8192토큰 기준 추정치입니다. 컨텍스트를 길게 잡으면 KV 캐시가 그만큼 늘어나고, KV 캐시를 양자화하거나 일부 층을 CPU로 내리면 줄어듭니다. 경계에 걸친 조합이라면 한 단계 낮은 양자화부터 시작하는 편이 안전합니다.