"RTX 4090 한 장이면 70B 모델을 돌릴 수 있나요?" 답은 아니오입니다. 70B 모델을 Q4_K_M 양자화로 완전 GPU 추론하려면 약 42GB의 VRAM이 필요합니다. RTX 4090의 VRAM은 24GB입니다. 2025년 1월 출시된 RTX 5090조차 32GB로 70B 전체를 담을 수 없습니다. 로컬 LLM 하드웨어를 선택할 때 가장 먼저 알아야 할 것은 GPU 이름이 아니라 메모리 용량 계산입니다.이 계산만 정확히 하면 불필요한 하드웨어 지출을 막을 수 있습니다. 반대로 계산을 모르면 비싼 GPU를 사고도 모델이 CPU로 폴백(fallback, 대체 실행)되며 느려지는 상황을 겪습니다. 모델 크기, 양자화 비트, 컨텍스트 크기라는 세 변수가 메모리를 결정합니다. 하나씩 분해하겠습니다.VR..
