스마트폰을 비행기 모드로 바꿔도 LLM이 답을 내놓는다면, 입력 데이터는 단 한 바이트도 디바이스를 떠나지 않습니다. 온디바이스 LLM은 이 시나리오를 현실로 만듭니다. 모델 가중치를 기기 내부에 저장하고, 모든 토큰 생성을 휴대폰이나 엣지 기기의 CPU·GPU에서 직접 처리합니다.관건은 메모리와 배터리입니다. Llama 3.2 3B를 FP16(16비트 부동소수점)으로 그대로 올리면 약 6GB의 저장 공간과 RAM이 필요합니다. 일반 안드로이드 기기에서는 부담스러운 크기입니다. 이번 글은 약 1~3B 규모 소형 모델을 MLC LLM과 llama.cpp로 모바일·엣지에 올리는 방법을 단계별로 다룹니다. 코드와 수치는 공식 문서와 GitHub 저장소에서 확인한 내용만 사용했습니다.왜 지금 온디바이스 LLM인..
