메모리허브

이미 OpenAI SDK로 동작하는 앱이 있습니다. 토큰 비용이 매달 누적되고, 사내 데이터를 외부로 보내는 것도 부담입니다. 코드를 통째로 다시 쓰지 않고 로컬 모델로 전환할 수 있다면 어떨까요. 핵심은 한 가지입니다. OpenAI SDK 코드에서 base_url과 api_key 두 줄만 바꾸면 로컬 LLM API로 갈아탈 수 있습니다.이 전환이 가능한 이유는 Ollama, llama.cpp의 llama-server, llama-cpp-python 세 도구가 모두 OpenAI 호환 엔드포인트를 노출하기 때문입니다. 이 글은 세 도구의 서버를 띄우고, 기존 OpenAI 클라이언트를 그대로 연결하는 과정을 단계별로 다룹니다. 모든 명령어와 코드는 공식 문서와 GitHub 저장소에서 검증한 내용입니다.왜 O..

스마트폰을 비행기 모드로 바꿔도 LLM이 답을 내놓는다면, 입력 데이터는 단 한 바이트도 디바이스를 떠나지 않습니다. 온디바이스 LLM은 이 시나리오를 현실로 만듭니다. 모델 가중치를 기기 내부에 저장하고, 모든 토큰 생성을 휴대폰이나 엣지 기기의 CPU·GPU에서 직접 처리합니다.관건은 메모리와 배터리입니다. Llama 3.2 3B를 FP16(16비트 부동소수점)으로 그대로 올리면 약 6GB의 저장 공간과 RAM이 필요합니다. 일반 안드로이드 기기에서는 부담스러운 크기입니다. 이번 글은 약 1~3B 규모 소형 모델을 MLC LLM과 llama.cpp로 모바일·엣지에 올리는 방법을 단계별로 다룹니다. 코드와 수치는 공식 문서와 GitHub 저장소에서 확인한 내용만 사용했습니다.왜 지금 온디바이스 LLM인..