메모리허브

사용자가 입력한 텍스트를 외부 API로 보내지 않고, 브라우저 탭 안에서 8B 규모 모델 추론을 끝낼 수 있다면 어떨까요. WebLLM은 이 시나리오를 별도 서버 없이 구현합니다. Chrome 113 이상에서 WebGPU를 통해 모델 가중치를 GPU에 올리고, 모든 토큰 생성을 클라이언트 디바이스에서 처리합니다.WebLLM은 MLC(Machine Learning Compilation) 프로젝트가 만든 브라우저용 LLM 추론 엔진입니다. 이번 글은 패키지 설치부터 모델 로딩, 스트리밍 응답, WebWorker 분리, CDN 직접 임포트까지 단계별로 다룹니다. 코드와 수치는 공식 문서와 GitHub 저장소에서 확인한 내용만 사용했습니다.WebLLM이 해결하는 문제와 동작 구조서버 기반 LLM API는 호출마..

사용자가 입력한 텍스트를 서버로 보내지 않고, 탭 안에서 그대로 LLM(Large Language Model, 대규모 언어 모델)을 돌릴 수 있다면 어떨까요. API 키도, 추론 서버도, 토큰당 과금도 없습니다. 모델 가중치를 한 번 내려받으면 그 뒤 추론은 사용자 기기에서 일어납니다. 2026년 현재 이 방식은 데모 수준을 넘어섰습니다.WebGPU(웹지피유, 브라우저용 GPU 가속 API)는 2025년 11월 25일 Chrome, Firefox, Edge, Safari 전 플랫폼에서 기본 활성화되었습니다. caniuse 기준 전 세계 브라우저 커버리지는 약 82.7%에 도달했습니다. 같은 시기 WebAssembly(웹어셈블리, 줄여서 WASM) 추론 엔진도 Firefox의 Link Preview 같은 ..