메모리허브

서버에 추론 API를 두지 않고도 사용자의 브라우저 안에서 감성 분석, 텍스트 생성, 음성 인식을 직접 돌릴 수 있습니다. 모델 가중치는 사용자 기기에 다운로드되고 추론은 그 기기에서 끝납니다. 입력 데이터가 외부로 나가지 않으므로 개인정보 처리와 서버 비용 양쪽에서 이점이 큽니다. transformers.js는 이 시나리오를 자바스크립트만으로 구현하게 해 주는 Hugging Face의 공식 라이브러리입니다.transformers.js는 ONNX Runtime Web을 추론 엔진으로 사용합니다. ONNX(Open Neural Network Exchange, 신경망 모델 교환 포맷)는 프레임워크 독립적인 모델 표현 방식이며, ONNX Runtime Web은 이를 브라우저에서 WASM(WebAssembly,..

사용자가 입력한 텍스트를 서버로 보내지 않고, 탭 안에서 그대로 LLM(Large Language Model, 대규모 언어 모델)을 돌릴 수 있다면 어떨까요. API 키도, 추론 서버도, 토큰당 과금도 없습니다. 모델 가중치를 한 번 내려받으면 그 뒤 추론은 사용자 기기에서 일어납니다. 2026년 현재 이 방식은 데모 수준을 넘어섰습니다.WebGPU(웹지피유, 브라우저용 GPU 가속 API)는 2025년 11월 25일 Chrome, Firefox, Edge, Safari 전 플랫폼에서 기본 활성화되었습니다. caniuse 기준 전 세계 브라우저 커버리지는 약 82.7%에 도달했습니다. 같은 시기 WebAssembly(웹어셈블리, 줄여서 WASM) 추론 엔진도 Firefox의 Link Preview 같은 ..