메모리허브

거대 모델 경쟁의 한쪽에서, 손안의 기기에서 직접 돌아가는 작은 모델이 빠르게 자리를 넓히고 있습니다.스마트폰과 노트북에 AI 기능이 기본으로 들어오기 시작하면서 "작은 모델"이라는 말이 부쩍 많이 들립니다. 애플은 약 30억 개 규모의 모델을 아이폰 안에서 직접 돌리고, 마이크로소프트는 코파일럿+ PC의 전용 칩에서 소형 모델을 구동합니다. 클라우드에 접속하지 않고도 요약, 다시 쓰기, 간단한 질의응답이 되는 시대가 온 것입니다.이 글은 "소형 언어모델(SLM)이 정확히 무엇이고, 왜 지금 뜨는가"를 궁금해하는 분을 위한 입문 정리입니다. SLM의 정의부터 온디바이스 추론이 중요한 이유, 양자화·증류 같은 핵심 기법, 그리고 클라우드 LLM과의 역할 분담과 한계까지 차례로 다룹니다. 어려운 용어는 처음..

에이전트 워크플로우에서 반복되는 좁은 작업은 거대 LLM 대신 소형 언어 모델로 처리하는 편이 더 싸고, 빠르고, 다루기 쉽습니다.더 큰 모델이 항상 정답일까요? 챗봇 시대에는 그렇게 보였습니다. 하지만 에이전트 AI에서는 같은 작업이 하루에도 수천 번 반복됩니다. 이때 거대 모델은 비용과 지연이라는 청구서를 매번 똑같이 내밉니다. NVIDIA 연구진은 2025년 논문에서 정반대 결론을 내놓았습니다. 좁고 반복적인 에이전트 작업에는 소형 모델이 충분히 강력하고, 더 적합하며, 더 경제적이라는 것입니다.배경: 에이전트 시대에 왜 모델 크기를 다시 보나에이전트(agent)란 사람이 매번 지시하지 않아도 도구를 호출하고 단계를 스스로 이어가며 목표를 수행하는 AI 시스템을 말합니다. 챗봇과 결정적으로 다른 점..