데모는 잘 된다. 프롬프트를 조금 바꾸거나 모델을 업그레이드하면 갑자기 달라진다. 운영 환경에서 엣지 케이스가 터지고, 무엇이 잘못됐는지 재현이 되지 않는다. AI 에이전트를 실제 서비스에 연결한 팀이라면 한 번쯤 겪는 상황이다. 원인 대부분은 평가 체계의 부재다. 이 글은 AI 에이전트 평가(Evals)를 처음 구축하는 실무자를 위해, 무엇을 측정해야 하는지부터 파이프라인 연동까지 순서대로 설명한다.Evals란 무엇인가Evals(Evaluations, 평가)는 모델 또는 에이전트의 출력 품질을 재현 가능하게 측정하는 테스트 셋과 채점 방법의 총칭이다. 소프트웨어의 단위 테스트와 유사하지만, 정답이 하나로 확정되지 않는 자연어 출력을 다룬다는 점이 다르다.Evals의 구성 요소는 세 가지다. 첫째, 입력..
