[서울=뉴시스]송연주 기자 = 세금 환급 플랫폼 삼쩜삼을 운영하는 자비스앤빌런즈는 사내에 흩어져 개별 운영되던 AI 에이전트를 통합 관리하는 플랫폼 '카터'를 구축해 일원화했다고 27일 밝혔다.

카터를 통해 AI 운영 비용을 최대 45% 절감했다고 했다.

카터는 사내 AI 에이전트 개발과 운영에 필요한 비용을 관리·모니터링하고 보안과 개인정보 보호 기능을 공통 제공하는 AI 통합 플랫폼이다. 에이전트별로 기능을 개별 구축할 필요 없이 검증된 공통 라이브러리와 인프라를 활용한다.

카터 구축 후 보조 호출은 경량 모델로 분리하는 '모델 티어링'을 통해 전체 호출의 약 50%를 경량 모델로 처리해서 LLM(거대언어모델) 호출비용을 약 45% 낮췄다.

반복되는 프롬프트를 저장해뒀다 재사용하는 '프롬프트 캐싱'을 플랫폼 표준으로 적용해, 캐시가 재사용되는 구간에서 호출비용을 약 43% 절감했다.

불필요한 검색 로직을 단축하고 클라우드 간 자동 장애 전환 시스템으로 서비스 다운타임도 줄였다.

자비스앤빌런즈 관계자는 "구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장하겠다"고 말했다.


◎공감언론 뉴시스 songyj@newsis.com