카카오 AI 에이전트, 외부 안전성 평가 추진…AI안전연구소와 '맞손'

[서울=뉴시스]윤정민 기자 = 카카오가 자체 인공지능(AI) 모델에 이어 AI 에이전트까지 안전성 평가 대상을 넓힌다. 배포 전후의 위험을 점검하고 평가 도구도 AI안전연구소와 공동 개발할 계획이다.

카카오는 지난 28일 AI안전연구소와 AI 안전성 공동 평가·평가 체계 구축을 위한 업무협약을 체결했다고 29일 밝혔다.

양사는 우선 언어모델을 배포하기 전과 후에 평가한다. 이후 이미지·음성 등 여러 형태의 정보를 다루는 멀티모달 언어모델과 AI 에이전트로 평가 범위를 확대하고 모델과 에이전트의 안전성을 검증할 도구를 함께 개발할 예정이다.

카카오는 평가 대상인 자사 모델과 에이전트, 평가에 필요한 인프라를 제공한다. AI안전연구소는 평가를 수행하고 방법을 개선한다. 평가 결과의 공개 범위는 양측이 협의하기로 했다.

이번 협약은 지난해 진행한 공동 평가의 후속이다. 당시 양측은 카카오의 자체 언어모델 '카나나-1.5-9.8B'를 평가했다. 카카오는 비슷한 규모의 해외 모델과 비교해 높은 수준의 안전성을 확인했다고 설명했다.

한편 AI안전연구소는 카카오 외의 모델도 평가해 왔다. 과학기술정보통신부는 지난 5월 연구소가 다양한 AI 모델의 안전성 평가를 수행했다고 밝힌 바 있다.

김세웅 카카오 AI 시너지 성과리더는 "앞으로도 기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 지속적으로 노력하겠다"고 말했다.

김명주 AI안전연구소장은 "카카오와의 협력을 통해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다"고 밝혔다.


◎공감언론 뉴시스 [email protected]