'AI 캐즘'에 갇힌 기업들이 95%…수백억 쏟아붓고 성과는 '제로'?

기사등록 2026/04/04 12:00:00 최종수정 2026/04/04 12:02:31

서울대 AI 서밋·ICON 2026서 국내외 경영진 한목소리

데이터 정비·거버넌스·보안…AI 캐즘 3대 원인

"캐즘 넘은 5%와의 격차, 갈수록 벌어진다"

[서울=뉴시스]오동현 기자 = 인공지능(AI) 기술이 빠르게 진화하고 있지만, 정작 이를 도입한 기업 대부분이 실질적 성과를 내지 못하는 'AI 캐즘(Chasm)' 현상이 업계의 화두로 떠오르고 있다.

최근 잇따른 AI 업계 행사에서 국내외 기업 경영진들은 "기술 자체보다 이를 운영하는 구조와 거버넌스가 성패를 가른다"고 한목소리를 냈다. 

실제로 매사추세츠공과대학(MIT)가 지난해 7월 발표한 'The GenAI Divide' 보고서에 따르면, 미국 기업들은 생성형 AI에 350억~400억 달러를 투자했지만 파일럿 프로젝트의 95%가 측정 가능한 손익 개선을 만들지 못했다고 밝혔다.

보스턴컨설팅그룹(BCG)도 지난해 10월 전 세계 1250개 기업을 조사한 결과 AI로 대규모 가치를 만들어내는 기업은 5%에 그쳤고, 60%는 아무런 실질적 성과를 내지 못하고 있다고 진단했다.

◆"좋은 모델보다 잘 돌아가는 구조가 중요하다"

염동훈 메가존클라우드 대표는 지난 2일 서울 강남구에서 열린 파트너 컨퍼런스 'ICON 2026'에서 "AI로 성공적인 비즈니스 가치를 창출하는 기업은 7%뿐이고, 93%는 AI 캐즘을 넘지 못하고 있다"며 "신기술 도입의 관건은 기술 자체가 아니라 운영"이라고 강조했다.

메가존클라우드는 이를 위해 ▲추적성 ▲규제 관리 ▲접근 제어 ▲표준화 ▲운영 도구화 등 5가지 기준으로 구성된 'AI 신뢰 프레임워크(Enterprise TRUST Layer)'를 제시했다.

같은 날 서울대학교 'SNU AI 서밋 2026'에서도 같은 메시지가 나왔다. 유현경 한국마이크로소프트 공공사업 부문장은 "한국에서 AI를 이야기할 때 대부분 어떤 모델이 좋은지, 어떤 도구가 나은지를 따지지만, 정작 중요한 것은 그 기술로 어떤 가치를 만들어내느냐"라고 꼬집었다.

◆95%가 넘지 못하는 벽, 원인은 세 가지

두 행사에서 공통적으로 지목된 AI 캐즘의 원인은 크게 세 가지다.

첫째는 데이터 정비 부족이다.

이준희 삼성SDS 대표는 서울대 AI 서밋 기조연설에서 같은 제품인데도 시스템마다 이름이 다르게 입력돼 AI가 제대로 집계하지 못하는 사례를 들었다. 이 대표는 "간단해 보이지만, 실제로 이런 문제 때문에 AI가 잘 작동하지 않는다"며 "기업이 수십 년간 쌓은 데이터가 AI가 쓸 수 있는 상태인지 여부가 성패를 가른다"고 말했다.

둘째는 AI를 통제·관리하는 체계(거버넌스)의 부재다.

메가존클라우드가 2일 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 파트너 컨퍼런스 ‘ICON 2026’에서 염동훈 대표가 기조연설을 통해 “오늘날 에이전틱 시스템이 ‘모든 직원에게 AI 컴퓨터를’이라는 새로운 비전의 길을 열어주고 있다고 강조하고 있다. (사진=메가존클라우드 제공) *재판매 및 DB 금지
이 대표는 "만 명 규모의 기업에서 직원 한 명이 에이전트 두 개씩만 만들어도 2만 개의 AI 에이전트가 돌아간다"며 "이를 관리하는 시스템 없이는 2~3년 후 조직 전체가 혼란에 빠질 수 있다"고 경고했다.

메가존클라우드의 공성배 최고AI책임자(CAIO)도 같은 날 'ICON 2026'에서 "에이전틱 AI를 만들고 실행하고 통제하려면 이를 한 곳에서 통합 관리하는 체계가 필수"라며 같은 진단을 내놨다.

셋째는 보안의 기본기 부족이다.

 유현경 부문장은 "계정 보안, 데이터 보안 같은 기본 장치는 재미없고 어렵고 돈도 들지만, 이것 없이는 AI의 다음 단계로 갈 수 없다"고 제언했다. 딥스 드 실바 오픈AI 아시아태평양 교육 총괄도 "AI 에이전트에 데이터를 처음부터 끝까지 맡겨서는 안 된다"며 보안 거버넌스를 강조했다.

◆"캐즘 넘은 5%와의 격차, 갈수록 벌어진다"

AI 캐즘을 넘는 열쇠는 결국 기술력이 아니라 운영 체계와 거버넌스에 달려 있다는 데 공감대가 모였다.

유현경 부문장은 "마이크로소프트 내부에서도 영업 인력 6만여 명의 AI 활용률을 7.9%에서 75%로 끌어올리는 데 거의 2년이 걸렸다"며 "어떤 조직도 저절로 되는 곳은 없다"고 말했다.

문제는 캐즘을 넘은 소수와 넘지 못한 다수의 격차가 갈수록 벌어지고 있다는 점이다.

유현경 부문장은 마이크로소프트가 4만 명·4400개 기업을 대상으로 한 자체 조사를 인용해, AI를 앞서 도입한 '프론티어 기업'의 투자 대비 수익률(ROI)이 2.84인 반면 뒤처진 기업은 0.84에 머물러 격차가 3배 이상이라고 밝혔다.

BCG 보고서 역시 AI 선도 기업들은 공통적으로 최고경영자(CEO) 수준의 강력한 후원, 업무 방식의 근본적 재설계, 대규모 인력 역량 강화, 엄격한 거버넌스 체계를 갖추고 있다고 분석했다.


◎공감언론 뉴시스 odong85@newsis.com