"AI 편향, 사용자 의사결정 은밀히 유도" 앤트로픽 연구

[서울=뉴시스]신정원 기자 = 인공지능(AI) 챗봇이 사용자에게 최종 결정을 직접 권고하지 않더라도, 판단 과정에 개입해 은밀하게 의사결정을 유도할 수 있다는 연구 결과가 나왔다. AI가 제시하는 정보와 논거를 선별하는 방식만으로도 사용자의 사고와 결론에 상당한 영향을 미칠 수 있다는 것이다.

10일(현지 시간) 워싱턴포스트(WP)에 따르면 AI 기업 앤트로픽 연구진은 최근 발표한 논문에서 AI 에이전트의 편향이 전문가의 판단에 미치는 영향을 분석했다. 동료 심사를 거치지 않은 이 연구에는 인과관계 분석 경험이 있는 전문가 50명이 참여했다.

연구진은 가상의 농업 협동조합 사업을 분석하도록 참가자들에게 AI 코딩 에이전트 '클로드 코드'를 제공했다. 참가자들은 사업의 생산성 개선 효과를 평가하고 사업을 지속하거나 확대 또는 중단할지를 결정해야 했다. 이 과정에서 참가자들은 알지 못했지만, AI 에이전트에는 각 판단 단계에서 특정 선택지를 선호하도록 편향이 설정돼 있었다.

그 결과 참가자들은 최종 권고안을 내리기 전 네 차례의 판단에서 AI가 은밀하게 선호한 선택지를 86%의 비율로 골랐다. AI의 영향력이 없었을 경우 예상되는 선택 비율은 50%였다.

연구진은 참가자가 사용한 AI 에잉전트의 편향 방향만으로 최종 판단을 82%의 정확도로 예측할 수 있었다. 반면 마지막 정책 결정 단계에서 AI가 직접 제시한 권고의 영향은 상대적으로 작았다. AI의 편향은 최종 결론보다 그에 이르는 사고 과정에 더 큰 영향을 미친 셈이다.

참가자 77%는 자신의 선택을 설명하면서 AI가 제시한 논거를 최소 한 가지 이상 반복했지만, AI의 영향을 받았다고 인정한 비율은 15%에 그쳤다. AI의 편향을 네 차례 모두 수용한 참가자들도 최종 권고에 대한 확신은 다른 참가자들과 비슷했다. AI의 판단에 영향을 미쳤다는 사실을 인식하지 못한 채 그 논거를 자신의 생각으로 받아들였다는 의미다.

연구진은 이를 'AI에 의해 유도된 인간의 판단 주도권 약화(AI-induced disempowerment)' 현상과 맞닿아 있다고 설명했다. 이는 AI가 인간의 판단과 의사결정을 보조하는 수준을 넘어 사고 과정에 개입하면서, 인간이 스스로 생각하고 선택하는 능력과 주도권을 약화하는 현상을 뜻한다.

연구진은 과학과 정책 분야의 의사결정 상당 부분이 이처럼 정답이 명확하지 않은 판단에 의존한다는 점에서 연구 결과가 중요하다고 강조했다. 소수의 AI 기업이 개발한 모델에 전문가들이 지나치게 의존하면 독립적인 판단과 새로운 통찰이 줄어들고, 인간의 사고가 AI 학습 데이터의 통계적 경향에 수렴할 수 있다는 우려도 제기된다.

다만 AI 활용 자체를 피해야 한다는 의미는 아니다. 연구 참가자들은 AI를 사용하지 않은 이들보다 약 30% 적은 시간을 들였고, 심각한 오류도 10분의 1 수준으로 줄였다. 전문가들은 AI에 질문하기 전에 먼저 자신의 판단과 초안을 마련하고, 여러 AI 모델에 서로 다른 관점에서 검토하도록 요청하는 등 활용 방식을 조절해야 한다고 조언했다.


◎공감언론 뉴시스 [email protected]