메타, 최신 LLM '라마 3.1' 출시…파라미터 최대 4050억개
라마 3.1 적용한 챗봇서 실제 사진 같은 이미지 생성 제공
엔비디아 H100 GPU 1만6000개 사용, 오픈소스 특징 강조
메타는 23일(현지시각) '라마 3.1'을 출시한다고 밝혔다. 지난 4월 '라마 3'을 공개한 이후 약 3개월 만이다.
라마 3.1은 전작 대비 8개 언어 지원이 더 추가됐으며 컨텍스트 길이도 12만8000개 토큰으로 늘었다.
파라미터(매개변수) 수에 따라 3가지 버전으로 나뉘는데 대형 버전인 라마 3.1 405B 파라미터 수는 4050억개다. GPT-3(1750억개)보다 2배 더 많지만 GPT-4(1조개)보다는 적다.
중형 버전인 70B는 700억개, 소형 버전인 8B의 파라미터는 80억개다. 메타 측은 소형 버전도 장문 텍스트 요약, 다국어 대화 에이전트, 코딩 어시스턴트 등에도 지원할 수 있다고 설명했다.
메타는 라마 3.1이 AI 모델 평가인 대규모 다중작업 언어 이해(MMLU) 평가에서 GPT-4o, 클로드 3.5 소네트 등보다 비슷하거나 높은 점수를 기록했다고 강조했다. 메타에 따르면 라마 3.1 405B 버전의 MMLU 점수는 88.6점으로 GPT-4(85.4점), 클로드 3.5 소네트(88.3점)보다 높았고 GPT-4o(88.7점)와는 0.1점 차이에 불과했다.
라마 3.1은 챗봇 '메타 AI'에 접목되는데 이번 최신 버전이 출시됨에 따라 메타 AI 이용자가 사람 외모 등을 입력하면 실제 사진처럼 보이는 이미지를 생성할 수 있다.
메타는 라마 3.1 특징으로 엔비디아 그래픽처리장치(GPU) H100 1만6000개로 AI 모델을 훈련했다는 점, GPT-4o 운영 비용의 절반에 불과하다는 점을 강조했다.
또 누구나 무료로 사용할 수 있는 오픈소스라는 점도 들었다. 메타는 오픈AI, 구글 등과 달리 자사 AI 모델을 공개해 왔다. 메타 창립자인 마크 저커버그 최고경영자(CEO)는 "오픈소스는 전 세계 더 많은 사람들이 AI 혜택과 기회에 접근할 수 있도록 하고 사회 전반에 걸쳐 보다 균등하고 안전하게 배포될 수 있도록 한다"며 오픈소스 AI 모델이 향후 GPT-4 등과 같은 독점 AI 모델을 추월할 수 있다고 말했다.
이어 저커버그 CEO는 "올해 라마 3은 가장 진보된 모델과 경쟁하고 있으며 일부 분야에서 선도하고 있다"며 "내년부터 (나올) 라마 모델은 업계에서 가장 진보된 모델이 될 것으로 예상한다"고 말했다.
한편 AI 모델 경쟁사인 오픈AI는 지난 18일 GPT-4o 저가형 버전 'GPT-4o 미니'를 출시했다. 오픈AI는 이 모델에 대해 "개발자가 강력한 AI 애플리케이션을 보다 효율적이고 저렴하게 설계·확장할 수 있는 길을 열어준다"고 소개했다.
이밖에 앤트로픽이 지난달 LLM 클로드 3.5 소네트를 공개했고 최근 자사 AI 기술을 활용한 스타트업을 지원하는 1억 달러(약 1400억원) 규모의 펀드를 출시하는 등 AI 분야 시장 점유 확대를 위한 경쟁이 치열해지고 있다.
◎공감언론 뉴시스 alpaca@newsis.com