메타, 최신 LLM '라마 3.1' 출시…파라미터 최대 4050억개
라마 3.1 적용한 챗봇서 실제 사진 같은 이미지 생성 제공
엔비디아 H100 GPU 1만6000개 사용, 오픈소스 특징 강조
![[AP/뉴시스] 메타의 미 캘리포니아 멘로파크 본부 앞의 로고](https://img1.newsis.com/2024/07/01/NISI20240701_0001230564_web.jpg?rnd=20240701130413)
[AP/뉴시스] 메타의 미 캘리포니아 멘로파크 본부 앞의 로고
[서울=뉴시스]윤정민 기자 = 메타가 최신 인공지능(AI) 오픈소스 거대언어모델(LLM) '라마' 시리즈 새 버전이 나왔다. 메타는 이 버전 성능이 오픈AI LLM 'GPT-4o', 앤트로픽 LLM '클로드 3.5 소네트'보다 뛰어나다고 강조했다.
메타는 23일(현지시각) '라마 3.1'을 출시한다고 밝혔다. 지난 4월 '라마 3'을 공개한 이후 약 3개월 만이다.
라마 3.1은 전작 대비 8개 언어 지원이 더 추가됐으며 컨텍스트 길이도 12만8000개 토큰으로 늘었다.
파라미터(매개변수) 수에 따라 3가지 버전으로 나뉘는데 대형 버전인 라마 3.1 405B 파라미터 수는 4050억개다. GPT-3(1750억개)보다 2배 더 많지만 GPT-4(1조개)보다는 적다.
중형 버전인 70B는 700억개, 소형 버전인 8B의 파라미터는 80억개다. 메타 측은 소형 버전도 장문 텍스트 요약, 다국어 대화 에이전트, 코딩 어시스턴트 등에도 지원할 수 있다고 설명했다.
메타는 라마 3.1이 AI 모델 평가인 대규모 다중작업 언어 이해(MMLU) 평가에서 GPT-4o, 클로드 3.5 소네트 등보다 비슷하거나 높은 점수를 기록했다고 강조했다. 메타에 따르면 라마 3.1 405B 버전의 MMLU 점수는 88.6점으로 GPT-4(85.4점), 클로드 3.5 소네트(88.3점)보다 높았고 GPT-4o(88.7점)와는 0.1점 차이에 불과했다.
라마 3.1은 챗봇 '메타 AI'에 접목되는데 이번 최신 버전이 출시됨에 따라 메타 AI 이용자가 사람 외모 등을 입력하면 실제 사진처럼 보이는 이미지를 생성할 수 있다.
메타는 라마 3.1 특징으로 엔비디아 그래픽처리장치(GPU) H100 1만6000개로 AI 모델을 훈련했다는 점, GPT-4o 운영 비용의 절반에 불과하다는 점을 강조했다.
또 누구나 무료로 사용할 수 있는 오픈소스라는 점도 들었다. 메타는 오픈AI, 구글 등과 달리 자사 AI 모델을 공개해 왔다. 메타 창립자인 마크 저커버그 최고경영자(CEO)는 "오픈소스는 전 세계 더 많은 사람들이 AI 혜택과 기회에 접근할 수 있도록 하고 사회 전반에 걸쳐 보다 균등하고 안전하게 배포될 수 있도록 한다"며 오픈소스 AI 모델이 향후 GPT-4 등과 같은 독점 AI 모델을 추월할 수 있다고 말했다.
이어 저커버그 CEO는 "올해 라마 3은 가장 진보된 모델과 경쟁하고 있으며 일부 분야에서 선도하고 있다"며 "내년부터 (나올) 라마 모델은 업계에서 가장 진보된 모델이 될 것으로 예상한다"고 말했다.
한편 AI 모델 경쟁사인 오픈AI는 지난 18일 GPT-4o 저가형 버전 'GPT-4o 미니'를 출시했다. 오픈AI는 이 모델에 대해 "개발자가 강력한 AI 애플리케이션을 보다 효율적이고 저렴하게 설계·확장할 수 있는 길을 열어준다"고 소개했다.
이밖에 앤트로픽이 지난달 LLM 클로드 3.5 소네트를 공개했고 최근 자사 AI 기술을 활용한 스타트업을 지원하는 1억 달러(약 1400억원) 규모의 펀드를 출시하는 등 AI 분야 시장 점유 확대를 위한 경쟁이 치열해지고 있다.
◎공감언론 뉴시스 [email protected]
메타는 23일(현지시각) '라마 3.1'을 출시한다고 밝혔다. 지난 4월 '라마 3'을 공개한 이후 약 3개월 만이다.
라마 3.1은 전작 대비 8개 언어 지원이 더 추가됐으며 컨텍스트 길이도 12만8000개 토큰으로 늘었다.
파라미터(매개변수) 수에 따라 3가지 버전으로 나뉘는데 대형 버전인 라마 3.1 405B 파라미터 수는 4050억개다. GPT-3(1750억개)보다 2배 더 많지만 GPT-4(1조개)보다는 적다.
중형 버전인 70B는 700억개, 소형 버전인 8B의 파라미터는 80억개다. 메타 측은 소형 버전도 장문 텍스트 요약, 다국어 대화 에이전트, 코딩 어시스턴트 등에도 지원할 수 있다고 설명했다.
메타는 라마 3.1이 AI 모델 평가인 대규모 다중작업 언어 이해(MMLU) 평가에서 GPT-4o, 클로드 3.5 소네트 등보다 비슷하거나 높은 점수를 기록했다고 강조했다. 메타에 따르면 라마 3.1 405B 버전의 MMLU 점수는 88.6점으로 GPT-4(85.4점), 클로드 3.5 소네트(88.3점)보다 높았고 GPT-4o(88.7점)와는 0.1점 차이에 불과했다.
라마 3.1은 챗봇 '메타 AI'에 접목되는데 이번 최신 버전이 출시됨에 따라 메타 AI 이용자가 사람 외모 등을 입력하면 실제 사진처럼 보이는 이미지를 생성할 수 있다.
메타는 라마 3.1 특징으로 엔비디아 그래픽처리장치(GPU) H100 1만6000개로 AI 모델을 훈련했다는 점, GPT-4o 운영 비용의 절반에 불과하다는 점을 강조했다.
또 누구나 무료로 사용할 수 있는 오픈소스라는 점도 들었다. 메타는 오픈AI, 구글 등과 달리 자사 AI 모델을 공개해 왔다. 메타 창립자인 마크 저커버그 최고경영자(CEO)는 "오픈소스는 전 세계 더 많은 사람들이 AI 혜택과 기회에 접근할 수 있도록 하고 사회 전반에 걸쳐 보다 균등하고 안전하게 배포될 수 있도록 한다"며 오픈소스 AI 모델이 향후 GPT-4 등과 같은 독점 AI 모델을 추월할 수 있다고 말했다.
이어 저커버그 CEO는 "올해 라마 3은 가장 진보된 모델과 경쟁하고 있으며 일부 분야에서 선도하고 있다"며 "내년부터 (나올) 라마 모델은 업계에서 가장 진보된 모델이 될 것으로 예상한다"고 말했다.
한편 AI 모델 경쟁사인 오픈AI는 지난 18일 GPT-4o 저가형 버전 'GPT-4o 미니'를 출시했다. 오픈AI는 이 모델에 대해 "개발자가 강력한 AI 애플리케이션을 보다 효율적이고 저렴하게 설계·확장할 수 있는 길을 열어준다"고 소개했다.
이밖에 앤트로픽이 지난달 LLM 클로드 3.5 소네트를 공개했고 최근 자사 AI 기술을 활용한 스타트업을 지원하는 1억 달러(약 1400억원) 규모의 펀드를 출시하는 등 AI 분야 시장 점유 확대를 위한 경쟁이 치열해지고 있다.
◎공감언론 뉴시스 [email protected]
