'국대 AI' 도전 나선 트릴리온랩스, 국내 최초 디퓨전 AI 모델 개발

[서울=뉴시스]윤정민 기자 = 트릴리온랩스가 정부 지원 사업으로 국내 최초로 확산 기반 트랜스포머 아키텍처를 적용한 거대언어모델(LLM) 개발에 성공했다. 일부 성능 지표에서 엔비디아 동종 모델을 제쳤다.

트릴리온랩스는 정보통신산업진흥원(NIPA) 고성능 컴퓨팅 지원사업을 통해 '트리다(Trida)-7B'를 개발했다고 29일 밝혔다.

확산(디퓨전) 기반 트랜스포머 아키텍처는 데이터 노이즈를 단계적으로 제거해 나가는 원리를 문장 생성에 적용한 기술이다. 단어를 순차적으로 나열하는 기존 방식(자기회귀) 한계를 극복하고 문장 전체를 한꺼번에 계산할 수 있다. 긴 문맥 내에서의 일관성과 수리적 추론 능력이 비약적으로 향상된 구조로 평가받는다.

트릴리온랩스는 기존 자기회귀 모델 구조적 한계를 넘어 구글 '제미나이' 등 글로벌 빅테크도 이제 막 시도하기 시작한 차세대 디퓨전 모델 아키텍처를 국내 스타트업이 독자적으로 구현해냈다는 점에서 큰 의미를 갖는다고 설명했다.

트릴리온랩스는 단어를 순차적으로 생성하는 방식 대신 문장 전체를 병렬로 생성하는 확산 기술을 트랜스포머 아키텍처에 이식해 추론 속도와 효율성을 개선했다고 전했다.

개발 과정에서 NIPA에 엔비디아 H200 80장 규모의 고성능 연산 자원을 지원받았다. 트릴리온랩스는 스타트업이 직면한 애로사항인 컴퓨팅 파워 부족을 해결했다며 기술적 난제였던 블록 디퓨전 효율 학습 전략과 독자적 전이 학습 기법을 단기간에 완성할 수 있었다고 말했다. 정부의 전략적 인프라 지원이 스타트업의 파괴적 혁신을 이끌어냈다는 설명이다.

트리다-7B는 복잡한 수리적 사고를 요하는 'ko_gsm8k'(수학)에서 61.26점을 기록하며 엔비디아 'Fast dLLM'(56.94점) 등 기존 글로벌 모델들을 유의미한 차이로 앞서며 1위를 차지했다.

사용자의 복잡한 명령어를 얼마나 정확하게 수행하는지 측정하는 'koifeval'(한국어 지시 이행 능력)에서도 53.42점을 획득하여 경쟁 모델 대비 성능 우위를 증명했다. 한국어 지식 이해 능력을 측정하는 'kmmlu'(한국어 상식)에서는 46.35점으로 최고점을 받았다.

트릴리온랩스는 이번 과제의 결과물인 모델 가중치와 추론 코드를 전면 공개해 국내 AI 생태계의 동반 성장을 견인할 계획이다.

신재민 트릴리온랩스 대표는 "스타트업이 감당하기 힘든 막대한 연산 자원 확보 문제를 NIPA 지원을 통해 해결하면서 연구 개발에만 매진할 수 있었다"며 "확산 기반 트랜스포머라는 차세대 아키텍처 선점을 통해 대한민국이 글로벌 AI 기술 경쟁에서 주도권을 확보하는 데 기여하겠다"고 밝혔다.

한편 트릴리온랩스는 설립 1년 만에 Tri-7B, 21B, 70B 모델을 출시하며 한국 기업 최초 프론티어급 모델 구축, 전 세계 최초 학습 체크포인트 공개라는 기록을 세운 바 있다.

이러한 독보적 기술력을 인정 받아 정부의 국가전략기술 보유 기업으로 선정됐다. 현재 과학기술정보통신부 주관 'AI 특화 파운데이션 모델 프로젝트'를 통해 세계 최초 의과학 특화 파운데이션 모델을 개발하고 있다. 최근에는 과기정통부 주관 '독자 AI 파운데이션 모델' 프로젝트 정예팀 재공모 도전 의사를 밝혔다.


◎공감언론 뉴시스 [email protected]