메타, 라마3 소형모델부터 내놓는다...1400억 파라미터 추정

라마2 출시 후 1년만에 업데이트

메타의 라마

[2024년4월9일] 메타 플랫폼은 오픈소스 기반 대규모언어모델(LLM)인 라마의 다음 버전을 내주에 공개한다. 라마3의 소형 버전 2종을 내주에 먼저 출시하고, 올 여름 대형버전을 출시한다는 방침이라고 더인포메이션이 보도했다.
더인포메이션은 "이 두 가지 소형 모델의 출시는 작년 7월에 출시된 라마 2 이후 약 1년 만에 출시될 예정인 라마 3에 대한 기대감을 불러일으키는 데 도움이 될 것으로 보인다"면서 "구글, xAI, 미스트랄 등 다양한 기업이 오픈 소스 LLM을 출시하고 있는 가운데 나온 조치"라고 말했다. 이에 대해 메타는 논평을 하지 않았다.
메타가 겨냥한 것은 오픈AI의 챗GPT 기반인 GPT-4다. 메타는 사용자가 챗봇에 업로드한 이미지를 기반으로 질문에 답할 수 있는 모델을 만들기를 희망하고 있다. 가장 큰 버전은 멀티모달로, 텍스트와 이미지를 모두 이해하고 생성할 수 있을 전망이다. 반면 다음 주에 출시할 소형 모델은 대형 모델보다 저렴하고 실행 속도가 빠르다는 장점이 있다. 대형 모델을 실행하는 데 드는 추론 비용을 고려할 때 유리하다.
메타는 이전에 세 가지 모델의 라마2를 출시한 바 있다. 가장 큰 모델은 파라미터가 700억 개에 달한다. 다른 두 모델은 각각 130억개, 70억개 파라미터를 보유하고 있다. 라마3는 약 1400억개 파라미터를 갖출 것으로 보인다. 현재 메타는 AI 어시스턴트를 구동하는데 라마2를 사용하고 있다.