머스크가 설립한 xAI '그록' 오픈소스 공개..."파라미터수 챗GPT 크게 앞질러"

xAI 그록 공개

GPT-3 1750억 파라미터수 넘었다

일론 머스크가 운영하는 인공지능 스타트업 xAI가 대규모언어모델(Large Language Model, LLM) 그록(Grok-1)에 대한 모델 가중치와 아키텍처를 오픈소스 코드로 전격 공개했다. 일론 머스크는 이달 11일 그록을 오픈 소스로 공개할 것이라 밝힌바 있다. 이번 발표는 머스크가 샘 올트먼을 향해 오픈AI는 오픈소스 모델이 아니라고 주장한 뒤 이뤄졌다. xAI를 오픈소스로 먼저 공개해 오픈AI를 압박하겠다는 포석이다. 머스크와 올트먼은 오픈AI를 2015년 공동 설립했지만, 갈등으로 머스크가 물러난 상태다.

이번에 공개된 것은 데이터를 처리하기 위해 레이어(Layer)와 노드(Node)가 어떻게 배열되고 상호 연결되는지 등 그록(Grok)의 구조적 설계를 이루는 네트워크 아키텍처 일부다. 모델 가중치는 학습 중에 조정된 특정 모델의 아키텍처내 파라미터로, 학습된 정보를 인코딩하고 입력 데이터가 출력으로 변환되는 방식을 결정한다. 그록-1은 xAI가 학습한 3140억개 파라미터로 구성된 '전문가 혼합(Mixture-of-Experts)' 모델이다. 전문가 혼합 모델이란 여러 전문 하위 모델의 출력을 결합해 최종 예측을 내리는 머신러닝 방식이다. 각 개별 모델의 전문성을 활용해 다양한 작업을 하고 데이터 하위 집합에 최적화한다.

일론 머스크 xAI 설립자

오픈AI 올트먼과 결별후 세운 xAI

다만 이번 버전이 최신 버전인지에 대해선 xAI는 함구했다. 학습전 모델로 완제품은 아닌 것이다. xAI에 따르면, 대화와 같은 특정 애플리케이션에 맞게 모델이 미세 조정되지 않았다고 설명했다. 일론 머스크(Elon Musk)가 설립한 미국의 스타트업 회사 xAI는 인공지능(AI) 분야에서 활동하고 있다. 2023년 3월에 설립된 이 회사의 목표는 "우주의 참된 본질을 이해하는 것"이다.

역사적으로 머스크는 2015년 비영리 AI 연구회사 OpenAI의 창립 공동 의장이었으며, OpenAI에 최대 10억 달러를 투자하기로 약속했다고 알려져 있다. 그러나 AI 안전성을 둘러싼 이견으로 인해 2018년 이사회에서 물러나기 전까지 OpenAI의 경영 인수를 시도했으나 실패했다.

포티투닷 xAI 설립일에 숨겨진 42의 비밀...사실은 허무개그

머스크는 2023년 3월9일 네바다에서 xAI를 설립한 뒤 같은 해 7월12일 xAI를 설립했다고 발표했다. 그는 이 날짜(7 + 12 + 23 = 42)를 더글러스 애덤스(Douglas Adams)의 책 "은하수를 여행하는 히치하이커를 위한 안내서"에 나오는, 생명, 우주, 그리고 모든 것에 대한 궁극적 질문에 대한 대답( 42)을 내놓은 슈퍼컴퓨터에서 차용했다. 즉 42는 우주의 근원이다. 포티투닷 역시 이 숫자를 차용하고 있다. (실제 소설에서는 외계인이 수천년간 슈퍼컴퓨터를 만들어 '궁극의 질문'을 묻는다. 이 때 컴퓨터가 답한 숫자가 42다. 외계인이 왜 42냐고 묻자, 그런것을 왜 나에게 묻냐고 답한다. 즉 그런 답변은 존재하지 않는다는 영국식 블랙 코미디다.) 이런 점에서 머스크는 알고 쓴 것 같고, 포티투닷 창업자는 소설책을 읽어보지 않은 것 같다. xAI는 캘리포니아 샌프란시스코 베이 지역에 본사를 두고 있다.

구글의 딥마인드 유닛과 연계된 이고르 바부슈킨(Igor Babuschkin)이 최고 엔지니어다. xAI는 SEC 제출 서류를 통해 최대 10억 달러 중 1억3470만 달러 규모 외부 자금을 조달했다고 밝혔다. 이후 머스크는 xAI가 어떠한 자금 유치도 모색하지 않고 있다고 X를 통해 설명했다. xAI의 명시된 목표는 "우주의 참된 본질을 이해하는 것"이지만, 그 즉각적인 목표 중 하나는 현재 모델에서 찾아볼 수 없는 고급 수학적 추론 능력을 갖춘 AI를 창조하는 것이다. xAI는 2023년 11월 4일 X와 통합된 AI 챗봇 그록을 공개했다.