애플 AI 출격…동영상 넣으면 배경서 인물 떼어내 작동

아카이브에 '휴먼 가우시안 스플랫' 공개

애플의 휴먼 가우시안 스플랫(HUGS·Human Gaussian Splats)

애플 연구진이 인공지능(AI)에 대한 새로운 연구 결과를 아카이브(arxiv)에 전격 공개했다. '휴먼 가우시안 스플랫(HUGS·Human Gaussian Splats)'이라는 논문에서, 애플은 단안 비디오를 활용해 3D 애니메이션 아바타를 생성하는 기술을 시연했다고 밝혔다. 이 기술은 동영상에서 배경과 인물을 분리하고 재활용할 수 있게 해준다. 예를 들어, 눈 밭을 걸어가는 사람 관련 영상에서 AI가 인물과 배경을 분리한 뒤, 다른 각도에서 인물이 춤을 추는 영상으로 재조합할 수 있다. 이 과정에서 사용된 SMPL 통계적 체형 모델을 통해 세밀한 옷이나 머리카락과 같은 요소까지 캡처할 수 있다.

애플 연구진은 HUGS 기술이 기존 아바타 생성 방식에 비해 훈련 및 렌더링 속도가 최대 100배 빠르다고 강조했다. 일반적인 게임용 GPU에서 단 30분 만에 시스템을 최적화해 이러한 결과를 얻을 수 있다고 설명했다. 이 기술은 합성 미디어의 새로운 지평을 열 것으로 기대되며, 특히 아이폰에 탑재될 경우 사용자들이 새로운 3D 장면을 창조할 수 있을 것으로 전망된다. 예를 들어, 아이폰에 동영상을 업로드하면, 아이폰이 인물을 분리해 사막을 걷거나 우주를 유영하는 영상으로 전환해 줄 수 있다.

애플의 휴먼 가우시안 스플랫(HUGS·Human Gaussian Splats)

또한 애플은 '제한된 메모리로 효율적인 대규모 언어 모델 추론(Efficient Large Language Model Inference with Limited Memory)'이라는 논문도 발표했다. 이 논문은 메모리가 제한된 기기에서 대규모 언어모델(LLM)을 효과적으로 배포하는 방법에 대해 다루고 있다. 현재 최신 자연어 모델들은 수천억 개의 파라미터를 포함하고 있어, 일반 소비자 하드웨어에서 추론하기 어렵다. 애플 연구진은 DRAM으로의 데이터 전송을 최소화하는 추론 모델을 구축하여, 플래시 메모리와의 조화를 이루어 데이터 전송량을 줄일 수 있었다고 밝혔다. 이 방법을 적용하면, '온디바이스' AI 시대가 더욱 가속화될 것으로 기대된다. 연구진은 이 기술을 애플 M1 맥스 CPU에 적용해 추론 시간을 45배 앞당기고 속도를 2025배 향상시켰다고 덧붙였다.

소라(Sora) 작동 원리는 트랜스포머...챗GPT 개발사 마술 통했다 [동영상AI]

챗GPT 개발사 오픈AI, 소라(Sora) 공개...최대 1분 비디오 생성

아이돌 사진을 넣었더니, 내맘대로 춤을 춘다, 알리바바 드리무빙