아이돌 사진을 넣었더니, 내맘대로 춤을 춘다, 알리바바 드리무빙

알리바바그룹이 드리무빙이라는 AI 비디오 생성 프레임워크를 개발해 발표했다. 얼굴 이미지는 유지하면서도, 비디오 동작 역동성은 극대화 했다는 평가다.

알리바바의 드리무빙. 텍스트를 입력하면 자연스럽게 춤을 춘다

알리바바 그룹 산하 지능형 컴퓨팅 연구소는 '드리무빙(DreaMoving)'이라는 새로운 인공지능(AI) 비디오 생성 프레임워크를 개발해 2023년 12월 31일에 발표했다. 드리무빙은 확산 모델을 기반으로 하며, 사용자가 지정한 이미지를 활용하여 고품질의 맞춤형 아바타 비디오를 생성한다는 것이 특징이다. 이 프레임워크는 비디오 컨트롤넷(Video ControlNet)과 콘텐츠 가이더(Content Guider)라는 두 가지 주요 구성 요소를 갖추고 있다. 비디오 컨트롤넷은 움직임을 제어하는 데 사용되며, 콘텐츠 가이더는 대상의 정체성을 유지하는 데 중점을 둔다.

이미지 유지비결

알리바바의 드리무빙. 레퍼런스 이미지와 포즈 시퀀스를 활용해 춤을 추는 동영상을 만들 수 있다.

드리무빙을 통해 얼굴 이미지의 정체성은 유지하면서도 움직임을 조작할 수 있는 AI 비디오를 만들 수 있다. 알리바바그룹은 "이 프레임워크의 능력은 텍스트 프롬프트와 참조 이미지를 사용해 비디오의 외관을 제어하는 데 탁월하며, 포즈 시퀀스를 통해 정밀하게 움직임을 조작할 수 있다"고 밝혔다. 이를 통해 춤을 추는 동영상 같은 AI 아바타를 만들 수 있다는 것이다.

알리바바의 드리무빙, AI 이미지를 활용해, 춤을 추는 AI 아바타를 만들 수 있다.

아카이브에 공개

이 연구는 멍양 펑(Mengyang Feng), 진린 리우(Jinlin Liu), 카이 유(Kai Yu), 위안 야오(Yuan Yao), 정 휘(Zheng Hui), 쉐판 구오(Xiefan Guo), 시안후이 린(Xianhui Lin), 하올란 쉬에(Haolan Xue), 천 시(Chen Shi), 샤오원 리(Xiaowen Li), 아오지에 리(Aojie Li), 샤오양 캉(Xiaoyang Kang), 비원 레이(Biwen Lei), 미아오미아오 취(Miaomiao Cui), 페이런 런(Peiran Ren), 쉬안송 시에(Xuansong Xie) 등의 연구진이 진행했으며, 아카이브(arXiv) 저널에 게재되었다. 이러한 발전은 AI 기술의 한계를 넘어서는 새로운 방법론과 응용 가능성을 제시하며, 디지털 컨텐츠 생성 분야에 중요한 변화를 가져올 것으로 보인다.

"언러닝 방법 나왔다" MS, 해리포터로 AI 저작권침해 방지