무비 젠의 기능은 ‘텍스트 입력으로 비디오 생성’, ‘텍스트로 비디오 편집’, ‘개인화된 비디오 제작’, ‘음향 효과와 사운드트랙 제작’으로 나눌 수 있다. 프롬프트에 ‘만들고 싶은’ 또는 ‘바꾸고 싶은’ 비디오를 문자로 입력하면, AI가 이를 기반으로 실제 촬영한 영상과 가까운 고품질 비디오를 만들어 준다.
비디오 생성은 텍스트-이미지와 텍스트-비디오에 최적화된 모델을 활용해 사용자가 원하는 이미지 또는 비디오를 생성한다. 300억 개의 매개변수를 사용하는 변환 모델을 통해 일초에 16 프레임의 영상을 최대 16초 길이로 제작할 수 있다. 객체의 개별적인 동작, 주체와 객체의 상호 작용, 카메라 동작 등의 추론을 통해 비디오를 생성한다.
비디오 수정은 텍스트 입력으로 원본 영상의 객체나 피사체를 누구나 쉽게 바꿀 수 있는 기능이다. 예를 들어 사막을 달리고 있는 사람의 뒷모습을 보여주는 원본 비디오에, ‘선인장이 많은 사막’이나 ‘공룡 코스튬을 입은 사람으로 교체’라는 요청 사항을 입력하면 바로 원하는 비디오로 수정할 수 있다.
