🔎 #363: 오디오와 영상이 함께 생성되는 Movie Gen

Created

2024/12/18 02:34

오디오와 영상이 함께 생성되는 Movie Gen

by 소영

Meta에서 영상 생성 모델 'Movie Gen'을 발표했습니다. 다른 영상 생성 AI와의 큰 차이점은, 간단한 텍스트 입력만으로 영상과 소리를 함께 생성한다는 점입니다. Meta의 발표에 따르면, Movie Gen은 1) 영상 생성, 2) 개인화된 영상 생성(Personalized Videos), 3) 영상 수정, 4) 오디오 생성이라는 네 가지 기능을 제공합니다.

1. 텍스트에서 영상 생성

텍스트 프롬프트에 입력한 대로 영상이 생성됩니다.

프롬프트:

A sloth with pink sunglasses lays on a donut float in a pool. The sloth is holding a tropical drink. The world is tropical. The sunlight casts a shadow. (나무늘보가 분홍색 선글라스를 쓰고 도넛 모양의 튜브에 누워서 수영장 위에 떠 있어. 손에는 열대 음료를 들고 있고, 주변은 열대 풍경이야. 햇빛이 비쳐서 그림자가 드리워져 있어.)

프롬프트 입력 결과:

이미지를 클릭하시면 영상으로 이동합니다

2. 개인화된 영상 생성(Personalized Videos)

사진 한 장으로, 사진 속 인물이 일관적으로 등장하는 영상을 만들 수 있습니다.

이미지를 클릭하시면 영상으로 이동합니다

3. 자연어로 영상 수정 가능

달리 3에서 '~한 부분은 이렇게 수정해줘'라며 이미지를 수정했던 것처럼, 영상 편집도 자연어로 할 수 있습니다. 아래 이미지를 보시면 1번이 원본 영상이며, 텍스트 프롬프트로 'Remove the VR headset(VR 헤드셋을 제거해줘)'라고 입력하면 3번과 같은 영상으로 바꿔줍니다.

이미지를 클릭하시면 영상으로 이동합니다

4. 오디오 생성

프롬프트를 입력할 때 배경음악까지 적어주면 영상과 음악이나 음향효과가 함께 생성됩니다.

프롬프트:

Rain pours against the cliff and the person, with music playing in the background. (비가 절벽과 그 사람에게 쏟아지고, 배경에는 음악이 흐른다)

프롬프트 입력 결과:

이미지를 클릭하시면 영상으로 이동합니다

마무리

1) 이번 Movie Gen 발표를 보면, AI를 사용해 자신만의 영상을 만들기 쉬워졌을 뿐만 아니라, AI를 사용한 영상 제작 프로세스도 단축이 되고 있습니다.

텍스트에서 영상을 생성한 뒤, 음향 효과나 BGM을 입히려면 Elevenlabs에서 음향효과를 생성하거나, Suno에서 BGM을 생성해야 했지만, Movie Gen에서는 텍스트 프롬프트 입력 한 번만 하면 사운드가 들어간 영상을 생성해줍니다.

2) 무엇보다 영상 수정을 말로 하면 되는 것이 놀랍습니다. '뒤에 지나가는 사람 지워줘'라던지, '배경에 있는 전봇대 지워줘', '손목에 찬 시계의 색깔을 핑크색으로 바꿔줘' 와 같이 프롬프트를 입력하여 영상을 수정할 수 있다면, 작업이 정말 간편해질 것 같습니다.

챗GPT 고급 음성 모드가 등장한 것을 보면, 앞으로 프롬프트는 텍스트가 아니라 음성으로 입력하게 될 텐데요, 그렇다면 영상 수정도 이제 음성으로 하게 될 것입니다. 시간이 흐른 뒤, 키보드와 마우스는 골동품으로 여겨지게 될 지도 모르겠습니다.

3) 사진 한 장으로 그 인물의 영상을 제작할 수 있다는 점은 영화를 제작한다고 생각해보면 너무 유용한 기능이긴 하지만, 범죄에 활용될 수도 있어 다소 우려가 됩니다. 기술이 발달할 수록 온라인 혹은 디지털 파일 속 등장하는 누군가의 모습은 존재하지 않는 인물이거나, 누군가의 모습을 AI로 흉내낸 것에 지나치지 않을 것 같습니다. 실존하는 인물은 오직 대면으로만 만날 수 있지 않을까요?

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: Abstract forms flowing like waves, representing the timeless nature of love, soft pastels blending into bold reds and golds, with ethereal light rays breaking through a soft mist, symbolizing hope and devotion, dynamic movement, surreal emotional depth --c 5 --v 6.1 --ar 2:1 --style raw

그동안 배달한 프롬프트 보기

필요할때마다 꺼내보는 생성형 AI 가이드북

뉴스레터 '데일리 프롬프트'는 2023년 5월에 시작하여, 오랜 관심을 바탕으로 다음과 같이 책을 출간하였습니다. 일상과 업무에서 사용할 수 있는 ChatGPT프롬프트가 필요하시다면 <데일리 프롬프트 101>을, 이미지 생성 AI를 집중적으로 탐구하고 싶은 분은 <AI 원더랜드>를 추천드립니다.

Midjourney 프롬프트를 잘 쓰고 싶다면

생생하고 상세한 설명과 함께 Midjourney 사용법을 배우고 싶다면, 재홍님의 온라인 강의를 추천드립니다:)

•

강의는 다음 내용을 포함할 예정입니다. 자세한 커리큘럼은 여기를 클릭해주시면 됩니다.

- 17가지 생성형 AI 툴 조합 노하우 - 활용도 높은 6가지 카테고리+3가지 영상 제작 방법 - 프롬프트 생성기+AI 활용 가이드북 제공

고퀄리티 이미지와 영상 제작법 강의듣기

•

강의 수강 관련 문의: 패스트캠퍼스 고객센터 (링크, 02-501-9396)