🔎 #403: 타이밍에 맞춰 효과음을 생성해주는 MultiFoley

Created

2024/12/18 02:39

타이밍에 맞춰 효과음을 생성해주는 MultiFoley

by 소영

Adobe Research와 미시간 대학교가 'MultiFoley'라는 AI 모델을 공동 개발했습니다. MultiFoley는 텍스트, 오디오, 또는 비디오를 기반으로 고품질의 음향 효과를 자동으로 생성하는데요, 영상 타이밍에 맞춰 음향효과가 생성된다는 점에 가장 눈에 띕니다. (연구 결과가 발표된 것이며, 아직 사용자가 사용해볼 수 있는 서비스가 런칭되지는 않았습니다)

이 문서를 보시면 MultiFoley로 생성된 결과를 보실 수 있는데요, 'typewriter'를 클릭해보시면 손가락이 타자기를 누르는 타이밍에 맞춰 타자기 소리가 나는 것을 들어보실 수 있습니다.

고양이가 입을 벌릴 때 고양이 소리가 나며, 타이밍에 맞춰 사자소리(lion roaring), 말 울음소리(horse neighing)가 생성된 것을 들으실 수 있습니다.

마무리

1) 오늘 소개드린 연구는 타이밍에 맞춰 소리가 생성된다는 점에서 매우 흥미로웠습니다. 생성형 AI를 사용해 음향효과를 생성하더라도 정확한 타이밍과 그 길이에 맞춰 생성하는 것은 쉽지 않았기 때문에 오늘의 이 연구 결과는 매우 흥미로웠습니다.

2) 지난밤 계엄령 선포로 인해 뉴스레터를 오늘 발송할 수 있을지 염려가 되었는데(언론 및 출판의 자유가 제한되므로), 다행히 계엄령이 해제되며 발송할 수 있게 되어 다행입니다. 우리에게 주어진 일상 속 자유를 잃을 수 있다는 것, 당연한 것이 아니라는 점을 깨닫게 한 150분입니다.

3) 현재 미국과 중국이 AI 산업을 선도하고 있는 상황에서, 국내 AI 기술 발전을 통해 경제를 도모해야 하는 중요한 시기입니다. 이러한 중요한 시기에 발생한 혼란은 국내 산업 발전에 전혀 도움이 되지 않으며, 이번 사건을 매우 통탄스럽게 바라보고 있습니다. 간밤의 혼란으로 놀라신 구독자 여러분의 일상이 평온하길 기원합니다.

뉴욕 타임스퀘어에 전시한 작품, 이렇게 만들었습니다

지난 9월 초, Daily Prompt의 재홍은 뉴욕 타임스퀘어에 생성형 AI로 제작된 영상을 전시하였습니다. 뉴욕에서 전시한 작품 포함, 아래와 같이 가상 배우가 등장하는 영상의 제작 과정을 공유하는 강의를 패스트캠퍼스에 런칭하였습니다.

가상배우가 등장하는 영상 제작하는 법

재홍님이 제작한 영상들 | 이미지를 클릭하면 영상을 보실 수 있습니다

이런 분께 추천드립니다

•

배우의 연기와 생성형 AI를 활용해 영화 같은 영상을 제작하고 싶은 분

•

재홍님(뉴욕 타임스퀘어 전시, 한경국립대 출강)이 운영하는 강의 기반 질의응답 커뮤니티에 참여하고 싶으신 분 (선착순 50명, 24년 12월 9일~25년 3월 28일 동안 운영) [재홍님 포트폴리오 보기]

•

영상 제작에 필요한 이미지, 음악, 영상을 AI로 생성하는 법을 배우고 싶은 분

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: A hyper-stylized futuristic female figure, adorned in a glossy black bodysuit with sharp geometric patterns, standing in front of a clean, gradient-toned background. Her outfit features sleek, high-tech panels and glowing neon lines. The composition emphasizes her avant-garde and mysterious aura with soft underlighting. Created Using: wide-angle photography, soft gradient backdrops, high-contrast rendering, cyber-futurism elements, metallic reflections, ambient occlusion, HDR highlights, minimalistic design --chaos 5 --ar 3:4 --style raw --stylize 0 --v 6.1

오늘의 Midjourney 프롬프트 입력 결과

지난 Midjourney 프롬프트 보기

필요할때마다 꺼내보는 생성형 AI 가이드북

뉴스레터 '데일리 프롬프트'는 2023년 5월에 시작하여, 오랜 관심을 바탕으로 다음과 같이 책을 출간하였습니다. 일상과 업무에서 사용할 수 있는 ChatGPT프롬프트가 필요하시다면 <데일리 프롬프트 101>을, 이미지 생성 AI를 집중적으로 탐구하고 싶은 분은 <AI 원더랜드>를 추천드립니다.

AI 원더랜드(by 안재홍), 데일리 프롬프트 101(by 최소영)