텍스트를 음악으로 변환하는 구글의 새로운 AI 도구 소개

구글은 최근 텍스트 설명으로 모든 장르의 음악을 만들 수 있는 새로운 인공지능(AI) 음악 생성기를 개발했다고 발표했다.

구글 연구진은 1 일 발표 한 연구논문 에서 '왜곡된 기타 리프가 뒷받침되는 잔잔한 바이올린 선율'과 같은 텍스트 설명에서 고음질의 음악을 생성하는 모델로 음악 제작 AI 툴 '뮤직LM(MusicLM)'을 소개했다.

 

MusicLM은 조건부 음악 생성 프로세스를 계층적 시퀀스 간 모델링 작업으로 캐스팅하고 "몇 분 동안 일관되게 유지되는 24kHz에서 음악을 생성합니다."

또한 AI 도구는 텍스트 및 청각 신호에서 최대 5분 동안 텍스트 및 사운드 프롬프트에서 "오리지널" 음악을 생성할 수 있습니다. MusicLM은 원하는 장르의 설명을 위해 일관된 노래를 생성하는 방법을 배우기 위해 2,80,000시간 이상의 음악으로 구성된 데이터베이스에서 교육을 받았습니다.

 

“우리의 실험은 MusicLM이 오디오 품질과 텍스트 설명 준수 모두에서 이전 시스템을 능가한다는 것을 보여줍니다. 또한 우리는 MusicLM이 텍스트 캡션에 설명된 스타일에 따라 휘파람을 불고 흥얼거리는 멜로디를 변형할 수 있다는 점에서 텍스트와 멜로디 모두에 조건을 둘 수 있음을 보여줍니다.”라고 논문은 말합니다.

반응형

연구 논문에 따르면 MusicLM은 다음과 같이 풍부하게 작성된 캡션에서 노래를 만들 수 있습니다.

아케이드 게임의 메인 사운드트랙. 눈에 띄는 일렉트릭 기타 리프와 함께 빠르게 진행되고 낙관적입니다. 음악은 반복적이고 기억하기 쉽지만 심벌즈 충돌이나 드럼 롤과 같은 예상치 못한 소리가 있습니다.

 

또는 다음을 포함하여 일련의 짧은 텍스트 프롬프트를 제공하여 오디오가 생성된 "스토리 모드"를 통해:

• 명상하는 시간(0:00-0:15), 일어나는 시간(0:15-0:30), 달리는 시간(0:30-0:45), 100% 베푸는 시간(0:45-0:45) 0:60)
• 비디오 게임에서 재생되는 전자 노래(0:00-0:15), 강가에서 재생되는 명상 노래(0:15-0:30), 불(0:30-0:45), 불꽃놀이(0:45-0:45) 0:60)

Google의 MusicLM은 또한 Edvard Munch의 " The Scream "과 Salvador Dali의 유명한 " The Persistence of Memory " 를 포함하여 예술계에서 가장 잘 알려진 일부 작품에 대한 설명에서 그림의 분위기와 분위기를 캡처하는 음악 클립을 생성할 수 있습니다.

Google의 GitHub 페이지 로 이동하여 MusicLM에서 생성된 일부 음악 트랙을 들을 수 있습니다.

 

향후 연구를 지원하기 위해 Google은 이미 인간 전문가가 제공한 풍부한 텍스트 설명과 함께 5.5k 음악-텍스트 쌍으로 구성된 데이터 세트인 MusicCaps를 출시했습니다.

그럼에도 불구하고 MusicLM이 공개적으로 출시되기 전에 해결해야 할 문제가 많기 때문에 조만간 대중에게 공개될 것이라고 기대하지 마십시오.

 

Google의 연구원에 따르면 AI 도구에는 표현 및 문화적 전유 부족, 음성 품질 및 기술적 결함으로 이어질 수 있는 프로그래밍 편향, 텍스트 프롬프트에 사용되는 부정 및 시간적 순서 사용 등 기존 한계가 있습니다.

실제로 실험 중에 Google 연구원은 MusicLM에서 만든 음악 예제의 약 1%가 저작권 문제를 제기하도록 훈련된 노래에서 직접 복사된 것임을 발견했습니다.

 

“우리는 사용 사례와 관련된 창의적인 콘텐츠의 잠재적 오용 위험을 인정합니다. 우리는 음악 생성과 관련된 이러한 위험을 해결하기 위해 더 많은 향후 작업이 필요함을 강력히 강조합니다. 현재로서는 모델을 출시할 계획이 없습니다.”라고 연구는 말합니다.

 

*참조한 원본 글 링크: https://www.techworm.net/2023/01/google-ai-tool-text-music.html

 

최고의 텍스트 투 비디오 사이트(무료 AI 기반 자동 동영상 생성기) 10가지