LyricJam: новая программа может создавать тексты для инструментальной музыки - RadioVan.fm

Онлайн

LyricJam: новая программа может создавать тексты для инструментальной музыки

2021-07-02 14:35 , Наука, HiTech, 888

LyricJam: новая программа может создавать тексты для инструментальной музыки

Исследователи представили программу LyricJam — передовую вычислительную систему, которая может генерировать тексты для живой инструментальной музыки. Она поможет авторам писать тексты, которые хорошо сочетаются с музыкой, которую создают композиторы.

За последние несколько десятилетий ученые разработали вычислительные инструменты, которые могут генерировать определенные типы данных, такие как изображения, слова или аудиозаписи. Эти системы могут иметь множество применений, особенно в творческих областях, связанных с созданием новых произведений искусства.

Ученые Университета Ватерлоо уже несколько лет проводят исследования, посвященные генерации лирической музыки. Совсем недавно инженеры также начали исследовать возможность генерации текстов для звуковых дорожек инструментальной музыки. В своем новом исследовании ученые представили систему LyricJam, которая может генерировать тексты, подходящие под конкретную музыку.

Система ученых преобразует необработанные аудиофайлы в спектрограммы, а затем с помощью моделей глубокого обучения генерирует тексты песен, соответствующие музыке, которую они обрабатывали в режиме реального времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для анализа звуковых паттернов в мелодии, а другой — для анализа сгенерированного текста.

После этого ученые разработали две новые программы, которые позволяют совмещать результаты работы двух энкодеров, подгоняя таким образом слова под музыку. В конечном счете, эти механизмы позволяют программе с машинным обучением узнать, какие типы текстов хорошо сочетаются с конкретной мелодией.

Главная особенность, которая отличает LyricJam от других систем генерации текстов, разработанных в прошлом, заключается в том, что она может создавать подходящие тексты в реальном времени — прямо в тот момент, пока исполнитель играет мелодию вживую. «Поиграться» с новым искусственным интеллектом или использовать его для своей работы можно через сайт проекта.

Препринт статьи опубликован на сайте arXiv.org.

Источник – popmech.

Лента

Рекомендуем посмотреть