Runway запускает инструмент генерации аудио Seed Audio 1.0, позволяющий платным пользователям соз...

Описание: Runway запускает Seed Audio 1.0 — инструмент для генерации аудиоконтента, позволяющий платным пользователям создавать до 120 секунд динамичной речи, звуковых эффектов и музыки с помощью текстовых подсказок.

Seed Audio 1.0 от Runway поддерживает преобразование текста в речь, многосимвольный диалог и генерацию звуковых эффектов.

Основные функции и области применения

Runway официально интегрировала Seed Audio 1.0 в свою экосистему. Этот инструмент призван помочь создателям в создании аудиоконтента с помощью простых текстовых подсказок. Его основные функции включают:

Преобразование текста в речь: поддержка указания качества голоса, языка и конкретного диалогового контента.

Многосимвольный диалог: пользователи могут задавать несколько персонажей в одной подсказке, например, одновременно воспроизводить диалог с британским и американским акцентами.

Генерация аудио: возможность генерации фоновых звуковых эффектов и музыки, создания захватывающего звукового сопровождения сцены.

Дублирование голоса: поддержка загрузки эталонных аудиофайлов для дублирования голосовых характеристик конкретных персонажей.


Использование и ограничения

Seed Audio 1.0 теперь доступен всем пользователям Runway.

Компания Runway выпустила Seed Audio 1.0 — инструмент для генерации аудио, поддерживающий преобразование текста в речь, многосимвольный диалог и генерацию звуковых эффектов.

Подсказка и работа в видео:

Подсказка (00:10): Генерирует разговор между мужчиной и женщиной в поезде. Они рассказывают о своей жизни до переезда в город и делятся своими историями. На заднем плане слышны голоса других пассажиров.

Оригинал: Генерирует разговор между мужчиной и женщиной в поезде. Они рассказывают о том, какой была их жизнь до переезда в город, и наслаждаются историями друг друга. На заднем плане слышны голоса других пассажиров.

Подсказка (00:14): Мужской голос британца говорит: «Ну, ну, ну… слишком многого я прошу, чтобы вы пришли вовремя, да?»

Подсказка (00:28): Мужской голос британца и мужской голос американца.

Британский: "Эй, брат, ты заблудился?" Американский: "Да, у меня разрядился телефон. Можешь мне помочь?"

Оригинал: Британский мужской голос и американский мужской голос.
Британец: "Эй, брат, ты заблудился или что-то в этом роде?"
Американский: "Да, у меня разрядился телефон. Можешь мне помочь?"

Подсказка (00:38): Ведущая подкаста рассказывает о книге, которая ей недавно понравилась.

Оригинал: Ведущая подкаста рассказывает о книге, которая ей недавно понравилась.

Подсказка (00:49): 30-секундная сцена из полнометражного фильма, изображающая героического рыцаря, произносящего вдохновляющую речь перед своими товарищами на поле боя.

Оригинальный текст: 30-секундная кинематографическая сцена, где герой-рыцарь произносит воодушевляющую речь на поле боя перед своими сослуживцами.

Подсказка (01:47):

"Должен сказать, это невероятно круто и удобно."

Оригинальный текст: "Ну, должен сказать, это невероятно круто и удобно."

Шаги:

1. (00:07) Щелкните поле ввода и введите текст запроса.

2. (00:10) Нажмите кнопку "Сгенерировать".

3. (01:47) Нажмите кнопку "Ссылка", чтобы загрузить аудиофайл.

Транскрипт:

00:00 Всем привет, я Иэн из креативной команды Runway. Сегодня мы очень рады представить Seed Audio 1.0 в экосистеме Runway.

00:03 С Seed Audio 1.0 вы можете запросить практически все, что связано с аудио, и получить потрясающие результаты.

00:09 Вам нужно только ввести свой запрос, убедившись, что он включает в себя некоторые детали о качестве звука, языке и конкретном тексте, который вы хотите видеть в результате.

00:13 Чем больше деталей вы предоставите, тем лучше будет результат.

00:19 Ой, ой, ой.

00:24 Неужели так сложно заставить тебя прийти вовремя, а? Ты даже можешь запросить нескольких выступающих в подсказке.

00:29 Эй, брат, ты заблудился? Да, у меня телефон разрядился. Можешь мне помочь?

00:36 Даже без заранее заданного сценария ты можешь напрямую попросить Seed Audio сгенерировать контент на общую тему.

00:41 Я только что закончил читать эту книгу, и, честно говоря, она мне очень понравилась.

00:46 Настоятельно рекомендую. Помимо преобразования текста в речь, Seed Audio также может генерировать

00:51 полные иммерсивные аудиосцены, включая фоновые звуковые эффекты, музыку и другие звуковые сигналы.

00:56 Их больше, чем нас. Они лучше вооружены, чем мы. И они верят, они действительно верят, что мы потерпим крах.

01:06 Вы даже можете быстро воспроизвести голос персонажа, предоставив аудиоклип в качестве эталона.

01:10 Что ж, должен сказать, это действительно круто и удобно. Seed Audio 1.0 теперь доступен,

01:17 прямо здесь, в Runway, и мы с нетерпением ждём ваших работ, созданных с его помощью.

Оригинальный источник: https://x.com/runwayml/status/2071713...