Документация StreamFluent
Все, что вам нужно для настройки голосового дублирования AI в реальном времени для ваших прямых трансляций. Транслируйте на своем языке, охватывайте любую аудиторию.
Быстрый старт
Запустите свой первый дублированный поток менее чем за пять минут с помощью плагина OBS.
Создайте свою учетную запись
Зарегистрируйтесь на streamfluent.ai с помощью электронной почты или социальной сети (Google, Twitch, Kick). Вы сразу попадете на свою панель управления.
Установите плагин OBS
Загрузите плагин для вашей ОС со страницы плагина OBS. Установите его в папку плагинов OBS (или запустите установщик в Windows) и перезапустите OBS.
Войдите в систему и настройте
Откройте Вид → Доки → StreamFluent.ai в OBS. Войдите в систему с помощью Google, Twitch, Kick или электронной почты. Выберите источник звука, выберите целевые языки и настройте параметры субтитров и громкости.
Начать трансляцию
Нажмите Connect в доке StreamFluent — точка статуса станет зеленой при подключении. Добавьте дублированный звук и источники субтитров в свою сцену, затем начните потоковую передачу в OBS как обычно.
Как это работает
StreamFluent обрабатывает вашу речь в режиме реального времени — переводя и переозвучивая ее на другие языки во время трансляции.
OBS Plugin
РекомендуетсяПлагин OBS захватывает звук вашего микрофона и отправляет его в AI pipeline StreamFluent по WebSocket соединению. Ваша речь транскрибируется, переводится и переозвучивается — затем дублированный звук возвращается в OBS в качестве источников микшера.
Ваш видеопоток идет напрямую на вашу платформу (Twitch, YouTube, Kick и т. д.), не проходя через серверы StreamFluent. Удаленно обрабатывается только звук, что обеспечивает низкую задержку и не влияет на качество потока.
RTMP Relay
АльтернативаС RTMP relay вы направляете свое потоковое программное обеспечение на сервер приема StreamFluent вместо вашей платформы. Мы получаем ваш полный поток, обрабатываем звук через AI pipeline и распространяем дублированные версии в настроенные вами места назначения.
Видео пересылается без перекодирования. Каждая переведенная звуковая дорожка ремуксируется с вашим оригинальным видео и отправляется на соответствующий канал назначения.
AI Дубляж
AI Dubbing — это ядро StreamFluent — голосовой перевод в реальном времени, который преобразует вашу речь на другие языки во время трансляции.
Как работает дубляж
Когда дубляж активен, StreamFluent выполняет три этапа: распознавание речи преобразует ваш голос в текст, нейронный перевод адаптирует его к каждому целевому языку, а синтез голоса генерирует произнесенный звук с использованием выбранного вами голосового профиля.
Весь процесс выполняется с задержкой менее одной секунды. Дублированный звук доставляется вместе с вашим оригинальным звуком — с помощью плагина OBS он отображается как отдельные источники микшера, которыми вы можете управлять независимо.
Режимы дубляжа
Вы можете контролировать поведение дубляжа для каждого целевого языка:
| Режим | Поведение |
|---|---|
| Авто | Дублировать на целевой язык, когда он отличается от вашего исходного языка (по умолчанию) |
| Только оригинал | Передавать ваш оригинальный звук без дублирования — полезно для вывода на вашем родном языке |
| Только субтитры | Нет дублированного звука — зрители слышат ваш оригинальный голос с переведенными субтитрами |
Голосовая технология
StreamFluent предлагает три уровня голосовой технологии в зависимости от вашего плана.
| Уровень | Технология | План |
|---|---|---|
| Базовый TTS | Мужской или женский AI голос по умолчанию с естественной интонацией | Все планы |
| Пользовательский голос | Выберите из 28 премиальных голосов с дополнительными переопределениями для каждого языка | Basic+ |
| Клонирование голоса | Клонируйте свой собственный голос — запишите 30-секундный образец и транслируйте своим голосом на всех языках | Pro+ |
Настройка вашего голоса
- Перейдите в раздел «Голос» на боковой панели панели управления
- Выберите тип голоса: Basic (переключатель мужской/женский), Custom (просмотрите 28 голосов) или Replicated (клонируйте свой голос)
- Для клонирования голоса: запишите или загрузите 30-секундный образец. Статус изменится:
Не начато→В обработке→Готово - Предварительно просмотрите свой голос на любом поддерживаемом языке со страницы «Голос»
Настройки голоса
| Настройка | Диапазон | Описание |
|---|---|---|
| Скорость речи | 0.5x – 2.0x | Скорость вывода дублированного голоса |
| Регулировка высоты тона | -12 до +12 st | Сдвиг высоты тона вверх или вниз в полутонах |
| Сохранение эмоций | вкл. / выкл. | Сохраняет эмоциональный тон в дублированном аудио Масштаб |
Поддерживаемые языки
StreamFluent поддерживает 32 языка как для распознавания речи (источник), так и для перевода (цель). Каждый язык работает в обоих направлениях.
Все поддерживаемые языки работают как в качестве исходного (язык, на котором вы говорите), так и в качестве целевого (язык, на который вы переводите):
Поддерживаемые платформы
StreamFluent работает со всеми основными стриминговыми платформами:
Плагин OBS
Плагин OBS — это рекомендуемый способ использования StreamFluent. Он захватывает ваш звук локально, обрабатывает его через наш AI-конвейер и возвращает дублированный звук непосредственно в ваш микшер OBS.
Как это работает
Плагин подключается к StreamFluent через WebSocket. Аудио с вашего микрофона отправляется на наши серверы, обрабатывается через AI-конвейер (распознавание речи → перевод → синтез голоса), а дублированный звук возвращается в виде виртуальных источников в ваш микшер OBS.
Ваш видеопоток идет напрямую на вашу платформу — StreamFluent никогда не касается его. Только звук обрабатывается удаленно, поэтому качество и стабильность вашего потока остаются совершенно неизменными.
Установка
- Загрузите плагин для вашей ОС со страницы установки плагина OBS
- Установите плагин в папку плагинов OBS (macOS/Linux) или запустите установщик (Windows)
- Перезапустите OBS Studio
Вход
Откройте Вид → Панели → StreamFluent.ai в OBS. Вы можете аутентифицироваться, используя:
- Google, Twitch или Kick (OAuth)
- Электронная почта и пароль
- API-ключ из Dashboard → Settings
Конфигурация
После входа в систему настройте параметры дублирования прямо в панели:
- Источник звука — выберите, какой микрофон/аудиовход захватывать
- Целевые языки — выберите один или несколько языков для дублирования
- Стиль субтитров — включите субтитры и настройте внешний вид
- Громкость — настройте уровни дублированного и оригинального аудио
Источники OBS
Плагин создает виртуальные источники для каждого целевого языка, который вы добавляете в свою сцену OBS:
StreamFluent Dub — [Language]Дублированная аудиодорожка для целевого языка
StreamFluent Captions — [Language]Наложение живых субтитров для целевого языка
Начало работы с плагином
- Нажмите Connect в док-станции StreamFluent — точка состояния станет зеленой
- Добавьте дублированный звук и источники субтитров в свою сцену OBS
- Начните потоковую передачу в OBS на свою платформу как обычно
- Следите за транскрипцией в док-станции, чтобы убедиться, что звук обрабатывается
Расширение Chrome
Расширение StreamFluent Chrome позволяет зрителям смотреть любую прямую трансляцию, дублированную на их язык в режиме реального времени.
Как это работает
Расширение работает на Twitch, YouTube, Kick, Rumble и других стриминговых сайтах. Оно захватывает аудиопоток, отправляет его через AI-конвейер StreamFluent и воспроизводит дублированное аудио на выбранном вами языке — все в режиме реального времени с задержкой менее одной секунды.
Установка
- Посетите Chrome Web Store (ссылка на главной странице StreamFluent)
- Нажмите «Добавить в Chrome» и подтвердите установку
- Значок StreamFluent появится на панели инструментов вашего браузера
Настройка
- Щелкните значок StreamFluent на панели инструментов на любом поддерживаемом стриминговом сайте
- Войдите в систему, используя свою учетную запись StreamFluent (Google, Twitch, Kick или электронная почта)
- Выберите исходный язык (язык, на котором говорит стример)
- Выберите целевой язык (язык, который вы хотите слышать)
- Выберите голос для дублированного аудио
- Нажмите «Начать дублирование»
Функции
RTMP Relay
RTMP relay — это альтернативный метод подключения, доступный на всех планах. Вместо использования плагина OBS вы направляете свое потоковое программное обеспечение на сервер приема StreamFluent. Мы обрабатываем ваш звук и распространяем дублированные потоки по настроенным вами направлениям.
Как это работает
Ваш полный RTMP-поток (аудио + видео) отправляется на серверы приема StreamFluent. Мы разделяем аудио и видео — видео пересылается без перекодирования, а аудио обрабатывается через конвейер AI. Каждая переведенная звуковая дорожка ремуксируется с вашим оригинальным видео и отправляется в соответствующее место назначения.
Настройка OBS Studio
- Откройте OBS → Настройки → Трансляция → Сервис: Пользовательский
- Установите сервер на rtmp://ingest.streamfluent.ai/live
- Вставьте свой ключ потока с панели управления
- Нажмите «Начать трансляцию»
Server: rtmp://ingest.streamfluent.ai/live
Stream Key: sk_live_xxxxxxxxxxxxxxxxxxxxxxxxНастройка Streamlabs Desktop
- Откройте Streamlabs Desktop → Настройки (значок шестеренки) → Stream
- Установите тип потока на Streaming Services
- Выберите Service: Custom
- Установите Server на rtmp://ingest.streamfluent.ai/live
- Вставьте свой Stream Key из панели управления StreamFluent
- Нажмите Done, затем Go Live
Назначения
С помощью RTMP relay вы настраиваете назначения на панели управления StreamFluent. Назначение — это комбинация языка + платформы + ключа потока.
- Перейдите в раздел Destinations на панели управления
- Нажмите Add Destination
- Выберите целевой язык для дубляжа
- Выберите платформу (Twitch, YouTube, Kick или Rumble)
- Введите название своего канала и ключ потока с этой платформы
- Включите или отключите пункт назначения в любое время
Где найти ключи потока
Twitch: Панель управления → Настройки → Трансляция → Основной ключ трансляции
YouTube: YouTube Studio → Начать трансляцию → Настройки трансляции → Ключ трансляции
Kick: Панель управления → Настройки → Ключ трансляции
Rumble: Rumble Studio → Настройки трансляции → URL-адрес и ключ трансляции
Конечный пункт назначения
Конечный пункт назначения пересылает ваш исходный, непереведенный поток на ваш основной канал. StreamFluent находится между вашим кодировщиком и вашими платформами — переведенные версии отправляются в языковые пункты назначения, а оригинал — на ваш основной канал.
Транслируйте на StreamFluent вместо вашей платформы напрямую. Мы обрабатываем ваш звук для пунктов назначения перевода и одновременно передаем оригинал на ваш основной канал.
- Перейдите в настройки потока на панели управления
- Включите конечный пункт назначения
- Выберите свою основную платформу (Twitch, YouTube, Kick, Rumble или пользовательский RTMP URL)
- Введите ключ потока для вашего основного канала
Исходный язык
Исходный язык сообщает StreamFluent, на каком языке вы говорите. Это определяет распознавание речи, направление перевода и обнаружение сквозной передачи.
Настройка вашего исходного языка
КонфигурацияУстановите свой исходный язык в док-панели плагина OBS или в настройках потока на панели управления (для RTMP relay). Это сообщает StreamFluent, на каком языке находится звук вашего микрофона, и управляет всем конвейером:
- Преобразование речи в текст — механизм распознавания настроен для вашего исходного языка
- Перевод — текст переводится с вашего исходного языка на каждый целевой язык
- Сквозная передача — целевые языки, совпадающие с вашим исходным языком, полностью пропускают дублирование
Примеры вариантов использования
| Сценарий | Исходный язык | Языки перевода |
|---|---|---|
| Англоговорящий спикер, охватывающий глобальную аудиторию | Английский | Испанский, Японский, Корейский и т.д. |
| Японский спикер, транслирующий для англоязычных зрителей | Японский | Английский, Корейский, Китайский |
| Корейский стример с дублированными и оригинальными каналами | Корейский | Английский, Японский + Корейский (сквозной пропуск) |
Настройки аудио
Управляйте тем, как оригинальный и дублированный звук микшируются в вашем выводе.
| Настройка | По умолчанию | Описание |
|---|---|---|
| Исходная громкость | 20% | Громкость вашего оригинального голоса в дублированном выводе |
| Громкость дубляжа | 100% | Громкость вывода AI-дублированного голоса |
| Автоматическое приглушение | вкл. | Автоматически понижает исходный звук, когда активен дублированный голос |
| Шумоподавление | Легкий | Предварительная обработка звука перед распознаванием речи. Варианты: Выкл., Легкая, Агрессивная. Уменьшает фоновый шум для более чистой транскрипции. |
Титры / Субтитры
Добавьте живые переведенные субтитры к вашим трансляциям. Субтитры работают независимо от дубляжа — используйте их отдельно, с дубляжом или вообще не используйте.
Включить титры
КонфигурацияВключите субтитры в док-панели плагина OBS или в настройках трансляции на панели управления. Субтитры не ограничены на всех планах.
Настройки титров
| Настройка | Параметры | Описание |
|---|---|---|
| Позиция | Снизу по центру / Сверху по центру | Где титры отображаются на видео |
| Размер шрифта | 16px – 48px | Размер текста субтитров (по умолчанию 38px) |
| Цвет фона | Любой шестнадцатеричный цвет | Цвет фона блока субтитров (по умолчанию черный) |
| Прозрачность фона | 0.0 – 1.0 | Прозрачность фона субтитров (по умолчанию 0.7) |
| Цвет шрифта | Любой шестнадцатеричный цвет | Цвет текста субтитров (по умолчанию белый) |
| Шрифт | Noto Sans CJK / другие | Семейство шрифтов субтитров |
| Язык субтитров | Переведено / Оригинал | Отображаются ли субтитры на переведенном языке или на языке вашего источника |
Режим языка субтитров
Настройка языка субтитров определяет, на каком языке отображается текст субтитров:
| Режим | Поведение | Лучше всего подходит для |
|---|---|---|
| Переведено | Субтитры отображаются на каждом целевом языке. Испанский вывод показывает испанские субтитры, японский вывод показывает японские субтитры. | Полностью локализованные потоки, где зрители видят все на своем языке |
| Оригинал | Субтитры остаются на вашем исходном языке. Аудио дублируется, но субтитры остаются на оригинальном языке. | Дублированный звук + субтитры на языке оригинала для зрителей, изучающих язык |
Общие комбинации
Дублированный звук + переведенные субтитры
Полная локализация — зрители слышат и читают на своем языке.
Дублированный звук + оригинальные субтитры
Дублированный голос с оригинальными субтитрами — отлично подходит для трансляций в стиле аниме или для изучающих язык.
Оригинальный звук + переведенные субтитры
Ваш настоящий голос с переведенными субтитрами — для аудитории, которая предпочитает аутентичный голос.
Начало трансляции
После настройки начать трансляцию с StreamFluent можно всего за несколько кликов.
С плагином OBS
- 1Нажмите Connect в док-панели StreamFluent — дождитесь зеленой точки статуса
- 2Убедитесь, что ваши дублированные аудио и источники субтитров находятся в вашей сцене
- 3Начните потоковую передачу в OBS на свою платформу как обычно
- 4Следите за лентой транскрипции в доке, чтобы убедиться, что звук обрабатывается
С помощью RTMP Relay
- 1Убедитесь, что выходной поток OBS направлен на RTMP-сервер StreamFluent
- 2Убедитесь, что ваши назначения настроены на панели управления
- 3Нажмите «Начать потоковую передачу» в OBS
- 4Откройте Live Monitor на панели управления, чтобы увидеть статус в реальном времени
Live Monitor
Live Monitor на вашей панели управления предоставляет вам обзор в реальном времени каждого активного языкового вывода, живой транскрипции и возможность прослушивать ваш дублированный звук.
Языковые карточки
Каждый активный язык отображается в виде карточки с живыми показателями. Вы можете включать или отключать отдельные языки в середине потока.
Лента транскрипции в реальном времени
Панель транскрипции в реальном времени показывает, что StreamFluent слышит и переводит. Предварительный (незавершенный) текст отображается более светлым шрифтом до завершения.
Языковые вкладки
Переключайтесь между переведенными языками, используя панель вкладок над лентой транскрипции. Каждая вкладка показывает вашу речь, переведенную на этот язык в режиме реального времени. Вкладка «Original» показывает вашу непереведенную речь.
Доступные языковые вкладки соответствуют вашим активным целевым языкам.
Воспроизведение аудио TTS
Нажмите кнопку TTS, чтобы прослушать дублированный звук для выбранного языка прямо в вашем браузере. Это позволяет вам контролировать, что слышит ваша переведенная аудитория, не переключаясь на их поток.
Аудиоклипы воспроизводятся по мере поступления новых фрагментов транскрипции. Выключите TTS в любое время, чтобы отключить воспроизведение.
Тарифные планы и лимиты использования
StreamFluent использует ценообразование на основе использования. Субтитры не ограничены на каждом плане. Каждый план включает в себя ежемесячную квоту дублированных минут. Бесплатные планы имеют жесткий лимит; платные планы допускают перерасход с оплатой по факту использования.
| Ресурс | Бесплатно | Basic ($9.99/мес) | Starter ($27.99/мес) | Pro (67,99 долл. США в месяц) | Scale ($249.99/мес) |
|---|---|---|---|---|---|
| Субтитры включены | Неограниченно | Неограниченно | Неограниченно | Неограниченно | Неограниченно |
| Дублированный звук включен | 3 часа | 10 часов | 25 часов | 80 часов | 250 часов |
| Языки | 1 | До 2 | До 3 | До 7 | 15+ |
| Назначения (RTMP) | 1 | 1 | До 2 | Неограниченно | Неограниченно |
| При превышении | Жесткий лимит | Оплата по факту использования | Оплата по факту использования | Оплата по факту использования | Оплата по факту использования |
| Перерасход дублирования | — | $7.20/час | $7.20/час | $6.00/час | $4.80/час |
| Лимит расходов | — | Настраиваемый | Настраиваемый | Настраиваемый | Настраиваемый |
| Настройка субтитров | — | ✔ | ✔ | ✔ | ✔ |
| Custom Voice TTS | — | ✔ | ✔ | ✔ | ✔ |
| Вывод на несколько направлений | — | — | ✔ | ✔ | ✔ |
| RTMP Relay | ✔ | ✔ | ✔ | ✔ | ✔ |
| Клонирование голоса | — | — | — | ✔ | ✔ |
| Приоритетная поддержка | — | — | — | ✔ | ✔ |
Обзор API
Все маршруты API находятся в разделе /api/ и требуют аутентификации через cookie JWT или токен Bearer.
Аутентификация
Authorization: Bearer your_api_token_hereПолучите свой токен API на панели управления → Настройки → Ключ API. Токены привязаны к вашей учетной записи и могут быть сгенерированы повторно в любое время.
Назначения
/api/destinationsСписок всех настроенных назначений
/api/destinationsСоздать новое назначение
/api/destinations/:idОбновить назначение
/api/destinations/:idУдалить назначение
Голосовой профиль
/api/voiceПолучить текущий голосовой профиль и настройки
/api/voiceОбновить настройки голоса
/api/voice/uploadЗагрузить образец голоса
/api/voiceУдалить профиль голоса
Конфигурация потока
/api/stream/configПолучить конфигурацию потока
/api/stream/configОбновить конфигурацию потока
/api/stream/config/regenerate-keyСгенерировать новый ключ потока
Сессии
/api/sessionsСписок сессий потока (с разбивкой на страницы)
/api/sessions/:idПолучить одну сессию с подробностями
Использование
/api/usageПолучить использование за текущий месяц (минуты субтитров, минуты дубляжа, превышение лимита)