StreamFluent 文档
设置实时 AI 语音配音直播所需的一切。用您的语言直播,覆盖所有观众。
快速开始
使用 OBS 插件在五分钟内启动您的第一个配音直播。
创建您的帐户
使用电子邮件或社交登录(Google、Twitch、Kick)在 streamfluent.ai 上注册。您将立即进入您的仪表板。
安装 OBS 插件
从 OBS 插件页面下载适用于您操作系统的插件。将其安装到您的 OBS 插件文件夹中(或在 Windows 上运行安装程序)并重新启动 OBS。
登录并配置
在 OBS 中打开查看 → 停靠栏 → StreamFluent.ai。使用 Google、Twitch、Kick 或电子邮件登录。选择您的音频源,选择目标语言,并调整字幕和音量设置。
开始直播
点击 StreamFluent 停靠栏中的“连接”——连接后状态点会变为绿色。将配音音频和字幕源添加到您的场景中,然后像往常一样在 OBS 中开始直播。
工作原理
StreamFluent 实时处理您的语音——在您直播时将其翻译并重新配音成其他语言。
OBS 插件
推荐OBS 插件会捕获您的麦克风音频,并通过 WebSocket 连接将其发送到 StreamFluent 的 AI 管道。您的语音将被转录、翻译和重新配音——然后配音后的音频将作为混音器源直接返回到 OBS 中。
您的视频流直接发送到您的平台(Twitch、YouTube、Kick 等),而无需通过 StreamFluent 的服务器。只有音频会被远程处理,从而保持低延迟和流质量不受影响。
RTMP 中继
替代方案通过 RTMP 中继,您可以将您的流媒体软件指向 StreamFluent 的接收服务器,而不是您的平台。我们会接收您的完整流,通过 AI 管道处理音频,并将配音版本分发到您配置的目标。
视频将直接转发,无需重新编码。每个翻译后的音轨都会与您的原始视频重新混合,并推送到相应的目标频道。
AI 配音
AI 配音是 StreamFluent 的核心——实时语音翻译,可将您的语音转换为其他语言,供您直播。
配音原理
当配音激活时,StreamFluent 会运行三个阶段:语音识别将您的声音转换为文本,神经翻译将其调整为每种目标语言,语音合成使用您选择的语音配置文件生成口语音频。
整个过程的延迟不到一秒。配音后的音频与您的原始音频一起传送——使用 OBS 插件,它会显示为您可以独立控制的单独混音器源。
配音模式
您可以控制每种目标语言的配音方式:
| 模式 | 行为 |
|---|---|
| 自动 | 当目标语言与您的源语言不同时,配音到目标语言(默认) |
| 仅原始音频 | 传递您的原始音频,不进行配音——对您的母语输出很有用 |
| 仅字幕 | 没有配音音频——观众听到您的原始声音和翻译后的字幕 |
语音技术
StreamFluent 根据您的计划提供三个级别的语音技术。
| 级别 | 技术 | 计划 |
|---|---|---|
| 基础TTS | 具有自然语调的默认男性或女性AI声音 | 所有计划 |
| 自定义声音 | 从28种高级声音中选择,可选择每种语言的覆盖 | Basic+ |
| 语音克隆 | 克隆您自己的声音 - 录制一个30秒的样本,并以您的声音跨所有语言进行流式传输 | Pro+ |
设置您的声音
- 导航到仪表板侧边栏中的“声音”
- 选择您的声音类型:基本(男性/女性切换),自定义(浏览28种声音)或复制(克隆您的声音)
- 对于语音克隆:录制或上传一个 30 秒的样本。状态将更改:
未开始→处理中→就绪 - 在“语音”页面上预览任何支持语言的语音
语音设置
| 设置 | 范围 | 描述 |
|---|---|---|
| 语速 | 0.5x – 2.0x | 配音语音输出的速度 |
| 音高调整 | -12 到 +12 st | 以半音为单位向上或向下移动音高 |
| 情感保留 | 开启 / 关闭 | 在配音音频中保持情感基调 规模 |
支持的语言
StreamFluent 支持 32 种语言的语音识别(源)和翻译(目标)。每种语言都可以在两个方向上工作。
所有支持的语言都可以作为源语言(您说的语言)和目标语言(您翻译成的语言):
支持的平台
StreamFluent 适用于所有主流流媒体平台:
OBS 插件
OBS 插件是使用 StreamFluent 的推荐方式。它在本地捕获您的音频,通过我们的 AI 管道进行处理,并将配音后的音频直接返回到您的 OBS 混音器中。
工作原理
该插件通过 WebSocket 连接到 StreamFluent。您的麦克风音频被发送到我们的服务器,通过 AI 管道(语音识别 → 翻译 → 语音合成)进行处理,并将配音后的音频作为虚拟源返回到您的 OBS 混音器中。
您的视频流会直接发送到您的平台 — StreamFluent 不会触及它。只有音频会被远程处理,因此您的流质量和稳定性完全不受影响。
安装
- 从 OBS 插件设置页面下载适用于您操作系统的插件
- 将插件安装到您的 OBS 插件文件夹中 (macOS/Linux) 或运行安装程序 (Windows)
- 重启 OBS Studio
登录
在 OBS 中打开 视图 → 扩展程序 → StreamFluent.ai。您可以使用以下方式进行身份验证:
- Google、Twitch 或 Kick (OAuth)
- 电子邮件和密码
- 来自 仪表板 → 设置 的 API 密钥
配置
登录后,直接在扩展程序中配置您的配音设置:
- 音频源 — 选择要捕获的麦克风/音频输入
- 目标语言 — 选择一种或多种要配音成的语言
- 字幕样式 — 切换字幕并自定义外观
- 音量 — 调整配音音频和原始音频的音量
OBS 源
该插件为您添加到 OBS 场景中的每种目标语言创建虚拟源:
StreamFluent 配音 — [Language]目标语言的配音音轨
StreamFluent 字幕 — [Language]目标语言的实时字幕叠加
使用插件上线
- 在 StreamFluent 停靠栏中单击“连接” — 状态点变为绿色
- 将配音音频和字幕源添加到您的 OBS 场景
- 像往常一样在 OBS 中开始流式传输到您的平台
- 在停靠栏中监控转录,以确认音频正在被处理
Chrome 扩展
StreamFluent Chrome 扩展程序让观众可以实时观看任何直播,并将其配音成他们的语言。
工作原理
该扩展程序适用于 Twitch、YouTube、Kick、Rumble 和其他流媒体网站。它会捕获流媒体音频,通过 StreamFluent 的 AI 管道发送,并以您选择的语言播放配音音频——所有这些都是实时进行的,延迟不到一秒。
安装
- 访问 Chrome 网上应用店(StreamFluent 主页上的链接)
- 点击添加到 Chrome 并确认安装
- StreamFluent 图标会出现在您的浏览器工具栏中
设置
- 在任何受支持的流媒体网站上,点击工具栏中的 StreamFluent 图标
- 使用您的 StreamFluent 帐户(Google、Twitch、Kick 或电子邮件)登录
- 选择源语言(主播所说的语言)
- 选择目标语言(您想听到的语言)
- 为配音音频选择一个声音
- 点击开始配音
功能
RTMP 中继
RTMP 中继是所有计划中都可用的替代连接方法。您无需使用 OBS 插件,而是将您的流媒体软件指向 StreamFluent 的接收服务器。我们会处理您的音频并将配音流分发到您配置的目标。
工作原理
您的完整 RTMP 流(音频 + 视频)将发送到 StreamFluent 的接收服务器。我们会分离音频和视频——视频在不重新编码的情况下转发,音频通过 AI 管道处理。每个翻译后的音轨都与您的原始视频重新混合,并推送到相应的目标。
OBS Studio 设置
- 打开 OBS → 设置 → 推流 → 服务:自定义
- 将服务器设置为 rtmp://ingest.streamfluent.ai/live
- 从仪表板粘贴您的推流密钥
- 点击开始推流
Server: rtmp://ingest.streamfluent.ai/live
Stream Key: sk_live_xxxxxxxxxxxxxxxxxxxxxxxxStreamlabs Desktop 设置
- 打开 Streamlabs Desktop → 设置(齿轮图标)→ 直播
- 将直播类型设置为流媒体服务
- 选择服务:自定义
- 将服务器设置为 rtmp://ingest.streamfluent.ai/live
- 从您的 StreamFluent 仪表板粘贴您的直播密钥
- 点击完成,然后开始直播
目标
通过 RTMP 中继,您可以在 StreamFluent 仪表板中配置目标。目标是语言 + 平台 + 直播密钥的组合。
- 转到仪表板中的“目标”
- 点击“添加目标”
- 选择配音的目标语言
- 选择一个平台(Twitch、YouTube、Kick 或 Rumble)
- 输入您的频道名称和来自该平台的直播密钥
- 随时启用或禁用目标
在哪里找到流密钥
Twitch:仪表盘 → 设置 → 直播 → 主要流密钥
YouTube:YouTube 工作室 → 开始直播 → 直播设置 → 流密钥
Kick:仪表盘 → 设置 → 流密钥
Rumble:Rumble Studio → 直播设置 → 直播 URL & 密钥
最终目的地
最终目的地将您原始的、未经翻译的流转发到您的主频道。StreamFluent 位于您的编码器和平台之间——翻译后的版本会发送到语言目的地,而原始版本会发送到您的主频道。
将流传输到 StreamFluent,而不是直接传输到您的平台。我们会处理您的音频以用于翻译目的地,并同时将原始音频转发到您的主频道。
- 转到仪表板中的流设置
- 开启最终目的地
- 选择您的主要平台(Twitch、YouTube、Kick、Rumble 或自定义 RTMP URL)
- 输入您的主频道的流密钥
源语言
源语言告诉 StreamFluent 您所说的语言。这驱动语音识别、翻译方向和直通检测。
设置您的源语言
配置在 OBS 插件停靠栏或仪表板上的流设置中设置您的源语言(对于 RTMP 中继)。这会告诉 StreamFluent 您的麦克风音频是什么语言,并驱动整个管道:
- 语音转文本——识别引擎配置为您的源语言
- 翻译——文本从您的源语言翻译成每种目标语言
- 直通——与您的源语言匹配的目标语言完全跳过配音
用例示例
| 场景 | 源语言 | 目标语言 |
|---|---|---|
| 英语使用者覆盖全球观众 | 英语 | 西班牙语、日语、韩语等 |
| 日语使用者直播给英语观众 | 日语 | 英语、韩语、中文 |
| 拥有配音和原始频道的韩国主播 | 韩语 | 英语、日语 + 韩语(直通) |
音频设置
控制原始音频和配音音频在您的输出中如何混合。
| 设置 | 默认 | 描述 |
|---|---|---|
| 原始音量 | 20% | 在配音输出中,您的原始声音的音量 |
| 配音音量 | 100% | AI配音输出的音量 |
| 自动闪避 | 开启 | 当配音激活时,自动降低原始音频的音量 |
| 降噪 | 轻度 | 语音识别之前的音频预处理。选项:关闭、轻微、强烈。 降低背景噪音,以获得更清晰的转录。 |
字幕
将实时翻译的字幕添加到您的直播中。字幕独立于配音工作——可以单独使用,与配音一起使用,或者完全不使用。
启用字幕
配置在 OBS 插件停靠栏或仪表板上的流设置中切换字幕。所有计划的字幕都是无限的。
字幕设置
| 设置 | 选项 | 描述 |
|---|---|---|
| 位置 | 底部居中 / 顶部居中 | 字幕在视频中的显示位置 |
| 字体大小 | 16px – 48px | 字幕文本的大小(默认 38px) |
| 背景颜色 | 任何十六进制颜色 | 字幕框背景颜色(默认为黑色) |
| 背景不透明度 | 0.0 – 1.0 | 字幕背景的透明度(默认为 0.7) |
| 字体颜色 | 任何十六进制颜色 | 字幕文本颜色(默认为白色) |
| 字体 | Noto Sans CJK / 其他 | 字幕字体系列 |
| 字幕语言 | 已翻译 / 原始 | 字幕以翻译后的语言还是源语言显示 |
字幕语言模式
字幕语言设置控制字幕文本显示的语言:
| 模式 | 行为 | 最适合 |
|---|---|---|
| 已翻译 | 字幕以每种目标语言显示。 西班牙语输出显示西班牙语字幕,日语输出显示日语字幕。 | 完全本地化的直播,观众可以看到他们语言的所有内容 |
| 原始 | 字幕保留您的源语言。 音频被配音,但字幕保留原始语言。 | 配音音频 + 原始语言字幕,适合学习语言的观众 |
常用组合
配音音频+翻译字幕
完全本地化——观众听到和阅读他们自己的语言。
配音音频+原始字幕
配音 + 原始字幕——非常适合动漫风格的直播或语言学习者。
原始音频 + 翻译字幕
您真实的声音与翻译的字幕——适合喜欢真实声音的观众。
开始直播
配置完成后,只需点击几下即可使用 StreamFluent 上线。
使用 OBS 插件
- 1在 StreamFluent 停靠栏中单击“连接” — 等待绿色状态点
- 2验证您的配音音频和字幕源是否在您的场景中
- 3像往常一样在 OBS 中开始向您的平台直播
- 4监控停靠栏中的转录源,以确认音频正在被处理
使用 RTMP 中继
- 1确保您的 OBS 流输出指向 StreamFluent 的 RTMP 服务器
- 2验证您的目标已在仪表板中配置
- 3在 OBS 中点击开始直播
- 4在您的仪表板中打开实时监控器以查看实时状态
实时监控
仪表板中的 Live Monitor 可让您实时了解每个活动的语言输出、实时转录以及收听配音音频的功能。
语言卡片
每个活动的语言都显示为一张带有实时指标的卡片。您可以在直播中启用或禁用单个语言。
实时转录源
实时转录面板显示 StreamFluent 正在收听和翻译的内容。临时(进行中)文本以较浅的文本显示,直到最终确定。
语言标签
使用转录源上方的选项卡栏在翻译语言之间切换。每个选项卡都会实时显示您的语音翻译成该语言的内容。“原始”选项卡显示您未翻译的语音。
可用的语言选项卡与您激活的目标语言相匹配。
TTS 音频播放
单击 TTS 按钮可直接在浏览器中收听所选语言的配音音频。这使您可以监控翻译后的受众正在收听的内容,而无需切换到他们的流。
音频剪辑会在新的转录块到达时播放。随时关闭 TTS 以使播放静音。
计划和使用限制
StreamFluent 采用基于使用量的定价。每个计划的字幕都是无限的。每个计划都包含每月分配的配音分钟数。免费计划有硬性上限;付费计划允许按需付费超额使用。
| 资源 | 免费 | 基础版($9.99/月) | 入门版($27.99/月) | Pro($67.99/月) | 规模版($249.99/月) |
|---|---|---|---|---|---|
| 包含字幕 | 无限制 | 无限制 | 无限制 | 无限制 | 无限制 |
| 包含配音音频 | 3 小时 | 10 小时 | 25 小时 | 80 小时 | 250 小时 |
| 语言 | 1 | 最多 2 个 | 最多 3 个 | 最多 7 个 | 15+ |
| 目标 (RTMP) | 1 | 1 | 最多 2 个 | 无限制 | 无限制 |
| 超出时 | 硬性上限 | 按需付费 | 按需付费 | 按需付费 | 按需付费 |
| 配音超额 | — | $7.20/小时 | $7.20/小时 | $6.00/小时 | $4.80/小时 |
| 消费限额 | — | 可配置 | 可配置 | 可配置 | 可配置 |
| 字幕自定义 | — | ✔ | ✔ | ✔ | ✔ |
| 自定义语音 TTS | — | ✔ | ✔ | ✔ | ✔ |
| 多目标输出 | — | — | ✔ | ✔ | ✔ |
| RTMP Relay | ✔ | ✔ | ✔ | ✔ | ✔ |
| 声音克隆 | — | — | — | ✔ | ✔ |
| 优先支持 | — | — | — | ✔ | ✔ |
API 概述
所有 API 路由都位于 /api/ 下,并且需要通过 JWT Cookie 或 Bearer 令牌进行身份验证。
身份验证
Authorization: Bearer your_api_token_here从“仪表盘”→“设置”→“API 密钥”获取您的 API 令牌。令牌的作用域限定为您的帐户,并且可以随时重新生成。
目标
/api/destinations列出所有已配置的目标
/api/destinations创建一个新目标
/api/destinations/:id更新目标
/api/destinations/:id删除目标
语音配置文件
/api/voice获取当前语音配置文件和设置
/api/voice更新语音设置
/api/voice/upload上传语音样本
/api/voice删除语音配置文件
流配置
/api/stream/config获取流配置
/api/stream/config更新流配置
/api/stream/config/regenerate-key生成新的流密钥
会话
/api/sessions列出流会话(分页)
/api/sessions/:id获取包含详细信息的单个会话
使用情况
/api/usage获取当月使用情况(字幕分钟数、配音分钟数、超额用量)