Twitchのどこかで、サンパウロの配信者が、インターネット史上最も印象的なスピードランを繰り広げています。彼らの解説はエネルギッシュで、チャットは大盛り上がり。8,000人の同時視聴者がいて、全員がポルトガル語を話しています。

地球の裏側では、何百万人もの英語を話す視聴者が、この配信者の存在を知ることはありません。コンテンツの質が低いからではありません。ゲームプレイが足りないからでもありません。しかし、最初のウェブカメラがライブ配信を開始して以来、オンラインエンターテイメントの境界線を定義してきた、目に見えない壁、つまり言語のせいです。

今日、私たちはその壁を打ち壊します。

StreamFluentは、ライブ配信者向けに特別に構築された、世界初のリアルタイムAI音声吹き替えおよびキャプションプラットフォームです。 あなたは母国語で一度配信するだけ。StreamFluentがそれを聞き取り、文字起こし、翻訳し、あなたのストリームを再音声化します。最大15以上の言語で、それぞれTwitch、YouTube、Kick、またはRTMP互換プラットフォーム上の独自のチャンネルに配信されます。

これはポストプロダクションの吹き替えではありません。VODアップロード後に追加する字幕でもありません。これは、あなたがゲームをしたり、リアクションしたり、視聴者とチャットしたりしている間、ライブで、1秒以下の遅延で起こります。

私たちがどのようにしてここにたどり着いたのか、何を構築したのか、そしてなぜこれがクリエイターにとってすべてを変えると信じているのかを説明させてください。

課題：言語はライブストリーミングにおける最後の障壁

ストリーミング業界は、他のほとんどすべての配信問題を解決してきました。あなたは自分の寝室からライブ配信し、すべての大陸の視聴者にリーチできます。プラットフォームは、ビデオをミリ秒単位で配信するグローバルCDNを持っています。ディスカバリーアルゴリズムは、コンテンツを24時間体制で新しい視聴者に表示します。決済システムにより、東京のファンがトロントのクリエイターにチップを送ることができます。

しかし、言語はどうでしょうか？言語は依然として手強い壁です。

計算してみてください。Twitchだけでも約250万人のアクティブな配信者がいます。その大多数は単一の言語で配信しています。英語が欧米のプラットフォームを支配していますが、最も急速に成長しているストリーミングコミュニティはスペイン語、ポルトガル語、日本語、韓国語、ヒンディー語です。これらの視聴者は大規模で、熱心ですが、互いに大きく隔離されています。

素晴らしいゲームプレイと魅力的な個性を持つスペイン語を話す配信者は、潜在的な視聴者がスペイン語を話せない瞬間に限界に達します。同じことが逆にも当てはまります。5万人の忠実なコミュニティを持つ英語のクリエイターは、5億人の日本語を話すインターネットユーザーに実質的にリーチできません。

これは小さな問題ではありません。これはクリエイターエコノミー全体における単一の最大の未開拓の成長レバーです。そして、これまで、その解決策は存在しないか、笑えるほど非現実的でした。

手動翻訳？ 音声通話で、すべてのストリーム、すべての言語で、ライブで人間の通訳者が必要になります。コストだけでも法外です。遅延により視聴に耐えられません。
ストリーム後の字幕？ VODにとっては何も無いよりはマシですが、ライブ視聴には何の役にも立ちません。お金、コミュニティ、勢いはライブ視聴にあるのです。
ブラウザベースのキャプションオーバーレイ？ いくつかのツールは存在しますが、テキストキャプションのみを処理し、複雑なOBSプラグインの設定が必要であり、根本的な問題を解決しません。あなたの声は依然として1つの言語のままです。

ストリーミングの世界は、まったく新しい何かを必要としていました。音声を処理し、翻訳し、新しい音声を合成できるシステム。すべてリアルタイムで、配信者がワークフローを変更することなく。

それが私たちが構築したものです。

私たちが構築したもの：ライブストリーム用のリアルタイムAI吹き替え

StreamFluentは、ストリーミングエンコーダー（OBS Studio、Streamlabs、またはRTMP互換ソフトウェア）と宛先プラットフォームの間にあるリアルタイムAIパイプラインです。ライブ配信を開始すると、次のことが起こります。

あなたは通常どおり母国語でストリーミングします。OBSのRTMP宛先URLを除いて、設定は何も変更されません。
StreamFluentは、当社のRTMPリレーサーバーを介してストリームを取り込みます。 あなたのビデオはそのまま通過します。ビデオを再エンコードすることはありません。
当社のAIパイプラインは、リアルタイムでオーディオを処理します。 音声認識があなたの発言を文字起こしし、機械翻訳がそれをターゲット言語に変換し、ニューラルテキスト読み上げが各言語の新しい音声トラックを合成します。
翻訳された各ストリームは、 吹き替えられたオーディオトラックとオプションの焼き込みキャプションとともに、個別の宛先（個別のTwitchチャンネル、YouTubeストリーム、またはKickチャンネル）に配信されます。

結果：あなたは一度ストリームします。あなたの視聴者は15の言語で視聴します。各バージョンは自然に聞こえ、同期が維持され、1秒以下の遅延で到着します。

各部分を分解してみましょう。

音声認識（STT）

パイプラインの最初の段階は、自動音声認識です。StreamFluentのSTTエンジンは、ノイズの多いゲーム環境でも、リアルタイムでオーディオを処理し、音声を高精度でテキストに変換します。私たちは、ストリーミングのユースケース（早口の解説、バックグラウンドのゲームオーディオ、重なり合うサウンド、ライブブロードキャストの一般的な混乱）に特化して最適化しました。

機械翻訳

トランスクリプトを取得したら、翻訳レイヤーがそれを設定されたターゲット言語に変換します。現在、15の言語（スペイン語、日本語、ポルトガル語、フランス語、ドイツ語、韓国語、中国語（北京語）、イタリア語、ロシア語、アラビア語、ヒンディー語、トルコ語、オランダ語、ポーランド語、タイ語）をサポートしており、さらに追加予定です。

翻訳エンジンは、会話的でインフォーマルなスピーチ（配信者が実際に話す方法）に合わせて調整されており、一般的なドキュメント翻訳者から得られるような堅苦しいフォーマルな出力ではありません。

ニューラルテキスト読み上げ（TTS）

ここが魔法が起こる場所です。StreamFluentは、翻訳されたテキストを表示するだけではありません。それを話します。当社のTTSエンジンは、ターゲット言語で自然な音声を作成し、リアルタイムで合成します。

Proプランでは、わずか30秒のオーディオサンプルからカスタム音声モデルを作成できます。システムは、あなたの声の特徴（トーン、ケイデンス、エネルギー）を学習し、それを翻訳された出力に適用します。あなたのスペイン語のストリームは、一般的なロボットではなく、スペイン語を話すあなたのように聞こえます。

Businessプランでは、感情保持による完全な音声複製を展開しています。吹き替えられた音声は、あなたの興奮、不満、ユーモアを言語を超えて伝えます。（この機能は近日公開予定で、初期のテスターはそれを「不気味」と呼んでいます。）

ビデオパススルー

重要な設計上の決定：ビデオを再エンコードすることはありません。1080p60または4Kストリームは、当社のリレーサーバーをビット単位で通過します。オーディオトラックのみを処理します（オプションでキャプションオーバーレイを焼き込みます）。これは、品質の低下がゼロ、追加される遅延が最小限、およびエンドでの追加のGPUコストがないことを意味します。

仕組み：2分以内でセットアップ

StreamFluentを非常に簡単にセットアップできるようにこだわりました。インストールするプラグイン、構成する仮想オーディオケーブル、苦労するブラウザソースはありません。フロー全体は次のとおりです。

ステップ1：アカウントを作成する

メールでstreamfluent.aiにサインアップするか、Twitch、YouTube、またはGoogleアカウントに直接接続します。無料プランはすぐに利用できます。クレジットカードは必要ありません。

ステップ2：音声をセットアップする

ProおよびBusinessユーザーの場合は、ダッシュボードで30秒の音声サンプルを直接録音します。当社のシステムはこれを使用して、カスタム音声プロファイルを作成します。発話速度（0.5倍から2.0倍）とピッチ（-12から+12半音）を調整して、吹き替えられた音声の聞こえ方を微調整できます。

無料プランのユーザーは、高品質の標準TTS音声にアクセスできます。それでも自然に聞こえますが、特定の音声にパーソナライズされていません。

ステップ3：宛先を追加する

ここでは、各言語の宛先を設定します。ターゲット言語ごとに、次を指定します。

言語（例：スペイン語、日本語）
プラットフォーム（Twitch、YouTube、Kick、またはカスタムRTMP URL）
そのチャンネルのストリームキー
吹き替えモード：完全なAI吹き替え、キャプションのみ、またはその両方

プランで許可されている限り多くの宛先を実行できます。無料プランでは1つ、Proでは最大3つ、Businessでは無制限です。

ステップ4：OBSを接続してライブ配信を開始する

これは誰もが驚く部分です。OBSでストリームURLを変更するだけです。それだけです。

OBS Studio→設定→ストリーム→「カスタム...」を選択→StreamFluent RTMP URLとストリームキーを貼り付けます。これらはダッシュボードで自動的に生成されます。

サーバー：rtmp://ingest.streamfluent.ai/live
ストリームキー：（ダッシュボードからの一意のキー）

OBSで「ストリーミング開始」をクリックします。StreamFluentがそこから引き継ぎます。元のストリームはメインチャンネルに送信され（パススルー宛先を設定している場合）、翻訳された各バージョンはそれぞれのプラットフォームチャンネルに送信されます。

プラグインはありません。仮想オーディオドライバーはありません。ブラウザソースはありません。エンコーダーがRTMPを出力できる場合（そして事実上すべてがそうである場合）、StreamFluentで動作します。

キャプションと吹き替え：宛先ごとの完全な制御

ベータ版で最もリクエストの多かった機能の1つは、宛先ごとのキャプションと吹き替えのきめ細かい制御でした。視聴者によって好みは異なり、配信者に完全な柔軟性を提供したいと考えました。

仕組みは次のとおりです。

吹き替えモード

各宛先は、次の3つのモードのいずれかに設定できます。

自動吹き替え：宛先言語がソース言語と異なる場合、完全なAI音声吹き替えが適用されます。これはデフォルトであり、最も一般的な設定です。
キャプションのみ：元の音声は保持されますが、翻訳されたキャプションがビデオに焼き込まれます。元の音声を聞きたいが、翻訳支援が必要な視聴者に最適です。
オリジナルのみ：ストリームは吹き替えもキャプションもなしで通過します。「ホーム」言語の宛先に役立ちます。

焼き込みキャプション

StreamFluentのキャプションシステムは、翻訳されたテキストをビデオフィードに直接レンダリングします。視聴者側の拡張機能や設定は必要ありません。視聴しているすべての人が、デバイスやプラットフォームに関係なく、キャプションを表示します。

カスタマイズできます。

位置：下部中央または上部中央
フォントサイズ：16px〜48px（デフォルト24px）
言語：キャプションは宛先言語と一致します

キャプションは吹き替えとは独立して動作します。一部の宛先でキャプションのみを実行し、他の宛先で完全な吹き替えを実行できます。最大限のアクセシビリティのために、両方（吹き替えられたオーディオと一致するキャプション）を実行することもできます。

オーディオミキシング

吹き替えがアクティブな場合、StreamFluentはオーディオミキシングを自動的に処理します。

元のオーディオボリューム：デフォルトは20％（元の音声は微妙なバックグラウンドになり、自然なストリームサウンドを保持します）
吹き替えられたオーディオボリューム：デフォルトは100％
自動ダッキング：吹き替えられた音声が話されている場合、元のオーディオは自動的に下げられます。無音の場合（ゲームプレイオーディオのみ、音声なし）、元のオーディオが再び上がります。

これらはすべて、ダッシュボードからストリームごとに調整可能です。

信頼性のために構築：問題が発生した場合の対処方法

ライブストリーミングは容赦がありません。何かが壊れた場合、「元に戻す」ことはできません。私たちは、StreamFluentをこの現実をすべてのアーキテクチャ上の決定の中核に据えて構築しました。

レイテンシーモード

ユースケースが異なれば、レイテンシーと品質のトレードオフも異なります。StreamFluentは3つのモードを提供します。

超低レイテンシー（<500ms）：競争の激しいゲームやペースの速いインタラクション向け。Businessプランで利用できます。
バランス（<1秒）：ほとんどの配信者に推奨されるデフォルト。ProおよびBusinessで利用できます。
品質（<2秒）：速度よりも翻訳の精度を優先します。トークヘビーなコンテンツに最適です。

フォールバック動作

AIパイプラインがストリームの途中で問題に遭遇した場合（短いネットワークの不具合、一時的な処理の遅延）、StreamFluentはクラッシュしたり、無音になったりするだけではありません。何が起こるかを設定します。

パススルー（デフォルト）：元の、翻訳されていないオーディオがパイプラインが回復するまで出力されます。視聴者はあなたの母国語であなたをしばらく聞き、その後、吹き替えがシームレスに再開されます。
ミュート：吹き替えられたオーディオトラックが一時的に無音になります。翻訳されていないオーディオよりも無音の方が良い場合に役立ちます。
オーバーレイを表示：翻訳が一時的に利用できないことを示す短い画面上のメッセージ。

ライブモニタリングダッシュボード

ライブ配信中、StreamFluentダッシュボードはリアルタイムのコマンドセンターを提供します。

宛先ごとのステータス：各言語出力が正常かどうか、視聴者数とレイテンシーとともに確認します
オーディオレベル：各出力ストリームのビジュアルメーター
ライブトランスクリプションフィード：すべての言語でリアルタイムのトランスクリプトを表示し、タブを切り替えてそれらを切り替えます
TTSプレビュー：ブラウザで吹き替えられたオーディオを直接聞いて、品質を確認します
ストリーム中のコントロール：ストリームを停止せずに個々の宛先を有効または無効にします

ビジョン：すべての配信者がグローバルな視聴者を持つ世界

言語がクリエイターの天井を決定すべきではないと信じているため、StreamFluentを開始しました。

インターネットは国境のないものであるはずでした。そして、多くの点で、そうです。世界中のどこからでもストリームを瞬時に見ることができます。しかし、「見る」ことと「理解する」ことはまったく異なります。ソウルの視聴者は、技術的にはブラジルのTwitchチャンネルをロードできるかもしれませんが、言われていることを一言も理解できない場合、数秒で離れます。

これにより、目に見えない分離が発生します。ストリーミングの世界は言語サイロに分断されており、クリエイターはそれらに閉じ込められています。メキシコシティの素晴らしいエンターテイナーが、日本の市場に自然にリーチすることはありません。10万人の忠実なフォロワーを持つ韓国のバラエティ配信者は、10倍大きい英語を話す視聴者への道を持っていません。

StreamFluentは橋です。

私たちは、次のような未来を思い描いています。

ブエノスアイレスの配信者がライブ配信を開始し、東京、ベルリン、ムンバイ、ロサンゼルスの視聴者を同時に楽しませます。全員が自分の言語で、クリエイターの声のように聞こえる声でストリームを聞きます。
言語はディスカバリーアルゴリズムの変数ではなくなります。コンテンツの品質がすべてです。
才能は言語間で均等に分散されていますが、機会はもはやそうである必要がないため、クリエイターの中間層がグローバルに拡大します。
多言語コミュニティがクリエイターを中心に形成され、チャット翻訳とクロス言語インタラクションがネイティブ機能として提供されます（はい、それにも取り組んでいます）。

これは大きなビジョンです。まだそこには到達していません。しかし、今日のローンチにより、基盤が整いました。

価格設定：無料で開始し、成長に合わせてスケール

StreamFluentの価格設定は、あらゆるレベルのクリエイターがアクセスできるように設計しました。

無料プラン — 月額$0

月あたり30分のキャプションと15分の吹き替え
1つのターゲット言語
標準TTS音声
ライブモニタリングダッシュボードへのフルアクセス
クレジットカードは必要ありません

一般的な1時間のストリームでは、約30分のキャプション時間と35分の吹き替え時間を使用します（実際の音声処理時間を測定します。壁時計時間ではありません。したがって、一時停止、ゲームプレイのみのセグメント、および無音はカウントされません）。無料プランでは、完全なストリームをテストし、品質を直接体験するのに十分な時間が与えられます。

Proプラン — 月額$29

月あたり600分のキャプションと300分の吹き替え（〜20時間のストリーミング）
最大3つのターゲット言語
30秒のサンプルからのカスタム音声モデル
複数のプラットフォームへのRTMPリレー配信
オーディオミキシングコントロール
超過分の設定可能な支出制限
14日間の無料トライアル

Businessプラン — 月額$79

無制限のキャプションと月あたり1,200分の吹き替え（〜80時間のストリーミング）
無制限のターゲット言語
超低レイテンシーモード（<500ms）
高度な音声チューニング
感情保持による音声複製（近日公開予定）
優先サポート

エンタープライズ — カスタム価格

すべて無制限
専用リレーインフラストラクチャ
カスタムAPI統合
SLA保証
ホワイトラベルオプション

すべての有料プランは精密な測定を使用します。AIが実際に作業している秒数のみをカウントします。10分間無音でゲームをしている場合、それは0分のキャプションと0分の吹き替えです。使用した分だけ支払い、それ以上は支払いません。

有料プランには、設定可能な支出制限も含まれているため、超過料金に驚かされることはありません。含まれている時間で完全に停止するには$0に設定するか、中断のないストリーミングのためにキャップを完全に削除します。

今すぐ試す

StreamFluentはライブ配信されています。無料プランはstreamfluent.aiで今すぐ利用できます。クレジットカードは不要です。コミットメントもありません。サインアップし、RTMP URLをOBSに貼り付けて、世界にストリーミングするだけです。

言語の壁がなければ、あなたの視聴者がどのように見えるか疑問に思ったことがあるクリエイターなら、これがあなたの答えです。

言語を理解できなかったために、素晴らしいストリームから離れてしまったことがある視聴者なら、そのような日々は終わります。

最高のコンテンツは、言語に関係なく勝つべきだと信じているため、StreamFluentを構築しました。そして今日から、それが可能になります。

あなたの声。すべての言語。さあ、始めましょう。

無料で吹き替えを開始→

StreamFluentは、Twitch、YouTube、Kick、およびRTMP互換プラットフォームをサポートしています。現在15の言語で利用可能で、定期的に追加されています。ご質問はありますか？support@streamfluent.aiまでお問い合わせいただくか、ドキュメントをご確認ください。

StreamFluent登場：ライブ配信者向け世界初のリアルタイムAI音声翻訳が公開