Späť na blog

StreamFluent: Prvá AI hlasová prekladateľská služba v reálnom čase pre live streamerov je spustená.

S

StreamFluent

16. februára 202613 min čítania0 zobrazení
StreamFluent: Prvá AI hlasová prekladateľská služba v reálnom čase pre live streamerov je spustená.

Práve teraz, niekde na Twitchi, streamer v São Paulo predvádza jeden z najpôsobivejších speedrunov, aké kedy internet videl. Jeho komentár je elektrizujúci. Jeho chat exploduje. Má 8 000 súčasných divákov a každý jeden z nich hovorí po portugalsky.

Na druhej strane planéty sa anglicky hovoriace publikum s miliónmi nikdy nedozvie, že tento streamer existuje. Nie preto, že obsah nie je dostatočne dobrý. Nie preto, že hrateľnosť tam nie je. Ale kvôli jedinej, neviditeľnej stene, ktorá definovala hranice online zábavy od doby, keď sa prvá webkamera spustila: jazyk.

Dnes túto stenu búrame.

StreamFluent je prvá platforma na svete pre AI hlasový dabing a titulky v reálnom čase, vytvorená špeciálne pre živých streamerov. Streamujete raz, vo svojom rodnom jazyku. StreamFluent počúva, prepisuje, prekladá a prehlasuje váš stream – až do 15+ jazykov – každý doručený na svoj vlastný kanál na Twitchi, YouTube, Kicku alebo akejkoľvek platforme kompatibilnej s RTMP.

Toto nie je postprodukčný dabing. Toto nie sú titulky, ktoré pridávate po nahratí VOD. Toto sa deje naživo, s latenciou pod sekundu, zatiaľ čo hráte, reagujete alebo chatujete so svojím publikom.

Dovoľte nám vysvetliť, ako sme sa sem dostali, čo sme vytvorili a prečo veríme, že toto mení všetko pre tvorcov.


Problém: Jazyk je posledná bariéra v živom streamovaní

Streamovací priemysel vyriešil takmer všetky ostatné distribučné problémy. Môžete ísť naživo zo svojej spálne a osloviť divákov na každom kontinente. Platformy majú globálne CDN, ktoré doručujú video v milisekundách. Objavovacie algoritmy zobrazujú obsah novému publiku nepretržite. Platobné systémy umožňujú fanúšikom v Tokiu dať tip tvorcovi v Toronte.

Ale jazyk? Jazyk je stále tvrdá stena.

Zvážte matematiku. Len na Twitchi je približne 2,5 milióna aktívnych streamerov. Drvivá väčšina z nich streamuje v jednom jazyku. Angličtina dominuje západným platformám, ale najrýchlejšie rastúce streamovacie komunity sú v španielčine, portugalčine, japončine, kórejčine a hindčine. Tieto publiká sú rozsiahle, angažované a do značnej miery oddelené od seba.

Španielsky hovoriaci streamer s neuveriteľnou hrateľnosťou a magnetickou osobnosťou narazí na strop v momente, keď jeho potenciálny divák nehovorí po španielsky. To isté platí aj naopak – anglický tvorca s vernou komunitou 50 000 ľudí má v podstate nulový dosah na 500 miliónov používateľov internetu hovoriacich po japonsky.

Toto nie je malý problém. Je to najväčšia nevyužitá páka rastu v celej ekonomike tvorcov. A doteraz boli riešenia buď neexistujúce, alebo smiešne nepraktické:

  • Manuálny preklad? Potrebovali by ste ľudského tlmočníka na hlasovom hovore, naživo, pre každý stream, v každom jazyku. Už len samotné náklady sú neúnosné. Latencia to robí nesledovateľným.
  • Titulky po streame? Lepšie ako nič pre VOD, ale nerobia nič pre živé sledovanie – kde sú peniaze, komunita a dynamika.
  • Prekrytia titulkov založené na prehliadači? Existuje niekoľko nástrojov, ale zvládajú iba textové titulky, vyžadujú zložité nastavenia pluginov OBS a neriešia zásadný problém: váš hlas je stále v jednom jazyku.

Streamovací svet potreboval niečo úplne nové. Systém, ktorý by dokázal spracovať reč, preložiť ju a syntetizovať nový hlas – všetko v reálnom čase, všetko bez toho, aby streamer zmenil svoj pracovný postup.

To je to, čo sme vytvorili.


Čo sme vytvorili: AI dabing v reálnom čase pre živé streamy

StreamFluent je AI pipeline v reálnom čase, ktorý sedí medzi vaším streamovacím enkodérom (OBS Studio, Streamlabs alebo akýkoľvek softvér kompatibilný s RTMP) a vašimi cieľovými platformami. Tu je to, čo sa stane, keď idete naživo:

  1. Streamujete normálne vo svojom rodnom jazyku. Na vašom nastavení sa nič nemení okrem cieľovej adresy URL RTMP v OBS.
  2. StreamFluent prijíma váš stream prostredníctvom našich RTMP relay serverov. Vaše video prechádza nedotknuté – nikdy neprekódovávame vaše video.
  3. Naša AI pipeline spracováva váš zvuk v reálnom čase: rozpoznávanie reči prepisuje to, čo hovoríte, strojový preklad to konvertuje do vašich cieľových jazykov a neurálna syntéza reči vytvára novú hlasovú stopu pre každý jazyk.
  4. Každý preložený stream je doručený do svojho vlastného cieľa – samostatný kanál Twitch, stream YouTube alebo kanál Kick – spolu s dabovanou zvukovou stopou a voliteľnými vloženými titulkami.

Výsledok: streamujete raz. Vaše publikum sleduje v pätnástich jazykoch. Každá verzia znie prirodzene, zostáva synchronizovaná a prichádza s latenciou pod sekundu.

Rozoberme si každý kúsok.

Rozpoznávanie reči (STT)

Prvou fázou pipeline je automatické rozpoznávanie reči. STT engine StreamFluent spracováva váš zvuk v reálnom čase a konvertuje reč na text s vysokou presnosťou aj v hlučnom hernom prostredí. Optimalizovali sme špeciálne pre prípad použitia streamovania – rýchle komentáre, zvuk na pozadí hry, prekrývajúce sa zvuky a všeobecný chaos živého vysielania.

Strojový preklad

Keď máme váš prepis, naša prekladová vrstva ho konvertuje do vašich nakonfigurovaných cieľových jazykov. V súčasnosti podporujeme 15 jazykov: španielčinu, japončinu, portugalčinu, francúzštinu, nemčinu, kórejčinu, čínštinu (mandarínsku), taliančinu, ruštinu, arabčinu, hindčinu, turečtinu, holandčinu, poľštinu a thajčinu – a ďalšie sú na ceste.

Prekladový engine je vyladený pre konverzačnú, neformálnu reč – spôsob, akým streameri skutočne hovoria – nie pre strnulý, formálny výstup, ktorý by ste získali z generického prekladača dokumentov.

Neurálna syntéza reči (TTS)

Tu sa dejú kúzla. StreamFluent nezobrazuje iba preložený text. On ho hovorí. Náš TTS engine generuje prirodzene znejúci hlas v cieľovom jazyku, syntetizovaný v reálnom čase.

Na našom Pro pláne si môžete vytvoriť vlastný hlasový model iba z 30-sekundovej zvukovej vzorky. Systém sa naučí charakteristiky vášho hlasu – tón, kadenciu, energiu – a aplikuje ich na preložený výstup. Váš španielsky stream znie ako vy hovoriaci po španielsky, nie ako generický robot.

Na našom Business pláne zavádzame plnú replikáciu hlasu so zachovaním emócií – dabovaný hlas bude prenášať vaše nadšenie, frustráciu a humor naprieč jazykmi. (Táto funkcia prichádza čoskoro a prví testeri ju nazvali „desivou“.)

Video Passthrough

Kritické rozhodnutie o dizajne: nikdy neprekódovávame vaše video. Váš 1080p60 alebo 4K stream prechádza cez naše relay servery bit po bite. Dotýkame sa iba zvukovej stopy (a voliteľne vkladáme prekrytia titulkov). To znamená nulovú stratu kvality, minimálnu pridanú latenciu a žiadne ďalšie náklady na GPU na vašej strane.


Ako to funguje: Nastavenie za menej ako 2 minúty

Boli sme posadnutí tým, aby bolo nastavenie StreamFluent smiešne jednoduché. Nie je potrebné inštalovať žiadne pluginy, konfigurovať žiadne virtuálne audio káble, ani zápasiť so žiadnymi zdrojmi prehliadača. Tu je celý postup:

Krok 1: Vytvorte si svoj účet

Zaregistrujte sa na streamfluent.ai so svojím e-mailom alebo sa pripojte priamo so svojím účtom Twitch, YouTube alebo Google. Bezplatná úroveň je k dispozícii okamžite – nie je potrebná žiadna kreditná karta.

Krok 2: Nastavte si svoj hlas

Pre používateľov Pro a Business nahrajte 30-sekundovú hlasovú vzorku priamo na paneli. Náš systém to používa na vytvorenie vášho vlastného hlasového profilu. Môžete upraviť rýchlosť reči (0,5x až 2,0x) a výšku tónu (-12 až +12 poltónov), aby ste doladili, ako znie váš dabovaný hlas.

Používatelia bezplatnej úrovne majú prístup k našim vysokokvalitným štandardným hlasom TTS – stále znejú prirodzene, len nie sú prispôsobené vášmu konkrétnemu hlasu.

Krok 3: Pridajte svoje ciele

Tu konfigurujete, kam ide každý jazyk. Pre každý cieľový jazyk určíte:

  • Jazyk (napr. španielčina, japončina)
  • Platformu (Twitch, YouTube, Kick alebo akákoľvek vlastná adresa URL RTMP)
  • Streamovací kľúč pre daný kanál
  • Režim dabingu: plný AI dabing, iba titulky alebo oboje

Môžete spustiť toľko cieľov, koľko vám váš plán umožňuje – jeden na bezplatnej úrovni, až tri na Pro a neobmedzene na Business.

Krok 4: Pripojte OBS a choďte naživo

Tu je časť, ktorá každého prekvapí: stačí zmeniť adresu URL streamu v OBS. To je všetko.

Prejdite do OBS Studio → Nastavenia → Stream → vyberte „Vlastné...“ → vložte svoju adresu URL RTMP StreamFluent a streamovací kľúč. Tieto sa generujú automaticky na vašom paneli.

Server: rtmp://ingest.streamfluent.ai/live
Streamovací kľúč: (váš jedinečný kľúč z panela)

Stlačte „Spustiť streamovanie“ v OBS. StreamFluent prevezme kontrolu odtiaľto. Váš pôvodný stream ide do vášho hlavného kanála (ak ste nakonfigurovali cieľ passthrough) a každá preložená verzia ide do svojho príslušného kanála platformy.

Žiadne pluginy. Žiadne virtuálne audio ovládače. Žiadne zdroje prehliadača. Ak váš enkodér dokáže produkovať RTMP – a prakticky všetky to dokážu – funguje so StreamFluent.


Titulky a dabing: Plná kontrola, pre každý cieľ

Jednou z najžiadanejších funkcií počas našej beta verzie bola podrobná kontrola nad titulkami a dabingom na základe jednotlivých cieľov. Rôzne publiká majú rôzne preferencie a chceli sme dať streamerom úplnú flexibilitu.

Funguje to takto:

Režimy dabingu

Každý cieľ je možné nastaviť do jedného z troch režimov:

  • Automatický dabing: Ak sa cieľový jazyk líši od vášho zdrojového jazyka, použije sa plný AI hlasový dabing. Toto je predvolené a najbežnejšie nastavenie.
  • Iba titulky: Váš pôvodný hlas je zachovaný, ale do videa sú vložené preložené titulky. Skvelé pre publikum, ktoré uprednostňuje počuť pôvodný hlas, ale potrebuje pomoc s prekladom.
  • Iba originál: Stream prechádza bez dabingu a bez titulkov. Užitočné pre váš „domáci“ jazykový cieľ.

Vložené titulky

Systém titulkov StreamFluent vykresľuje preložený text priamo do video kanála – nie je potrebné žiadne rozšírenie alebo nastavenie na strane diváka. Každý, kto sleduje, vidí titulky bez ohľadu na svoje zariadenie alebo platformu.

Môžete si prispôsobiť:

  • Pozíciu: Dolné stred alebo horné stred
  • Veľkosť písma: 16px až 48px (predvolené 24px)
  • Jazyk: Titulky zodpovedajú cieľovému jazyku

Titulky fungujú nezávisle od dabingu. Môžete spustiť iba titulky na niektorých cieľoch a plný dabing na iných. Môžete dokonca spustiť obidve – dabovaný zvuk so zodpovedajúcimi titulkami – pre maximálnu dostupnosť.

Zmiešavanie zvuku

Keď je dabing aktívny, StreamFluent automaticky spracováva zmiešavanie zvuku:

  • Pôvodná hlasitosť zvuku: Predvolene 20 % (váš pôvodný hlas sa stáva jemným pozadím, ktoré zachováva prirodzené zvuky streamu)
  • Hlasitosť dabovaného zvuku: Predvolene 100 %
  • Automatické stíšenie: Keď hovorí dabovaný hlas, pôvodný zvuk sa automaticky zníži. Keď je ticho (iba zvuk hry, žiadna reč), pôvodný zvuk sa vráti.

Všetky tieto je možné upraviť pre každý stream z panela.


Vytvorené pre spoľahlivosť: Čo sa stane, keď sa niečo pokazí

Živé streamovanie je neúprosné. Ak sa niečo pokazí, neexistuje žiadne „späť“. StreamFluent sme vytvorili s touto realitou v jadre každého architektonického rozhodnutia.

Režimy latencie

Rôzne prípady použitia si vyžadujú rôzne kompromisy medzi latenciou a kvalitou. StreamFluent ponúka tri režimy:

  • Ultra-nízka latencia (< 500 ms): Pre súťažné hranie a rýchlu interakciu. K dispozícii na Business pláne.
  • Vyvážená (< 1 sekunda): Odporúčaný predvolený režim pre väčšinu streamerov. K dispozícii na Pro a Business.
  • Kvalita (< 2 sekundy): Uprednostňuje presnosť prekladu pred rýchlosťou. Najlepšie pre obsah s rozsiahlymi rozhovormi.

Správanie pri zlyhaní

Ak sa AI pipeline stretne s problémom uprostred streamu – krátke sieťové šklbnutie, momentálne oneskorenie spracovania – StreamFluent jednoducho nespadne alebo nezostane ticho. Nakonfigurujete, čo sa stane:

  • Prechod (predvolené): Pôvodný, nepreložený zvuk sa vydáva, kým sa pipeline neobnoví. Vaše publikum vás na chvíľu počuje vo vašom rodnom jazyku, potom dabing plynule pokračuje.
  • Stlmiť: Dabovaná zvuková stopa na krátko stíchne. Užitočné, ak by ste radšej mali ticho ako nepreložený zvuk.
  • Zobraziť prekrytie: Krátka správa na obrazovke indikuje, že preklad je dočasne nedostupný.

Panel monitorovania naživo

Počas živého vysielania vám panel StreamFluent poskytuje riadiace centrum v reálnom čase:

  • Stav pre každý cieľ: Zistite, či je každý jazykový výstup v poriadku, spolu s počtom divákov a latenciou
  • Úrovne zvuku: Vizuálne merače pre každý výstupný stream
  • Živý prepis: Sledujte prepis v reálnom čase v každom jazyku, s kartami na prepínanie medzi nimi
  • Náhľad TTS: Vypočujte si dabovaný zvuk priamo vo svojom prehliadači, aby ste overili kvalitu
  • Ovládacie prvky uprostred streamu: Povoľte alebo zakážte jednotlivé ciele bez zastavenia streamu

Vízia: Svet, kde má každý streamer globálne publikum

Spustili sme StreamFluent, pretože veríme, že jazyk by nemal určovať strop tvorcu.

Internet mal byť bez hraníc. A v mnohých ohľadoch aj je – stream si môžete pozrieť odkiaľkoľvek na svete, okamžite. Ale „sledovanie“ a „rozumieť“ sú dve veľmi odlišné veci. Divák v Soule si technicky môže načítať brazílsky kanál Twitch, ale ak nerozumie ani slovo, odíde v priebehu niekoľkých sekúnd.

To vytvára neviditeľnú segregáciu. Streamovací svet je rozdelený na jazykové silá a tvorcovia sú v nich uväznení. Skvelý zabávač v Mexico City nikdy organicky neosloví japonský trh. Kórejský streamer s rôznorodým obsahom so 100 000 vernými sledovateľmi nemá žiadnu cestu k anglicky hovoriacemu publiku, ktoré je 10-krát väčšie.

StreamFluent je most.

Predstavujeme si budúcnosť, kde:

  • Streamer v Buenos Aires ide naživo a súčasne zabáva publikum v Tokiu, Berlíne, Bombaji a Los Angeles – všetci počujú stream vo svojom vlastnom jazyku, hlasom, ktorý znie ako hlas tvorcu.
  • Jazyk už nie je premennou v objavovacom algoritme. Kvalita obsahu je všetko, na čom záleží.
  • Stredná trieda tvorcov sa rozširuje globálne, pretože talent je rovnomerne rozložený naprieč jazykmi, ale príležitosť už nemusí byť.
  • Okolo tvorcov sa tvoria viacjazyčné komunity s prekladom chatu a interakciou medzi jazykmi ako natívnou funkciou (áno, aj na tom pracujeme).

Toto je veľká vízia. Ešte tam nie sme. Ale s dnešným spustením je základ na mieste.


Ceny: Začnite zadarmo, škálujte, ako rastiete

Ceny StreamFluent sme navrhli tak, aby boli dostupné pre tvorcov na každej úrovni.

Bezplatný plán – 0 $/mesiac

  • 30 minút titulkov a 15 minút dabingu mesačne
  • 1 cieľový jazyk
  • Štandardné hlasy TTS
  • Plný prístup k panelu monitorovania naživo
  • Nie je potrebná žiadna kreditná karta

Typický 1-hodinový stream využíva približne 30 minút času titulkov a 35 minút času dabingu (meriame skutočný čas spracovania reči, nie čas na hodinách – takže pauzy, segmenty iba s hrateľnosťou a ticho sa nepočítajú). Bezplatný plán vám poskytuje dostatok na otestovanie celého streamu a priame vyskúšanie kvality.

Pro plán – 29 $/mesiac

  • 600 minút titulkov a 300 minút dabingu mesačne (~20 hodín streamovania)
  • Až 3 cieľové jazyky
  • Vlastný hlasový model z 30-sekundovej vzorky
  • Distribúcia RTMP relay na viacero platforiem
  • Ovládacie prvky zmiešavania zvuku
  • Konfigurovateľný limit výdavkov na prekročenie
  • 14-dňová bezplatná skúšobná verzia

Business plán – 79 $/mesiac

  • Neobmedzené minúty titulkov a 1 200 minút dabingu mesačne (~80 hodín streamovania)
  • Neobmedzené cieľové jazyky
  • Režim ultra-nízkej latencie (< 500 ms)
  • Pokročilé ladenie hlasu
  • Replikácia hlasu so zachovaním emócií (pripravuje sa)
  • Prioritná podpora

Enterprise – Vlastné ceny

  • Neobmedzené všetko
  • Vyhradená relay infraštruktúra
  • Vlastná integrácia API
  • Záruky SLA
  • Možnosti white-label

Všetky platené plány používajú presné meranie – počítame iba sekundy, keď naša AI skutočne pracuje. Ak ticho hráte 10 minút, je to 0 minút titulkov a 0 minút dabingu. Platíte za to, čo používate, a nič viac.

Platené plány tiež zahŕňajú konfigurovateľný limit výdavkov, takže vás nikdy neprekvapia poplatky za prekročenie. Nastavte ho na 0 $, aby ste tvrdo zastavili na zahrnutých minútach, alebo úplne odstráňte limit pre neprerušované streamovanie.


Vyskúšajte to ešte dnes

StreamFluent je naživo. Bezplatná úroveň je k dispozícii práve teraz na streamfluent.ai. Žiadna kreditná karta. Žiadny záväzok. Stačí sa zaregistrovať, vložiť adresu URL RTMP do OBS a streamovať do sveta.

Ak ste tvorca, ktorý sa niekedy zamýšľal nad tým, ako by mohlo vyzerať vaše publikum bez jazykovej bariéry – toto je vaša odpoveď.

Ak ste divák, ktorý niekedy odklikol neuveriteľný stream, pretože ste nerozumeli jazyku – tieto dni sú spočítané.

Vytvorili sme StreamFluent, pretože veríme, že najlepší obsah by mal vyhrať bez ohľadu na to, v akom jazyku je. A od dnešného dňa to tak môže byť.

Váš hlas. Každý jazyk. Poďme na to.

Spustite dabing zadarmo →


StreamFluent podporuje Twitch, YouTube, Kick a akúkoľvek platformu kompatibilnú s RTMP. V súčasnosti je k dispozícii v 15 jazykoch a ďalšie sa pravidelne pridávajú. Máte otázky? Kontaktujte nás na support@streamfluent.ai alebo si pozrite našu dokumentáciu.

Comments

Not displayed publicly