Wtyczka OBS do tłumaczenia głosu na żywo w czasie rzeczywistym: Jak dubbingować swój stream

OBS ma wtyczkę do wszystkiego. Są wtyczki do alertów, wtyczki do przejść między scenami, wtyczki do wirtualnych kamer, wtyczki do filtrów audio.

W przypadku tłumaczeń większość streamerów sięga najpierw po wtyczki oparte na napisach. LocalVocal. Polyglot OBS. One działają. Wyświetlają tekst na ekranie.

Ale wtyczki do napisów i wtyczki do tłumaczenia głosu to różne produkty. Ten przewodnik obejmuje rzeczywiste tłumaczenie głosu: co ono generuje, jak działa w OBS i jak je skonfigurować.

Czym tłumaczenie głosu różni się od wtyczek do napisów

Wtyczki do napisów pobierają Twój głos, przepuszczają go przez rozpoznawanie mowy i wyświetlają przetłumaczony tekst na ekranie. Twoi widzowie czytają tłumaczenie.

Wtyczki do tłumaczenia głosu robią coś innego. Pobierają Twój głos, przetwarzają go przez silnik tłumaczenia i syntezy mowy i wyprowadzają nową ścieżkę audio w innym języku. Twoi widzowie słyszą tłumaczenie.

To rozróżnienie ma większe znaczenie, niż mogłoby się wydawać.

Rodzimi użytkownicy dowolnego języka nie oglądają streamów z gier, czytając napisy. Oni słuchają. Jeśli umieścisz angielskie napisy na francuskim streamie, niektórzy angielscy widzowie spróbują. Większość odejdzie po kilku minutach. Czytanie podczas oglądania rozgrywki to praca.

Jeśli dasz tym samym angielskim widzom kanał audio, który brzmi jak angielski, zostaną. Stream jest dla nich po prostu streamem. W ich języku.

Jak działa wtyczka StreamFluent OBS

StreamFluent to wtyczka do dubbingu głosu na żywo dla OBS Studio. Instaluje się jak każda inna wtyczka OBS i integruje się bezpośrednio z Twoim mikserem.

Po zainstalowaniu:

• Nowe źródła audio pojawiają się automatycznie w Twoim mikserze OBS. Są one oznaczone jako "SF Dub. English" lub "SF Dub. Spanish" lub w zależności od skonfigurowanych języków.
• Każde źródło to dubbingowana w czasie rzeczywistym wersja Twojego wejścia mikrofonowego.
• Dodajesz to źródło do oddzielnej sceny lub kierujesz je do drugiego wyjścia strumieniowego.
• Chmura przetwarza Twój głos i zwraca zdubbingowane audio z opóźnieniem poniżej 1 sekundy.

Twój główny stream pozostaje nienaruszony. Nadal brzmisz dokładnie tak, jak Ty na swoim głównym kanale. Zdubbinguowane audio trafia tylko do skonfigurowanego przez Ciebie miejsca docelowego.

Instalacja krok po kroku

1. Pobierz wtyczkę. Przejdź do streamfluent.ai i pobierz wtyczkę OBS dla swojego systemu operacyjnego.

2. Przenieś ją do folderu wtyczek OBS. W systemie Windows: C:\Program Files\obs-studio\obs-plugins\64bit. Na Macu: ~/Library/Application Support/obs-studio/plugins.

3. Uruchom ponownie OBS Studio. Wtyczka ładuje się podczas uruchamiania.

4. Nowe źródła pojawiają się automatycznie. W panelu Źródła zobaczysz źródła audio StreamFluent dla każdego skonfigurowanego języka.

5. Skonfiguruj parę języków. Otwórz panel ustawień StreamFluent w OBS. Ustaw język źródłowy i jeden lub więcej języków docelowych.

6. Skieruj zdubbingowane audio. Dodaj zdubbingowane źródło audio do drugiego wyjścia strumieniowego w Ustawieniach OBS. To wyjście wskazuje na Twój kanał w drugim języku na Twitchu, YouTube lub dowolnym miejscu docelowym RTMP.

Całkowity czas konfiguracji: około 10 minut dla pierwszej konfiguracji.

Co jest tłumaczone

StreamFluent tłumaczy Twoje wejście głosowe. Konkretnie:

• Twój mikrofon. Wszystko, co powiesz, jest przetwarzane.
• Nie audio z gry. Efekty dźwiękowe, muzyka, dialogi w grze pozostają w oryginalnym języku na zdubbingowanym kanale.
• Nie audio systemowe. Muzyka w tle z Twojego streamu pozostaje niezmieniona.

To jest celowe. Audio z gry w innym języku byłoby dezorientujące dla widzów. Twój komentarz jest tym, co wymaga tłumaczenia. Gra brzmi tak samo dla wszystkich.

Jeśli powiesz wezwanie w grze po angielsku, a Twój stream jest dubbingowany na hiszpański, Twój głos powie to po hiszpańsku. Audio z gry odtwarzane jest w oryginalnym języku pod spodem.

Opóźnienie i jakość

Liczby:

• Opóźnienie end-to-end: Poniżej 1 sekundy.
• Języki: 32.
• Obciążenie CPU: Poniżej 2%. Całe ciężkie przetwarzanie odbywa się w chmurze.
• Klonowanie głosu: Dostępne w planie Pro. Zdubbinguowany głos jest trenowany na krótkiej próbce Twojego głosu. Brzmi jak Ty, a nie jak ogólny silnik zamiany tekstu na mowę.
• Kompatybilność z OBS: Działa z OBS Studio 28 i nowszymi oraz Streamlabs OBS.

Wartość poniżej 2% obciążenia CPU ma znaczenie na maszynach do streamowania, które już działają na wysokich obrotach. Wtyczki do napisów, takie jak LocalVocal, uruchamiają Whisper lokalnie, co może znacznie zwiększyć zużycie CPU na słabszych maszynach. StreamFluent odciąża wszystko.

Często zadawane pytania

Czy to działa na Macu, Windowsie i Linuksie? Tak. Wtyczka jest dostępna dla wszystkich trzech. Mac i Windows są najbardziej przetestowane. Obsługa Linuksa jest dostępna, ale nowsza.

Czy mogę używać jej na Streamlabs OBS? Tak. Streamlabs OBS obsługuje standardowe wtyczki OBS. Ścieżka instalacji jest nieco inna, ale wtyczka działa tak samo.

Ile CPU to zużywa? Poniżej 2% na Twojej lokalnej maszynie. Przetwarzanie tłumaczenia odbywa się w infrastrukturze chmurowej StreamFluent, a nie na Twoim komputerze.

Co jeśli chcę również napisy? Uruchom LocalVocal obok StreamFluent. LocalVocal obsługuje napisy na Twoim głównym streamie. StreamFluent obsługuje zdubbingowane audio na Twoim drugim kanale. Oba działają jednocześnie bez konfliktu.

Co się stanie, jeśli połączenie zostanie przerwane? Zdubbinguowane źródło audio zamilknie na drugim kanale. Twój główny stream pozostaje nienaruszony. Wtyczka łączy się ponownie automatycznie po przywróceniu połączenia.

Czy mogę dubbingować do więcej niż jednego języka naraz? Tak. Skonfiguruj wiele języków docelowych w ustawieniach StreamFluent. Każdy język otrzymuje własne źródło audio w Twoim mikserze OBS. Skieruj każdy z nich do innego wyjścia strumieniowego.

Wypróbuj StreamFluent za darmo. 3 godziny w zestawie, bez karty kredytowej.