실시간 라이브 음성 번역을 위한 OBS 플러그인: 스트림 더빙 방법

OBS에는 모든 것을 위한 플러그인이 있습니다. 알림 플러그인, 장면 전환 플러그인, 가상 카메라 플러그인, 오디오 필터 플러그인이 있습니다.

번역을 위해 대부분의 스트리머는 캡션 기반 플러그인을 먼저 사용합니다. LocalVocal, Polyglot OBS 등이 있습니다. 작동은 합니다. 화면에 텍스트를 표시합니다.

그러나 캡션 플러그인과 음성 번역 플러그인은 서로 다른 제품입니다. 이 가이드에서는 실제 음성 번역에 대해 다룹니다. 출력 내용, OBS에서의 작동 방식, 설정 방법을 설명합니다.

음성 번역이 캡션 플러그인과 다른 점

캡션 플러그인은 사용자의 음성을 받아 음성 인식을 거쳐 번역된 텍스트를 화면에 표시합니다. 시청자는 번역된 텍스트를 읽습니다.

음성 번역 플러그인은 다른 작업을 수행합니다. 사용자의 음성을 받아 번역 및 음성 합성 엔진을 통해 처리하고 다른 언어로 된 새로운 오디오 트랙을 출력합니다. 시청자는 번역된 내용을 듣습니다.

그 차이는 생각보다 중요합니다.

모국어 사용자는 자막을 읽으면서 게임 스트림을 시청하지 않습니다. 듣습니다. 프랑스 스트림에 영어 캡션을 넣으면 일부 영어 시청자가 시도할 것입니다. 대부분은 몇 분 후에 떠납니다. 게임 플레이를 보면서 읽는 것은 힘든 일입니다.

만약 동일한 영어 시청자에게 영어처럼 들리는 오디오 피드를 제공하면 그들은 머무릅니다. 스트림은 그들에게 그저 스트림일 뿐입니다. 그들의 언어로 말입니다.

StreamFluent OBS 플러그인 작동 방식

StreamFluent는 OBS Studio용 라이브 음성 더빙 플러그인입니다. 다른 OBS 플러그인처럼 설치되며 믹서에 직접 통합됩니다.

설치 후:

• 새로운 오디오 소스가 OBS 믹서에 자동으로 나타납니다. "SF Dub. English" 또는 "SF Dub. Spanish" 또는 구성한 언어로 레이블이 지정됩니다.
• 각 소스는 마이크 입력의 실시간 더빙 버전입니다.
• 해당 소스를 별도의 장면에 추가하거나 두 번째 스트림 출력으로 라우팅합니다.
• 클라우드는 사용자의 음성을 처리하고 1초 미만의 지연 시간으로 더빙된 오디오를 반환합니다.

기본 스트림은 영향을 받지 않습니다. 기본 채널에서는 여전히 원래 목소리로 들립니다. 더빙된 오디오는 구성한 대상에만 전송됩니다.

단계별 설치

1. 플러그인을 다운로드합니다. streamfluent.ai로 이동하여 운영 체제에 맞는 OBS 플러그인을 다운로드합니다.

2. OBS 플러그인 폴더로 이동합니다. Windows: C:\Program Files\obs-studio\obs-plugins\64bit. Mac: ~/Library/Application Support/obs-studio/plugins.

3. OBS Studio를 다시 시작합니다. 플러그인은 시작 시 로드됩니다.

4. 새로운 소스가 자동으로 나타납니다. 소스 패널에서 구성된 각 언어에 대한 StreamFluent 오디오 소스가 표시됩니다.

5. 언어 쌍을 구성합니다. OBS에서 StreamFluent 설정 패널을 엽니다. 소스 언어와 하나 이상의 대상 언어를 설정합니다.

6. 더빙된 오디오를 라우팅합니다. OBS 설정에서 더빙된 오디오 소스를 두 번째 스트림 출력에 추가합니다. 해당 출력은 Twitch, YouTube 또는 모든 RTMP 대상의 두 번째 언어 채널을 가리킵니다.

총 설정 시간: 첫 번째 구성의 경우 약 10분.

번역되는 내용

StreamFluent는 음성 입력을 번역합니다. 구체적으로:

• 마이크. 말하는 모든 것이 처리됩니다.
• 게임 오디오는 제외. 음향 효과, 음악, 게임 내 대화는 더빙된 채널에서 원래 언어로 유지됩니다.
• 시스템 오디오는 제외. 스트림의 배경 음악은 변경되지 않습니다.

이는 의도적인 것입니다. 다른 언어로 된 게임 오디오는 시청자에게 혼란을 줄 수 있습니다. 번역이 필요한 것은 사용자의 해설입니다. 게임 사운드는 모든 사람에게 동일하게 들립니다.

만약 영어로 게임 콜아웃을 말하고 스트림이 스페인어로 더빙되는 경우, 사용자의 음성은 스페인어로 말합니다. 게임 오디오는 원래 언어로 재생됩니다.

지연 시간 및 품질

수치:

• 엔드 투 엔드 지연 시간: 1초 미만.
• 언어: 32개.
• CPU 오버헤드: 2% 미만. 모든 과도한 처리는 클라우드에서 발생합니다.
• 음성 복제: Pro 티어에서 사용 가능. 더빙된 음성은 사용자의 음성 샘플을 기반으로 훈련됩니다. 일반적인 텍스트 음성 변환 엔진이 아닌 사용자처럼 들립니다.
• OBS 호환성: OBS Studio 28 이상 및 Streamlabs OBS와 호환됩니다.

2% 미만의 CPU 수치는 이미 과열된 스트리밍 머신에서 중요합니다. LocalVocal과 같은 캡션 플러그인은 Whisper를 로컬에서 실행하므로 성능이 낮은 머신에서 CPU 사용량이 크게 증가할 수 있습니다. StreamFluent는 모든 것을 오프로드합니다.

자주 묻는 질문

Mac, Windows 및 Linux에서 작동합니까? 예. 플러그인은 세 가지 모두에서 사용할 수 있습니다. Mac과 Windows가 가장 많이 테스트되었습니다. Linux 지원은 가능하지만 더 최신입니다.

Streamlabs OBS에서 사용할 수 있습니까? 예. Streamlabs OBS는 표준 OBS 플러그인을 지원합니다. 설치 경로는 약간 다르지만 플러그인은 동일하게 작동합니다.

CPU를 얼마나 사용합니까? 로컬 머신에서 2% 미만. 번역 처리는 컴퓨터가 아닌 StreamFluent의 클라우드 인프라에서 발생합니다.

캡션도 원하면 어떻게 해야 합니까? StreamFluent와 함께 LocalVocal을 실행합니다. LocalVocal은 기본 스트림에서 캡션을 처리합니다. StreamFluent는 두 번째 채널에서 더빙된 오디오를 처리합니다. 둘 다 충돌 없이 동시에 실행됩니다.

연결이 끊어지면 어떻게 됩니까? 더빙된 오디오 소스는 두 번째 채널에서 무음으로 전환됩니다. 기본 스트림은 영향을 받지 않습니다. 연결이 복원되면 플러그인이 자동으로 다시 연결됩니다.

한 번에 둘 이상의 언어로 더빙할 수 있습니까? 예. StreamFluent 설정에서 여러 대상 언어를 구성합니다. 각 언어는 OBS 믹서에서 자체 오디오 소스를 가져옵니다. 각 언어를 다른 스트림 출력으로 라우팅합니다.

StreamFluent를 무료로 사용해 보세요. 3시간 포함, 신용 카드 필요 없음.