記事一覧へ戻る

STT(音声認識翻訳) & RTT(聞き取り認識翻訳)セットアップ方法【日本語】

by VTF


Posted on 2018年06月05日 01時58分32秒


※放送で利用する事を考慮したセットアップ方法になりますが、通常利用もそのまま可能な汎用設定です※
 

※動作対象
Windows10 Aprilアップデート適用済み 64bit

 

1.インストールする物の用意とインストール

仮想オーディオデバイス2種

オーディオルーティングソフト

ポータブルChrome x2

※音声認識の仕様上、ポータブル版のChromeを二つ用意します※
ダウンロード先:https://mxier.pro/uploads/browsers.zip
ダウンロード後、解凍すると【chrome_STT、chrome_RTT】と二つフォルダが出来ます

それぞれ中にある【GoogleChromePortable.exe】を起動してください

2.VoiceMeeter BANANAのセットアップ

VoiceMeeter BANANAを起動し、下記画像の通り設定します
画像下に説明を記載します

※A1などの説明※

A1 A2 A3 = のHARDWARE OUTに設定されているスピーカーデバイス

B1 = Windows側で設定出来るマイクデバイス(下画像参照)

B2 =
Windows側で設定出来るマイクデバイス(下画像参照)



各種番号を左から順に説明します。※①の上部名前は右クリックから変更できます、画像では既に変更してありますが、自分で任意の名前に変更できます※

自分のマイク:通常利用しているマイクデバイス、ヘッドセットのマイクなどのデバイスを指定する(今までWindows側で規定に設定していたマイクデバイス)デバイス名は各環境で異なるので省略
出力先:【B1】
説明:
通常通りマイクとして自分の音声を流す 自分の音声をモニタリングしたい場合は【A1】を有効化する事で出来る

棒読みちゃん:YAMAHA NETDUETTO Driver(WDM) 
出力先:【A1】
説明:
モニタリング用、RTTに流したくないアプリケーションのスピーカーデバイスを【YAMAHA NETDUETTO】とする事で別けることが出来る
棒読みちゃんと命名しているのは、RTTに棒読みちゃんの音声を渡したくない(棒読みちゃんの読み上げ音声も翻訳対象になってしまうから別けたい)為、棒読みちゃんの設定の音声出力デバイス

Chrome音声:CABLE Out(VB-Audio Virtual Cable)(WDM)
出力先:【B1】
説明:ここではSTT用マイクデバイスとして利用する、自分のマイク音声と一緒に載せたいので【B1】に出力させる、同様に自分でも聞きたい場合は【A1】も有効にする

Voicemeeter VAIO
出力:【A1】、【B2】
説明:【A1】自分の耳(スピーカー)へ規定指定されているアプリケーションの音を流す(ゲームやボイスチャットなど)、同時に、Voicemeeter AUX Output 側【B2】に転送する、こちらはRTTへの翻訳対象とする

Voicemeeter AUX
出力:無し
説明:無し

A1:通常利用しているスピーカーデバイスを指定する(今までWindows側で規定に設定していたスピーカーデバイス)デバイス名は各環境で異なるので省略
A2:無し
A3:無し


A1~A3、B1,B2の各種音量などを調整できる、私は音量調整のみに利用している、通常利用のマイク音量はここのB1、RTT側に送っているマイク音量はB2となる

3.Windows側のサウンド設定

予め、ポータブルChromeを複製した両方立ち上げ
1つ目に【https://mxier.pro/openchat】(STT)
2つ目に【https://mxier.pro/openchat2】(RTT)
を開いておきます。※こちらで用意したChromeパックであればフォルダ名称通り起動するだけでSTT,RTT立ち上がるので意識しなくても大丈夫です※

下記画像の通り、Windowsのサウンド設定を開きます

1.Windowsの設定を開き、下記画像の緑部分をクリック



2.左メニューのサウンドをクリックし、入力、出力デバイスを画像の通り確認する



3.STT用ChromeとRTT用Chromeへ音声デバイスの指定を行う ※予め用意してあるポータブルChrome2種を起動してください,1つを2回起動ではなく2つ起動してください




STT_JA - GoogleChromeは出力に【VB-Audio Virtual Cable】を指定、
そしてChromeを開き、アドレスバー右にあるビデオマークをクリックし、下記画像の通りにマイクを指定する ※ここで指定するマイクはVoiceMeeterで自分のマイクに指定したマイクを直接指定する



RTT_EN - GoogleChromeは出力に【YAMAHA NETDUETTO Driver(WDM) 】を指定、
そしてChromeを開き、アドレスバー右にあるビデオマークをクリックし、下記画像の通りにマイクを指定する ※ここで指定するマイクはVoiceMeeterAux Output (B2出力の音を聞かせる)

4.Windowsの既定を確認する

下記画像の通り、デスクトップ上右下にある【スピーカーアイコン】を右クリックし【サウンド】をクリックし開く


再生及び録音の【規定デバイス】を画像の通りに設定する


以上で設定は完了です、翻訳を利用し、話す、聞いた英語などを翻訳し、読み上げしてくれるようになります。
以下は配信時の注意点です

4.配信での音声設定

規定デバイスの指定で問題ありませんが、YAMAHA NETDUETTO Driver(WDM) に指定した音声は放送に載らないようになっています
なのでOBS Studioの場合はソースの追加から【音声入力キャプチャ】を追加し、【ライン YAMAHA NETDUETTO Driver(WDM) 】を追加します

また棒読みちゃんなど読み上げソフトを利用する場合はそれらソフトの音声出力先を【ライン YAMAHA NETDUETTO Driver(WDM) 】に設定します
そうしなければRTT側で認識してしまい、翻訳の邪魔になります、下記画像は棒読みちゃんの設定例です

※ソースに追加ではなく、マイクデバイス指定でも可能です
マイク1:VoiceMeeterOut
マイク2:Yamaha
マイク3:VB-Audio

5.その他アプリでの利用

翻訳対象にしたいのであればその対象アプリでの再生デバイスを既定のデバイス指定(VoiceMeeter VAIOになっているはず)に(※例えばディスコードとか)

逆に翻訳対象から除外したい場合はYAMAHA NETDUETTO】に指定
ブラウザや再生デバイス指定に対応していないアプリケーションであればWindowsの設定から再生デバイスを指定する事で翻訳対象にならない
YAMAHA NETDUETTOに出力させることが出来るので、翻訳対象との切り分け設定が出来る
※今回の例ではYAMAHA NETDUETTOだが、仕組みさえ理解出来れば、他の仮想デバイスなどでも当然代用できるので適正読み替えてください

当然、RTTを起動してなければ、またSTTを起動してなくても、そのまま気にせずボイチャなどは既定指定で無問題


Leave a Comment:
Search