記事一覧へ戻る

VTFさん製翻訳ツールのレビュー

by sumside


Posted on 2018年06月23日 18時26分12秒


Speech To Trance(STT)
Read to Trance(RTT)

mixerstream[JP](β)の管理人VTFさんが作製した翻訳ツールのレビューです。
Chromeであればmacでも使用できるので嬉しい。
mixerで海外放送を見るとき等にも重宝しています。

筆者が実際に配信に使用している設定を元に各部の説明を行います。
 

前準備

Windows10 2018Aprilアップデート適用済み。

このアップデート以降、アプリやソフトの音声出力先をOS側で変更できるようになりました。
説明はこの機能ありきで説明します。

仮想音声デバイスを2つ使用

音声認識を分けるため、入れておくと便利。
音声ルーティングのお話はVTFさんのblog、又は筆者のblogをご覧ください。

VTFさんのblog記事(VoiceMeeterBANANA使用、オススメ)
https://mixer.jpn.ph/blog_post/VTF/5b156fb8e7bf8526271edd42

筆者のSTT、RTTを使った音声ルーティングのお話
https://mixer.jpn.ph/blog_post/sumside/5b236d67e7bf8526271edd4

別インスタンスで動くChromeを2つ準備

ChromePortableを2つ準備するのがおすすめ。Chromeアプリ化でもOKかと。

chromePortable https://portableapps.com/apps/internet/googlechromeportable

文中はChrome1をSTT用、Chrome2をRTT用として説明します。

それぞれ、別の音声デバイスを指定させる必要があるので、通常使うChromeと分けておくと便利。
音声認識、翻訳はgoogleの力を借りて実現しています。
他のブラウザやiron等の派生ブラウザでは動かない可能性があります。
(現時点では他のブラウザでの動作報告はありません。動いたら教えて。)

msjpとmixerを連携

翻訳テキストを出力するには必須。
翻訳と翻訳音声出力だけであれば必要は無い。
 

翻訳ツールの概要

この翻訳ツールはブラウザベースで動作します。
よってwindows10、macでも動作します。
URLをブラウザに入力し、音声の入出力を設定すれば使用可能です。
googleの音声認識、翻訳を使用する為、Chromeでしか動作しないと思われます。

以下、翻訳ツールの説明。
 

Speech To Trance(STT)

https://mixer.jpn.ph/openchat
Chrome1で起動させています。自分の声を翻訳させるのに使用。
Chrome1にSTTのページをブックマークしておくと連携認証時等に便利です。
まず、各部の設定項目の説明。

SR01

1.音声認識切り替え
ここを規定のデバイスにし、OS側の設定だけ切り替えてもOKです。
が、音声デバイスはアプリやソフト側が優先される仕様のようなので、念の為切り替えています。
自分が喋るマイク等に指定。

SR02

2. 翻訳元言語
ここでは自分の言語を指定。
3.翻訳先言語
翻訳したい言語に指定。
4.翻訳音声の設定
Volume - 音量、右に行くほど大きくなります。
Pitch - 音高、声を高くしたり低くしたり。右に行くほど高くなります。
Rate - 読み上げ速度。右に行くほど早くなります。
Talk - 翻訳音声を読み上げさせるかのどうかの切り替え。

5.別ツールとの連携時に使用していました。現在は使用せず。
6.チャット転送。

認識結果、翻訳結果をmsjpのチャットに転送する場合に使用。
ログイン必須、公式mixer側にも反映されます。
7.字幕表示の設定
ログイン必須。

SR03

SubTitle Optionをクリックし、各種設定していく。
字幕表示関係は後に説明します。

8.字幕ソースページ
クリックすると、どのように表示されているか確認できます。
また、配信ツールなどでURLを取り込むと、配信画面に表示できます。
9.認識、翻訳、その結果の表示
10.認識ステータス
STARTになって入ればOK
 

Read to Trance(RTT)

https://mixer.jpn.ph/openchat2
Chrome2で起動させています。PC音声を翻訳させるのに使用。
Chrome2にRTTのページをブックマークしておくと連携認証時等に便利です。
まず、各部の設定項目の説明。

SR04

1.音声認識切り替え
ここを規定のデバイスにし、OS側の設定だけ切り替えてもOKです。
が、音声デバイスはアプリやソフト側が優先される仕様のようなので、念の為切り替えています。
翻訳させたい音が出ている音声デバイスを指定。

sr05

2. 翻訳元言語
翻訳させたい言語を指定。
3.翻訳先言語
翻訳したい言語に指定。
4.翻訳音声の設定
Volume - 音量、右に行くほど大きくなります。
Pitch - 音高、声を高くしたり低くしたり。右に行くほど高くなります。
Rate - 読み上げ速度。右に行くほど早くなります。
Talk - 翻訳音声を読み上げさせるかのどうかの切り替え。

5.別ツールとの連携時に使用していました。現在は使用せず。
6.チャット転送。
認識結果、翻訳結果をmsjpのチャットに転送する場合に使用。
ログイン必須、公式mixer側にも反映されます。
7.字幕表示の設定
ログイン必須。

SR03

SubTitle Optionをクリックし、各種設定して行く。
字幕表示関係は後に説明します。
8.字幕ソースページ
クリックすると、新たなタブが開かれ、字幕がどのように表示されているか確認できます。
また、配信ツールなどでURLを取り込むと、配信画面に表示できます。
9.認識、翻訳、その結果の表示
10.認識ステータス
STARTになって入ればOK
説明を見て、おや?と思った方がいるかもしれません。そう、STT、RTTはタイトルとURLが違うだけで基本同じです。わかりやすいですね。

以下項目の設定方法は共通なので、合わせて説明して行く。
 

音声認識、翻訳

SR06

設定ができていれば、ここに認識、翻訳された音声が出てきます。

認識文字列 - convert-fromで設定した言語で出力されます。
翻訳結果 - convert-to で設定した言語で出力されます。
結果ログ - 認識、翻訳の結果が記録されます。
 

字幕設定

SR07

「SubTitle Option」をクリックして展開し、設定して行く。
翻訳文字を出力する」 - convert-fromで設定した言語を字幕生成するか否か。チェックを入れると字幕生成される。
翻訳結果を出力する」 - convert-toで設定した言語を字幕生成するか否か。チェックを入れると字幕生成される。

SR08

「認識文字 Option」「翻訳文字 Option」をクリックするとフォント等の設定が可能。
上からfont、カラー、縁取りの色、文章を改行させるかどうか、縁取りの有無。
cssをご存知であれば、それで装飾も可能。

「Apply」上記設定を行なった後、クリックすると設定が反映される。
 

字幕ソースページ

SR09

ここをクリックすると

SR10

ブラウザに新しいタブが開かれ、どのような表示になっているか確認できます。
また、ここのURLを配信ツールで取り込むと、放送に載せることができます。
(配信ツール側でURLを設定済みであれば、ブラウザの字幕ソースページは閉じてokです。)

SR11

OBSでの場合はブラウザソースで字幕ソースページを取り込むと楽です。
あとは表示領域に合うように、OBS側の取り込みサイズやフィルタのクロップで調整。
 

STT、RTT音声出力先変更

chrome1、chrome2の音声出力先を変更し、音がループしないようにする。

一項目で書き切れないので、細かい音声ルーティングについては別blogを参考にしてください。
様々な方法が考えられますが、ここではとりあえず動作する設定を箇条書きで説明します。

1.仮想音声デバイスをインストール。
2.windows画面の右下のスピーカーアイコンから
「サウンド」
を開き、再生タブにある、インストールした仮想音声デバイスを
「既定のデバイス」
にする。
3.録音タブにあるインストールした仮想音声デバイスのプロパティを開き「聴く」タブ内の「この音声を聞く」にチェックを入れる。
「このデバイスを使用して再生する」からスピーカー等に繋がっている音声デバイスを指定。
4.windows画面の右下のスピーカーアイコンから「サウンドの設定」
を開く。
そしてそのページの中央付近にある
「アプリの音量とデバイスの基本設定」
をクリック。
ここでchrome1(STT)、chorome2(RTT)の音声出力を変更します。
chrome1(STT)、の音声出力をスピーカー等に繋がっている音声デバイスに設定。
chrome2(RTT)の音声出力先もスピーカー等に繋がっている音声デバイスに設定。

とりあえず、これでループすることなく使用できると思います。

音声ルーティングに慣れたら、普段使いや配信しやすい設定にしてみてください。
 

筆者の遊び方


SR12

筆者はこのように表示させたりしています。

また、macを使う機会が多いのですが、RTTを使い、海外配信を翻訳させて楽しんだりしています。

SR13

macはwinみたいにOS側でアプリやソフトの音声デバイス個別切り替えができませんので、いろいろ工夫が必要になると思います。
(jackrouterがちゃんと動いてくれれば・・・appleは既存のイイものを使えなくする名人だよね。)

ゲーム配信に使うだけでなく、いろいろと用途が広がるツールです。
海外インタビュー放送等にも使えるかもしれません。

ただ、あくまで機械翻訳です。
過度な期待はしないほうがいいかもしれません。
(筆者は想像以上で驚きましたが。)
翻訳に適した言葉を選んだり、間を開けて喋るなどの対応を行うと、認識、翻訳精度が上がるのでこちらから合わせて楽しむのがいいと思います。
 

Link

STT https://mixer.jpn.ph/openchat
RTT https://mixer.jpn.ph/openchat2

ブラウザ
chromePortable https://portableapps.com/apps/internet/googlechromeportable

仮想音声デバイス
YAMAHA NETDUETTO http://netduetto.net/download/
VB-AUDIO Virtual Audio Cables https://www.vb-audio.com/Cable/index.htm
VB-AUDIO VOICEMEETER BANANA https://www.vb-audio.com/Voicemeeter/banana.htm
(BANANAを入れると仮想音声デバイスが2つとコントロールソフトウェアが入ります。)


Leave a Comment:
Search