日本語未対応ゲームをボイスロイドが通訳

紲星あかりさん日本語流暢ですね！ゲーム画面を日本語訳してボイスロイドに読んでもらいます。ゲームでなくても画面上の英語を翻訳して、任意の日本語音声で読上げてもらえます。

Contents

概要
注意事項
PCOT導入編
画像認識から日本語訳まではできました

概要

ソフト４つですので導入もなかなか大変です。それぞれを作られた方々に限りない感謝を！

1.PCOT

WindowsOCRでゲーム画面から英語を文字起こし
翻訳サービスで日本語訳
（抑揚の調整はありませんが単体でも読み上げは可能です）
クリップボード出力

2.棒読みちゃん

クリップボード監視から受け取った文字を区切る、置き換える、無視するなど処理する
（ゆっくりボイスなどであればここで発音を調整して読み上げできます。）

3.棒読みちゃんVoiceroidTalkPlusプラグイン

VOICEROID2（他多数のVOICEROID）へ橋渡し

4. VOICEROID2

より自然な発音で日本語を読み上げてくれます。読書とかニュースとか普段の読み上げもしてもらいたい位に聞き取りやすいのでびっくりします。
特に日本語が流暢な紲星あかりさんにお願いしました。

VOICEROID2 紲星あかり

『VOICEROID2 紲星あかり』は、明るい女の子の可愛らしい中にも優しさあふれる声をベースとした入力文字読み上げソフトです。

注意事項

大きく２つです

著作権について

各４ソフト、そしてオプションで利用するDeepL翻訳、Windows10 OCR等にそれぞれ著作権があります。また、合成される音声には別の著作権があります。さらにはまず翻訳対象となるであろうゲーム等にもありますので使用の制限などに各位ご注意下さい。

クラウドサービスについて

これらのソフトのうち、OCR（光学文字認識）と翻訳の機能は、膨大な文書情報を研究して開発競争が行われているものです。そのうち一部無償公開されているものが利用されています。

これらが非常に高度であるにも関わらず無料であるのは、サービスの宣伝と制限された範囲での情報収集を兼ねていることもあるでしょう。

業務用の文書などを翻訳したり。重大な個人情報を写したりされないようご注意下さい。

パスワードをクリップボードから世界中に、ライブ発表してしまうかもしれませんし。

PCOT導入編

全て１つの記事にしようと思って居たのですが、ど～う考えても一つになりませんので。まずはPCOTの導入編です。説明していない機能も沢山ありますので解凍フォルダ内の「【必読】りどみ.txt」や「説明書.txt」をご確認下さい。

PCOT

公式からダウンロード

ヌルポインターストライク

基本的には解凍するだけです（執筆時点）

翻訳対象のアプリを起動

ゲームでなくても良いですが、フルスクリーン表示のみのものは非対応です。

PCOTを起動

翻訳対象のアプリケーションを探して「選択」を押します。

PCOTを起動

さて、もうこの時点で画像認識できると思います。フリー選択を選びまして、

選択プロセスに切り替わりますのでドラッグで選択

すると数秒で翻訳されます。タイトル「Disclaimers」が無視されていますが、英文の画像認識精度はすごいですね、１字も違いがありません。そして自然に翻訳されました。

隣の翻訳を押すと、同じアプリの同じ位置から再度読み取って翻訳します。

PCOT設定

動作が確認できたら色々設定を変えていきましょう。

システム設定

私は上のようにしました。人によっては変更の必要があるものを説明します。

翻訳後に音声出力
- これにチェックを入れるとPCOTが翻訳結果を音声読み上げしてくれます。
- こちらをチェックするだけで音声読み上げ達成です。抑揚を気にせず声の種類も変えない方は。 VOICEROID連携などする方はチェックしないでおきます。
範囲選択時に対象プロセスのスレッドを停止
- 対象のゲームの文字などが流れていくのを、ゲーム停止によって防ぎます。オンラインゲームではこれを行うと規制対象ですので使用しないようにしましょう。
翻訳後にフォーカスを対象プロセスに戻す
- ゲームをプレイしながら、音声読み上げにのみ利用する場合は画面を戻すために使います。
ショートカット設定
- 先程のフリー選択と翻訳ボタンが便利だと思いますのでそれだけ有効にしました。
- 数字キーは変えられませんがフリー選択以降の文字キーは右クリックで変えられます。
- 固定翻訳は設定すると位置を各々記憶して再翻訳してくれます。

画像加工＆OCR読取設定

私はTesseractOCRをWindowsOCRに変えたのみです。人によっては変更の必要があるものを説明します。

使用OCRエンジン
- Windows10の人はWindowsOCRが利用できます。それ以外のOSではTesseractのみです。
- 最初のテストのようにTesseractも十分な認識精度ですが数秒処理時間があり、Windows10はほぼ一瞬で認識します。
- 同様のテストでWindowsOCRはタイトル「Disclaimers」も認識しました。そう免責事項なのでした。
  WindowsOCRの導入は任意なので最後に説明します。
対象通りに改行
- 説明書.txtより「原文での改行を翻訳対象と合わせます。翻訳精度は落ちますが、OCR読取の失敗箇所と比較するのに役立ちます。」つまり、日本語化MODを作られたりする方に。
改行を無視
- これにチェックを入れなくても一文内はつないでくれます。また、英語の表示は通常、単語内で改行しないので問題になりません。行間が文字の高さより常に大きい文章を訳して、一文ごとに改行が入って邪魔な方はこれが役立ちます。

メイン画面の設定

ここに出ているもので他のソフトの連携に関係するものは特に中央の２つです。以下のようにします。

1.DeepLと連携（一部の方向け）

チェックを入れるとwindows版のDeepLと連携してくれます。ただしDeepLの翻訳結果をPCOTに渡したり、音声読み上げする機能はありませんので今回は外します。
google、Microsoftの翻訳サービスより、もしかしたら精度が良いのでは！？と話題のサービスです。windows版のDeepLは今の所翻訳量などに制限がないので、翻訳作業等であればこちらを使います。
DeepL側には下部に翻訳結果をクリップボードへコピーするボタンがありますので、それを押して棒読みちゃんが拾うことはできます。