概要

画面をキャプチャーして、その画面の文字を読み取り翻訳するアプリケーションです。

文字の読み取りや翻訳に生成AIを使用します。

動きが少ないゲームのメッセージを翻訳することを想定して作成しています。

対象の画面とは別のウィンドウで画面のキャプチャーや翻訳を行います。

目次

動作環境

本アプリケーション以外に必要なもの

初期設定

最初に1度行う設定です。

生成AIの設定

  1. でmyTranslatorの設定画面を開き、AIを選択する。
  2. 文字認識のエンドポイントを設定する。
    OpneAI互換APIが利用できます。
  3. 「モデル取得」ボタンを押してモデルを選択する。
    有償のモデルを利用する場合は、先にAPI Keyを設定してください。
  4. 同様に翻訳の設定を行う。
    文字認識と同じものを使う場合は「文字認識と同じ」をチェックしてください。
  5. ブロック翻訳機能を使う場合には、同様にブロック検出の設定を行う。

翻訳の設定

翻訳結果の言語を変えるなど、翻訳動作をカスタマイズしたい場合に設定します。

  1. でmyTranslatorの設定画面を開き、翻訳を選択する。
  2. 「画像サイズ」にBounding Boxで使用される座標の範囲を指定する。
    利用するモデルによって異なります。具体的な値はモデルのドキュメントで確認してください。
  3. 「座標タイプ」にBounding Boxで使用される座標のタイプを指定する。
    利用するモデルによって異なります。具体的な値はモデルのドキュメントで確認してください。

ブロック検出の設定

ブロック翻訳機能を使用する場合に、ブロックを検出するための設定を行います。

  1. でmyTranslatorの設定画面を開き、ブロック検出を選択する。
  2. 「ブロック検出指示」にブロック検出を指示するプロンプトを入力する。

使い方

対象ウィンドウの選択

範囲翻訳

指定した範囲の文字を翻訳します。

  1. でキャプチャー表示画面を開き、マウスドラッグで翻訳したい範囲を選択する。
  2. 「範囲翻訳」ボタンを押すと選択範囲の文字の読み取りと翻訳を行います。
    「範囲指定後に自動で閉じる」にチェックがある場合は、範囲選択後に自動で文字の読み取りと翻訳を行います。

同じ範囲を再度翻訳する場合はを押してください。

範囲記録と翻訳

範囲翻訳で選択した範囲を記録します。

  1. で翻訳範囲画面を開く。
  2. 保存する場所と名前を指定して、「OK」ボタンを押す。

ツールバーのプルダウンリストから記録した範囲を選択してを押すと翻訳できます。

設定の削除や名前を変更する場合は、プルダウンリストの該当行で右クリックしてメニューから操作してください。

全体翻訳

画面全体の文字を翻訳します。

ブロック翻訳

画面の文字をブロックごとに翻訳します。翻訳結果をキャプチャー表示画面の画像上に表示します。

クリップボードの画像を翻訳する

  1. でキャプチャー表示画面を開く。
  2. 「貼り付け」ボタンでクリップボードの画像を貼り付ける。
  3. 「範囲翻訳」「全体翻訳」「ブロック翻訳」のいずれかのボタンを押す。

翻訳のみをやり直す

文字読み取りの一部がうまくいかない場合は、読み取り結果を手動で修正してから翻訳をやり直してください。

  1. 読み取り結果を修正する。
  2. で翻訳する。

処理を中断する

参考: 動作を確認した生成AI

LM Studio

エンドポイント: http://localhost:1234/v1

モデル名 文字認識 翻訳 ブロック検出
Gemma4 26B A4B ✔ ✔ ✔
GLM OCR ✔
Hy-MT2 1.8B ✔
Qwen3.6 35B A3B ✔ ✔ ✔

Gemini API

エンドポイント: https://generativelanguage.googleapis.com/v1beta/openai

モデル名 文字認識 翻訳 ブロック検出
Gemini 3.5 Flash-Lite ✔ ✔ ✔