# 概要

画面をキャプチャーして、その画面の文字を読み取り翻訳するアプリケーションです。

文字の読み取りや翻訳に生成AIを使用します。

動きが少ないゲームのメッセージを翻訳することを想定して作成しています。

対象の画面とは別のウィンドウで画面のキャプチャーや翻訳を行います。

## 目次

- 動作環境
- 本アプリケーション以外に必要なもの
- 初期設定
  - 生成AIの設定
  - 翻訳の設定
  - ブロック検出の設定
- 使い方
  - 対象ウィンドウの選択
  - 範囲翻訳
  - 範囲記録と翻訳
  - 全体翻訳
  - ブロック翻訳
  - クリップボードの画像を翻訳する
  - 翻訳のみをやり直す
  - 処理を中断する
- 参考: 動作を確認した生成AI
  - LM Studio
  - Gemini API

## 動作環境

- Windows 11

## 本アプリケーション以外に必要なもの

- 生成AIの利用環境(本アプリケーションに生成AIは含まれていません)
  - 開発時の動作確認ではLM Studioを利用しています。

## 初期設定

最初に1度行う設定です。

### 生成AIの設定

1. でmyTranslatorの設定画面を開き、AIを選択する。
2. 文字認識のエンドポイントを設定する。
   OpneAI互換APIが利用できます。
3. 「モデル取得」ボタンを押してモデルを選択する。
   有償のモデルを利用する場合は、先にAPI Keyを設定してください。
4. 同様に翻訳の設定を行う。
   文字認識と同じものを使う場合は「文字認識と同じ」をチェックしてください。
5. ブロック翻訳機能を使う場合には、同様にブロック検出の設定を行う。

### 翻訳の設定

翻訳結果の言語を変えるなど、翻訳動作をカスタマイズしたい場合に設定します。

1. でmyTranslatorの設定画面を開き、翻訳を選択する。
2. 「画像サイズ」にBounding Boxで使用される座標の範囲を指定する。
   利用するモデルによって異なります。具体的な値はモデルのドキュメントで確認してください。
3. 「座標タイプ」にBounding Boxで使用される座標のタイプを指定する。
   利用するモデルによって異なります。具体的な値はモデルのドキュメントで確認してください。

### ブロック検出の設定

ブロック翻訳機能を使用する場合に、ブロックを検出するための設定を行います。

1. でmyTranslatorの設定画面を開き、ブロック検出を選択する。
2. 「ブロック検出指示」にブロック検出を指示するプロンプトを入力する。

## 使い方

### 対象ウィンドウの選択

- でウィンドウ選択画面を開き、対象ウィンドウを選択する。
  対象ウィンドウのアプリケーションを起動していない場合は、アプリケーションを起動してから「更新」ボタンを押してください。

### 範囲翻訳

指定した範囲の文字を翻訳します。

1. でキャプチャー表示画面を開き、マウスドラッグで翻訳したい範囲を選択する。
2. 「範囲翻訳」ボタンを押すと選択範囲の文字の読み取りと翻訳を行います。
   「範囲指定後に自動で閉じる」にチェックがある場合は、範囲選択後に自動で文字の読み取りと翻訳を行います。

同じ範囲を再度翻訳する場合はを押してください。

### 範囲記録と翻訳

範囲翻訳で選択した範囲を記録します。

1. で翻訳範囲画面を開く。
2. 保存する場所と名前を指定して、「OK」ボタンを押す。

ツールバーのプルダウンリストから記録した範囲を選択してを押すと翻訳できます。

設定の削除や名前を変更する場合は、プルダウンリストの該当行で右クリックしてメニューから操作してください。

### 全体翻訳

画面全体の文字を翻訳します。

- で画面全体を翻訳する。

### ブロック翻訳

画面の文字をブロックごとに翻訳します。翻訳結果をキャプチャー表示画面の画像上に表示します。

- でブロック翻訳する。

### クリップボードの画像を翻訳する

1. でキャプチャー表示画面を開く。
2. 「貼り付け」ボタンでクリップボードの画像を貼り付ける。
3. 「範囲翻訳」「全体翻訳」「ブロック翻訳」のいずれかのボタンを押す。

### 翻訳のみをやり直す

文字読み取りの一部がうまくいかない場合は、読み取り結果を手動で修正してから翻訳をやり直してください。

1. 読み取り結果を修正する。
2. で翻訳する。

### 処理を中断する

- で処理を中断する。

## 参考: 動作を確認した生成AI

### LM Studio

エンドポイント: http://localhost:1234/v1

モデル名 | 文字認識 | 翻訳 | ブロック検出
--- | --- | --- | ---
Gemma4 26B A4B | ✔ | ✔ | ✔
GLM OCR | ✔ |  |
Hy-MT2 1.8B |  | ✔ |
Qwen3.6 35B A3B | ✔ | ✔ | ✔

### Gemini API

エンドポイント: https://generativelanguage.googleapis.com/v1beta/openai

モデル名 | 文字認識 | 翻訳 | ブロック検出
--- | --- | --- | ---
Gemini 3.5 Flash-Lite | ✔ | ✔ | ✔