MondoCue
Androidの画面翻訳ガイド

Androidでアプリ画面を翻訳する方法

知らない言語のアプリでは、単語の翻訳だけでは判断しにくいことがあります。ボタンの意味や、選択肢を選んだときの変化を理解したい場面もあります。

MondoCueは、見慣れないアプリ画面を理解するためのAIガイドです。分析したい画面を選ぶと、選択した言語で見えている文字の翻訳、選択肢の説明、次の手順の提案を表示します。元のアプリでの操作は、すべてご自身で判断します。

Androidでアプリ画面を翻訳する手順

  1. Android 11以降の端末にアプリをインストールしてサインインします。現在はGoogle Playではなく、公式サイトからAPKを直接ダウンロードできます。
  2. 表示したい回答言語を選びます。MondoCueは40の回答言語に対応しています。
  3. フローティングガイドを有効にします。アプリ内の説明に沿って、Androidの画面キャプチャに必要なユーザー補助機能を設定します。
  4. 理解したいアプリ画面を開きます。準備ができたら、フローティングのMondoCueガイドをタップします。
  5. 操作する前に説明を確認します。重要な内容は元のアプリと照合し、操作するかどうかをご自身で決めてください。

例:アプリの言語変更ダイアログを理解する

下のAndroidデモ画面では、中国のローカルサービスアプリ内に表示されたシステム言語の確認画面をMondoCueが説明しています。画面の質問と「はい」「いいえ」の選択肢を読み解き、アプリの言語設定を変更するかどうかをユーザーが判断できるようにします。

中国のローカルサービスアプリに表示された言語変更画面と、はい・いいえの選択肢を説明するMondoCue
Androidのテスト画面での一例です。MondoCueは表示されている第三者アプリとは無関係です。AIの説明は画面によって異なり、不完全または誤っている場合があります。

Androidの画面翻訳でできること・できないこと

MondoCueは、ユーザーがガイドをタップした後に画面を分析します。見えている文字を翻訳し、画面の選択肢を説明できますが、他のアプリを常時スキャンしたり、ボタンをタップしたり、注文や支払いをしたり、予約の完了を確認したりはしません。

選択した画面は分析のためMondoCueのサーバーとAIプロバイダーに送信されます。アプリによっては画面キャプチャが制限されます。AIの説明は不完全または誤っている可能性があるため、名前、金額、日付、権限、経路などを元のアプリで確認してください。パスワード、決済情報、個人的なメッセージなど、処理させたくない情報が表示された画面は分析しないでください。詳細はプライバシーポリシーをご覧ください。

よくある質問

すべてのアプリを自動で翻訳しますか?

いいえ。分析する画面はユーザーがフローティングガイドをタップして選びます。アプリやセキュリティ画面によってはキャプチャできないため、すべての画面で使えるとは限りません。

選択肢を代わりに選んだり、手続きを完了したりできますか?

できません。画面の説明と次の手順の提案を表示しますが、判断と操作はユーザーご自身で行います。

中国旅行中のアプリでも使えますか?

Androidで画面をキャプチャできる場合は、中国語アプリの画面説明に使えます。対応範囲と注意事項は中国旅行向け画面ガイド(英語)をご覧ください。

iPhoneアプリも公開されていますか?

iPhoneアプリとスクリーンショット、ショートカット、ライブアシスタントの各機能はテスト中で、一般公開されていません。