Power AppとAIの良い関係 / 開発者向けブログ・イベント

　前回、Power Appsでスマートフォンアプリの作成を行いました。スマートフォンのカメラだけではなく、各種センサーやGPSも利用でき多機能なアプリを作成することが可能です。今回はさらに、Power AppsのアプリにAIを利用できるようにする機能強化の方法を紹介します。

Power Appsのテキスト認識エンジンでOCR機能の追加

　前回作成したカメラアプリにORC機能を追加してみましょう。
新しい画面として「Screen3」を追加します。
起動時に表示されるように「上へ移動」を選択して一番上に移動しておきます。

「挿入」メニューから「AI Builder」-「テキスト認識エンジン」を選択します。

Premiumライセンスが必要です。

次に「挿入」メニューから「レイアウト」-「データテーブル」を選択します。

データテーブル「DataTable1」の「Items」に

TextRecognizer1.Results

を設定します。
文字認識コンポーネントの結果はデータテーブルに格納されることになります。

データテーブルに表示するフィールドとして「Text」を追加します。

保存後公開してテスト実行をしてみましょう。
起動するとこのような画面となります。

ここでは「許可」を選択します。

認識させたい文字をフレーム内に収めて撮影します。

撮影直後に文字認識をして内容が表示されます。
なかなかの認識具合です。

日本語も結構な割合で識できています。

ディスプレイに表示された文字であればかなりの認識率です。

テキストの取得

　テキスト認識エンジンのOCR機能で取得した文字は「テーブル」というデータ型となっていて、Power Appsのデータテーブルに格納さています。「テーブル」のデータ型から文字列として取得して、Teamsに送信してみましょう。
Power Automateでフローを“PowerApps_OCR”として作成して、Power Appsから呼び出します。
フローは以下となります。

左メニューからPowerAutomateを選択して、作成した“PowerApps_OCR”フローを追加します。
“Teamsに送る”ボタンを追加して、「OnSelect」に以下を設定します。

Set(_Text, Concat(TextRecognizer1.Results,　Text));
PowerApps_OCR.Run(_Text);

テストしてみましょう。

文字列としてきちんと取得できています。

Power AutomateのAI BuilderアクションでOCR機能の追加

　前回作成したカメラアプリをカスタマイズしてゆきます。
「保存」ボタンを「解析」に変更します。
カメラアプリから呼び出しているのはPower Automateのフローで“PowerAppsカメラ保存”となっていました。Power Automate側でこのフローをコピーして“PowerApps_OCR2”として保存します。
「解析」ボタンの「OnSelect」に以下を設定します。

PowerApps_OCR2.Run(
    {
        file: {
            contentBytes: _TempImage,
            name: ""
        }
    }
);

UpdateContext({_Msg: "OK!"});

フローを以下のように設定します。

「AI Builder」の「画像やPDFドキュメントのテキストを認識する」アクションを選択すると試用の確認メッセージが表示されるので、「試用版を開始する」を選択します。30日間試用可能です。

参考：AI Builder ライセンス | Microsoft Learn（https://learn.microsoft.com/ja-jp/ai-builder/administer-licensing）

テストしてみましょう。

Power Automateの「AI Builder」-「画像やPDFドキュメントのテキストを認識する」アクションでもOCRアプリが作成できました。

　以上、Power Appsのアプリにスマートフォンのカメラを利用してOCRの機能を追加できました。AIを利用するのは専門的な知識や技術が必要と思われがちですが、Power Appsのアプリではあっけないほど簡単にAIが利用できるようになっています。スマートフォンのカメラを利用して、テキスト認識以外にも、名刺リーダーや領収書プロセッサなども用意されていますので、用途に応じて使い分けて専用アプリの作成が可能となっています。

著書の紹介欄

Hyper-Vで本格的なサーバー仮想環境を構築。仮想環境を設定・操作できる!

できるPRO Windows Server 2016 Hyper-V

◇Hyper-Vのさまざまな機能がわかる ◇インストールからの操作手順を解説 ◇チェックポイントやレプリカも活用できる Windows Server 2016 Hyper-Vは、仮想化ソフトウェア基盤を提供する機能であり、クラウドの実現に不可欠のものです。本書では、仮想化の基礎知識から、Hyper-Vでの仮想マシンや仮想スイッチの設定・操作、プライベートクラウドの構築、Azureとの連携などを解説します。

詳細はこちらから

初めてのWindows Azure Pack本が発売

Windows Azure Pack プライベートクラウド構築ガイド

本書は、Windows Azure PackとHyper-Vを利用し、企業内IaaS（仮想マシン提供サービス）を構成するための、IT管理者に向けた手引書です。試用したサーバーは、最小限度の物理サーバーと仮想マシンで構成しています。Windows Azure Packに必要なコンポーネントのダウンロード、実際にプライベートクラウド構築する過程を、手順を追って解説しています。これからプライベートクラウドの構築を検討するうえで、作業負担の軽減に役立つ一冊です。

詳細はこちらから

ブログの著者欄

樋口勝一

GMOインターネットグループ株式会社

1999年6月GMOインターネットグループ株式会社に入社。Windows Serverをプラットフォームとしたサービス開発から運用・保守まで幅広く担当。講演登壇や出版、ネット記事連載などでマイクロソフト社と強い信頼関係を構築。「マイクロソフトMVPアワード」を15度受賞し、インターネットソリューションのスペシャリストとして活躍。