RPA でWebサイトを操作したり、どうしても固定の位置にコントロールが出現しなかったり……と様々な事情でウィンドウハンドルベースの操作では RPA シナリオが安定しない場合があります。
そういうときに利用する「最終兵器的」な方法が、画像認識を使用する方法です。
- Pulover’s Macro Creator を使って画像認識をする、基本的な方法を解説します。
PCの画面に表示される画像は色々な条件で簡単に変わってしまいます。自分のPCだけであればいいですが、人のPCだと、「ちょっと重いな」といってWindowsのグラフィック設定を落としてしまって動かなくなる……といったことが発生しやすいです。
そのため、なんでもかんでも画像認識を使うのではなく、他の方法で代替できないか検討することも忘れないようにしましょう。
Pulover’s Macro Creator で画像認識 RPA を作成する 基礎編
下準備
今回は、1から RPA シナリオを作っていくので、用意するPMC ファイルはありません。その代わり、メモ帳を起動しておき、新規Macro1タブで、メモ帳をアクティブにするアクションを追加してください。
また、Pulover’s Macro Creator の「オプション」メニューから、「設定」をクリックして設定ダイアログを開きます。
設定項目の中に「スクリーンショット」というものがあるので、「スクリーンショットディレクトリ」を確認しておきましょう。PMCで撮影したスクリーンショットをちょっと加工したい（トリミングなど）といった場合に、このディレクトリ（フォルダ）に保存されています。
また、Cドライブにはシステムとアプリケーション以外あまりいれたくない場合などは、「…」ボタンから場所を変えておきましょう。また、以降の操作で「一回でドラッグして選択は自分には難しい」と思った場合は、「リリースでキャプチャ」から、「Enterキーを押してキャプチャします」に変更しましょう。
変更すると、右マウスドラッグを離したら撮影されるスクリーンショットが、Enterキーを押すまで撮影されなくなります。
メモ帳から「ファイル(F)」メニューを探す
基本ということで、変化の少ないメニューを操作していきましょう。
Pulover’s Macro Creator のメインウィンドウをアクティブにし、「イメージ/ピクセル検索/画像からテキストへ」ボタン(F7)を押します。
かなり設定項目の多い「画像検索 / ピクセルの検索 / 画像からテキストへ」ダイアログが表示されます。ただ、少しずつ解説していくので大丈夫です。
まず、赤い四角で囲んだ「スクリーンを作る」ボタンをクリックします。すると、ウィンドウを操作するときのようにツールチップがマウスカーソルについてくるようになります。
その状態になったら、
- メモ帳をアクティブにする（忘れないように）
- 「ファイル(F)」メニューの色が変わらない位置から右ドラッグを開始する
- 同じく、「ファイル(F)」メニューの色が変わらない位置で右ドラッグを終了する
- また、テキストの入力位置を示すキャレット（縦棒）も含めないように注意する
右ドラッグ中は、上図のようになります。
マウスの右ボタンを放すと（Enterで確定に設定した場合は、Enterキーを押すと）、右ドラッグで囲んだ範囲のスクリーンショットが撮影されます。
上手く撮影されると、
上図のように「プレビュー」のところに「ファイル(F)」が撮影されたスクリーンショットが表示されています。また「スクリーンを作る」ボタンの左下のテキストボックスに、撮影されたスクリーンショットのパスが表示されます。
もし、他のツールで撮影したスクリーンショットを使いたい場合などは、「…」ボタンをクリックして、画像ファイルを選択しましょう。
たとえば、今回のようにマウスオーバーされると反応されてしまい、スクリーンショットを撮るのが難しい場合などは、大きなスクリーンショットを別ツールで撮影し、画像編集ソフトでトリミングして利用するといった方法もあります。
有料・無料に関わらずRPAツールについてくるスクリーンショット機能や画像編集機能は、あくまでもおまけなので、使い慣れたツールがある場合は、どんどん活用しましょう。
中心をクリックする
画像を選択できたら、「見つかった場合」をLeft Clickに設定し、「画像の中心に座標を調整」にチェックを入れます。
これにより、設定した画像が見つかったら、その中心をクリックするということになります。
ここまでできたら、RPA を動作させてみましょう。無事に動作したでしょうか？ 上手く動作しなかった場合は、手順の最初にもどって確認してみてください。
「画像の中心に座標を調整」しなかった場合は、見つかった画像の「左上の角」の座標が選択されます。
今回の場合では、「メニューの色が変わらないところ」、つまり、クリックしても反応しないところを選択してしまっているので、そのままではクリックしても反応しません。
一方で、キャプチャーしたスクリーンショットを加工するなどして、文字ギリギリまで検索する画像を小さくした場合は、「画像の中心に座標を調整」しなくても、無事にクリックする動作が成功します。
より理解を深めるために、チェックを外したり、画像をトリミングするなどして動作の違いを体験してみてください。
おわりに
設定項目が非常に多い割に、目的の画像をクリックするだけであれば、設定箇所は少なく、またIf文を自分で設定する必要もなく思ったより楽だったのではないでしょうか？
一方で、実際に使うとなると、状況による画像の変化や、今回気をつけて避けたような「マウスオーバーによる色の変化」などにも対応が必要になります。
次回からはもう少し難しい・実用的な画像検索によるRPAを作成していきます。
Pulover’s Macro Creator による RPA 作成チュートリアルの他の記事は、下記にまとめ / 目次ページがあります。
1件のフィードバック