Pulover’s Macro Creator で画像認識 RPA を作成する基礎編

RPA でWebサイトを操作したり、どうしても固定の位置にコントロールが出現しなかったり……と様々な事情でウィンドウハンドルベースの操作では RPA シナリオが安定しない場合があります。

そういうときに利用する「最終兵器的」な方法が、画像認識を使用する方法です。

この記事の内容

画像認識が最終兵器？

PCの画面に表示される画像は色々な条件で簡単に変わってしまいます。自分のPCだけであればいいですが、人のPCだと、「ちょっと重いな」といってWindowsのグラフィック設定を落としてしまって動かなくなる……といったことが発生しやすいです。

そのため、なんでもかんでも画像認識を使うのではなく、他の方法で代替できないか検討することも忘れないようにしましょう。

今回は、1から RPA シナリオを作っていくので、用意するPMC ファイルはありません。その代わり、メモ帳を起動しておき、新規Macro1タブで、メモ帳をアクティブにするアクションを追加してください。

忘れてしまったら

また、Pulover’s Macro Creator の「オプション」メニューから、「設定」をクリックして設定ダイアログを開きます。

設定項目の中に「スクリーンショット」というものがあるので、「スクリーンショットディレクトリ」を確認しておきましょう。PMCで撮影したスクリーンショットをちょっと加工したい（トリミングなど）といった場合に、このディレクトリ（フォルダ）に保存されています。

また、Cドライブにはシステムとアプリケーション以外あまりいれたくない場合などは、「…」ボタンから場所を変えておきましょう。また、以降の操作で「一回でドラッグして選択は自分には難しい」と思った場合は、「リリースでキャプチャ」から、「Enterキーを押してキャプチャします」に変更しましょう。

変更すると、右マウスドラッグを離したら撮影されるスクリーンショットが、Enterキーを押すまで撮影されなくなります。

基本ということで、変化の少ないメニューを操作していきましょう。

Pulover’s Macro Creator のメインウィンドウをアクティブにし、「イメージ/ピクセル検索/画像からテキストへ」ボタン(F7)を押します。

かなり設定項目の多い「画像検索 / ピクセルの検索 / 画像からテキストへ」ダイアログが表示されます。ただ、少しずつ解説していくので大丈夫です。

まず、赤い四角で囲んだ「スクリーンを作る」ボタンをクリックします。すると、ウィンドウを操作するときのようにツールチップがマウスカーソルについてくるようになります。

その状態になったら、

右ドラッグ中は、上図のようになります。

マウスの右ボタンを放すと（Enterで確定に設定した場合は、Enterキーを押すと）、右ドラッグで囲んだ範囲のスクリーンショットが撮影されます。

上手く撮影されると、

Pulover’s Macro Creator で画像認識 RPA を作成する 基礎編