これまでPower Automate Desktopの基本操作や簡単なフロー作成についてご紹介させていただきました。
今回は、Power Automate Desktopアクション【マウスとキーボード】の中にある【マウスを画像に移動】の使い方について、RPA初心者の方でも作成しやすいよう心掛けてご紹介させていただきます。
よく使う機能になるかと思いますので、初心者の方にもご理解いただけるよう一つ一つ画像付きで説明させていただきます。
今このページでPower Automate Desktopの使い方を見ているという事は、RPA開発担当の方かもしれません。
RPAでの開発経験があると、今後RPAエンジニアとして転職できる可能性もあります。
RPAエンジニアの年収は350万～800万以上など年収アップの可能性が高く、今後需要の高まりも期待出来ます。
数少ないRPAエンジニアへの転職のチャンスを逃さない為にも、以下それぞれの登録がオススメです。
| サービス名 | 特徴 | オススメ度 |
| RPAエンジニアの求人が一番多い | ★★★★★ | |
| RPAエンジニアの求人多数あり | ★★★★★ | |
| エンジニアの実務経験なしでも登録可 (未経験可求人あり) | ★★★★☆ | |
【 】 | RPAエンジニアの求人あり (数が少ない＋開発経験者のみ) | ★★★☆☆ |
マウスとキーボード 【マウスを画像に移動】
前回、Power Automate Desktopフロー作成画面右側にある【画像】のキャプチャ機能の使い方についてご説明させていただきました。
【マウスを画像に移動】は画像のキャプチャで登録した画像を使用して、マウスを移動させます。
まだ、画像のキャプチャについてよく理解出来ていないという方は、まずそちらの記事をご確認ください。
これまでPower Automate Desktopの基本操作について、いくつかご説明させていただきました。今回は、Power Automate Desktop 画像のキャプチャの使い方についてご紹介させていただきます。[…]
マウスを画像に移動 アクションの場所
フロー作成画面左側にある【アクション】の【マウスとキーボード】の中にある【マウスを画像に移動】をダブルクリックまたはドラッグ＆ドロップで画面中央へ移動します。
マウスを画像に移動 パラメーターの選択
【マウスを画像に移動】のパラメーターの選択用ダイアログボックスが表示されました。
マウスの移動先の画像を登録する場合は
- 【マウスを画像に移動】のパラメーターの選択用ダイアログボックス上で【画像のキャプチャ】から登録する
- フロー作成画面右側にある【画像】を選択⇒【画像のキャプチャ】で登録する
どちらからでも登録可能です。
マウスの移動先の画像を選択する
画像が1枚も登録が無ければ先程のような画面になり、登録されている画像がある場合は以下のように表示されます。
【画像を選択してください】をクリックして下さい。
ここで画像をクリックして【選択】を押して登録完了です。
こちらから更に画像を追加する場合は、左下にある【画像のキャプチャ】から追加して下さい。
マウスの移動先の画像と移動スタイル
- 追加した画像の名称部分をクリックすると、右側にその画像の詳細が表示されます
- マウスの移動スタイルを選択して下さい。
マウスの移動スタイルについてはこちらの記事で詳しく説明しています。
これまでPower Automate Desktopの基本操作についていくつかご紹介させていただきました。今回は、Power Automate Desktopアクション【マウスとキーボード】の中にある【マウスの移動】の使い方につい[…]
発生回数とは
先程の画像③の【発生回数】についてですが、ヘルプには『マウスの移動先となる、見つかった画像の数』としか記載されていません。
他に調べても詳細については分かりませんでしたので、私が検証した結果を画像にしてみました。
条件は以下の通りです。
- 先程の画像①で、最初に【おはよう】を画像登録する
- その登録された画像を基に、マウスの移動を実行すると画面には10枚の【おはよう】がある
- 【おはよう】が10枚あるうちのどの位置の【おはよう】を押したらいいか？を指定する
というのが発生回数の設定のようでした。
- 発生回数の数値を【1】にした場合は①へマウスを移動する。
- 発生回数の数値を【8】にした場合は⑧へマウスを移動する。
というように、検証の結果は横一列の順番通りに選択していくようです。
ですが、この設定はフロー作成の上でややこしくなる可能性が高いのと、PC環境等の違いで別の動きをする可能性がありますので、参考程度にしていただければと思います。
ちなみに発生回数の数値は【-1】のようにマイナス設定も可能なのですが、これは何度検証してもエラーになり、どのような動きをさせる事が出来るのかがわかりませんでした。
クリックの種類
マウスを画像に移動させた後に、クリックをさせる事も可能です。
- 【マウスの移動後にクリックを送信します】をクリック ⇒ 【Ｖ】をクリック
- クリックの種類を選択する
【左クリック】と【左ボタンを押す】の違いは、カチッと1回押すかそのまま押し続けるかの違いです。
【ボタンを押す】の後には【ボタンを離す】を別で指示しないとその後もずっと押しっぱなしになってしまいます。
【ボタンを離す】指示を出したい場合は、【マウスとキーボード】アクション内の【マウスクリックの送信】を使用します
更に細かく設定する 詳細設定
【マウスの移動後にクリックを送信します】の下にある【詳細】をクリックすると、更に細かく設定する事が可能です。
- 【画像が表示されるまで待機】…指定した画像がすぐに表示されない場合を想定して、待機時間を設定する事が可能です
- 【失敗タイムアウト】…待機時間はどれくらいにするかを設定します
実行遅延の設定は【ミリ秒】単位ですが、ここでのタイムアウト時間は【秒】単位で設定するので注意が必要です。
実行遅延についてはこちらの記事でご説明しています。
こんにちは！ちょこれいとです！今回は、Power Automate Desktopの【実行遅延】と【デバッグ】についてご紹介します。実行遅延はフロー作成する上で重要な項目となりますので詳しくご説明します。実行遅延について[…]
画像照合アルゴリズム
アルゴリズムとは、目標を達成するための計算方法や処理方法の事です。
画像照合アルゴリズムとは、簡単に説明すると
画像検索する際に、ざっくり照合(基本)するか細かく照合(詳細)するか？を指定する事が可能です。
詳細で設定すると、検索する時間がより掛かります。
後に出てくる【許容値】とも関係がありますが、【基本】で設定してクリックしてくれない場合は【詳細】を設定する事でクリックしてくれる場合があります
画像に対するマウスの相対位置
画像に対するマウスの相対位置の設定は、設定した画像のどの部分をクリックするか？を詳細に設定する事が可能です。
基本設定では画像の真ん中をクリックするよう設定されていますが(9つのブロックの真ん中にチェックが入っている)、画像の左上や右下などをクリックさせたい場合はマウスポイントのある9つの□から設定して下さい。
ただ、左横の□にチェックしてマウスクリックの送信を実行した場合は、左横ギリギリの箇所をクリックします。
そんな時には【オフセット】を指定します。
オフセット(offset)とは
オフセット(offset)とは、埋め合わせ、補正、補うなどの意味を持つ英単語で
Power Automate Desktopでは画像に対するマウスの相対位置を設定した際に、基準となる9つの□の位置からの差を補正する値のことをオフセットと言います。
- オフセット 【X】 ⇒ マウスの位置を【右】に補正する
- オフセット 【Y】 ⇒ マウスの位置を【下】に補正する
先程の【おはよう】の【お】をクリックさせたい場合
- 9つの□は真ん中から一つ左隣をチェック☑状態にする
- オフセット X ⇒10に設定
でクリックしてくれるようになります。
今回の【おはよう】画像は小さいのでオフセット値も10と小さいですが、オフセットの値は画像のサイズによって変わりますのでアクション使用時に調整してみて下さい。
許容値とは
まずは許容値についてのヘルプの記載内容についてですが
指定した画像と元の画像の違いをどの程度許容するかを指定します。基本的な画像照合アルゴリズムの場合に推奨される許容値は【10】であり、高度なアルゴリズムの場合は【4】です
画像照合アルゴリズムを【基本】か【詳細】のどちらで設定しているかや、クリックするしないで数値を高度な数値へ変更させるかは、個々の環境によって左右されます。
この辺りは開発者がデバッグを繰り返し試す必要があるかと思いますので、実際に使用する環境で色々試していただけたらと思います。
デバッグについての詳しい説明はこちらでご説明しています。
こんにちは！ちょこれいとです！今回は、Power Automate Desktopの【実行遅延】と【デバッグ】についてご紹介します。実行遅延はフロー作成する上で重要な項目となりますので詳しくご説明します。実行遅延について[…]
画像の検索先
画像の検索先右にある【V】をクリックして選択します。
ヘルプには以下のように表記されています。
指定された画像を、フォアグラウンドウィンドウのみで検索するか、表示されている画面全体で検索するかを指定します。どちらの場合でも、画像が画面に明確に表示されていない場合は、検索出来ません。
フォアグラウンドウィンドウとは、一番前に来ているウィンドウの事を指しています。
検索モード
検索モードも変更する事が可能です。
ヘルプには以下のように表記されています。
画面(またはウィンドウ)全体をスキャンして指定された画像を検索するか、またはそのサブ領域のみを検索するかを指定します。
【画像の検索先】でフォアグラウンドウィンドウを選択していた場合、更にサブ領域を指定して検索範囲を狭める事が可能です。(検索範囲を狭める事で、検索スピードを上げる事に繋がります)
検索モード サブ領域の選択
検索モードで【画面またはフォアグラウンドウィンドウの指定されたサブ領域を検索します】を選択した場合は、【サブ領域の選択】が表示されます。
【サブ領域の選択】をクリックすると、選択画面へ切り替わるので範囲を指定します。
生成された変数
【マウスを画像に移動】の初期設定では【変数】が設定されています。
【マウスを画像に移動】アクション実行後に、検出された画像が画面上のどの位置で検出されたかの座標が変数として設定されているのですが、変数を使用しない場合はチェックを外しておく事をオススメします。
そのままにしておくとどんどん変数が生成されていき、実際に変数を使用したい時に設定しにくくなります。
※変数の使用方法についてはまた別の記事でご説明させていただきます。
まとめ
よく使用するアクションになるかと思いますので、細かく丁寧に説明したので長くなってしまいました。長々とお付き合いくださり本当にありがとうございます。
ご質問やご不明な点等ございましたら、お気軽にちょこれいとまでお問い合わせください。
最後まで読んでいただきありがとうございます。
今このページでPower Automate Desktopの使い方を見ているという事は、RPA開発担当の方かもしれません。
RPAでの開発経験があると、今後RPAエンジニアとして転職できる可能性もあります。
RPAエンジニアの年収は350万～800万以上など年収アップの可能性が高く、今後需要の高まりも期待出来ます。
数少ないRPAエンジニアへの転職のチャンスを逃さない為にも、以下それぞれの登録がオススメです。
| サービス名 | 特徴 | オススメ度 |
| RPAエンジニアの求人が一番多い | ★★★★★ | |
| RPAエンジニアの求人多数あり | ★★★★★ | |
| エンジニアの実務経験なしでも登録可 (未経験可求人あり) | ★★★★☆ | |
| 【】 | RPAエンジニアの求人あり (数が少ない＋開発経験者のみ) | ★★★☆☆ |
