taskt が使えるクリック自動化方法について

位置 (座標) による指定

位置 (座標) による指定は、Send Mose Move 命令で行うことができますし、Record の機能を使うと、自動的にマウスの動きやクリックが Send Mouse Move 命令に変換されます。

そのため、taskt では一番簡単に作れるのかもしれません。

しかし、位置 (座標) というのは、パソコンの画面の左上を基準にどこをクリックするかという単純な情報でしかありません。

そのため、ソフト (画面) の位置が少しでもずれると、目的のボタンなどがクリックできなくなります。

この問題を解決するために、Move Window 命令や Resize Window 命令でソフト (画面) の大きさを事前に設定するという方法があります。

しかし、何らかの原因で目的のボタンの上に別のソフトの画面が重なっていると、クリックできなかったりと予期せぬ問題が発生することもあります。

画像認識による指定

画像による認識は Image Recognition 命令を使用します。

これは、パソコンの画面全体をから目的の画像を探す方法です。

ほとんどのソフトでは、ソフト (画面) の大きさによってボタンの大きさが変化することはないので、座標を指定するよりは正確にクリックできます。

目的のボタンがほかのソフトと重なって見えないというような状況以外は、ほぼうまくいくような気がするかもしれませんが、落とし穴もあります。

下のメモ帳の画面の OK ボタンはすべて違いますが、区別がつきますか？

左のボタンは外枠が青く、その内側に点線が付いています。中央のボタンは外枠が黒いです。右のボタンは外枠が青いですが、点線がありません。

画像認識がどこまでの違いがあっても同じと判断するかは不明ですが、人間には同じに見えるものでも、画像認識では違うと判断されることがあるので注意が必要です。

また、Windows 7、Windows 8、Windows 10 と画面やボタンの見た目が異なるので、使っている Windows ごとに認識させる画像を設定しなおす必要があります。

構造 (要素) による指定

ソフトの画面は、専門的な内容になりますが、さまざまな要素により構成されています。そして、その要素を特定することで、クリックする場所も決めることができます。

taskt では UI Automation 命令という命令で、構造 (要素) を指定した操作ができます。

構造 (要素) は、ソフト (画面) の大きさによる違いや、Windows ごとのデザインの違いなどの影響を受けないため、クリックする位置をかなり正確に指定できます。

ただし、構造 (要素) を認識できないソフトが存在したり、そもそも taskt の画面で UI Automation 命令を指定するのに知識が必要だったりと、使いこなすことが難しい命令です。