pythonでRPAっぽいことをやってみた
公開 2023/06/15 11:20
最終更新 -
10日ごととか、月一みたいに行う定型作業がありますので、これまではPythonを使ってRPAのようなものを作成していました。その際にpyautoguiというライブラリを使用していました。

pyautoguiは画面上の画像イメージを取得し、画面上から一致する位置を探し出す機能を提供します。もし見つけた位置にボタンがあれば押したり、テキストボックスがあれば文字列を入力したりすることができます。

しかし、この方法をWebブラウザに表示される要素に適用しようとすると、ある日を境にうまく動作しなくなってしまいました。おそらくブラウザのアップデートにより、微妙なイメージの変化が生じているため、保存したイメージファイルと一致しなくなったのだと思われます。
目視では違いはわかりませんでしたが、イメージ比較ツールを使用することで違いがわかりました。私自身は作成者の立場ですので、必要な時にイメージを再取得して使用していましたが、他の人にはこの方法は使いづらいでしょう。

しかし、Seleniumというライブラリを試してみたところ、うまく機能しました。これはイメージの一致を利用するのではなく、ページの構成要素から項目を特定することができるためですね。ブラウザを自動テストモードでどうさせるということらしいです。
しばらく使って問題がなさそうなら、関係者に直接使ってもらおうと思います。

RPAツールは一般に有料のものが多く、なかなか手が出せません。しかし、うまく活用できれば定型業務の手間を削減できるため、ぜひ導入したいと考えています。ただ、私の周りにはRPAを活用しようとする人がいないため、お金を無駄にする可能性があります。

とりあえず、Seleniumならある程度手を離れて運用できそうなので、他の業務にも適用できると思います。ただし、ブラウザ以外のアプリケーションでもRPAを行う場合には、pyautoguiも必要になりますのでSeleniumさえあればすべてOKというわけにはいきませんが。
最近の記事
Open-Interpreter再インストールしてみた
Open-Interpreterのバージョンが変化しないので、Ver 1.0準備版を使ってみようかとgithubにある要領で入れてみたら、オプション…
2025/03/14 10:20
Gemma3が出たぞ。
正直、どれがどれだけ賢いのかもうわからん。 なので、切り替えながら自分の好みに合うものを選択していくしかないのかなと思…
2025/03/13 10:45
高校授業料無償化?について
現状、娘の授業料(私立通信制高校)に苦しんでいる現状を考えれば、十分ありがたい話ではあるんだけれども、無理だったら意地…
2025/03/07 14:06
覚えておきたいフューチャーアグリ(株)
搬送ロボットキットで19万8千円らしい。 https://www.futureagri.co.jp/ 構成: 制御ユニット モーターユニット2個 光…
2025/03/07 09:38
スマホゲーム:量子行動ダウンロードしたけれども
このゲームって、「宿命ファンタジー」とほぼ同じシステムだなぁ。 基本的に放置し、いつの間にか強くなり、みたいなゲームは…
2025/03/06 15:02
またchromeOS Flexネタ
Celeron 1000M(メモリ8GB)でも、ストレスを感じないって素晴らしいと思う。 もちろん、処理のさまざまなところに遅さを感じる…
2025/03/01 07:25
R1-1776: 賢いんだが...
r1-1776-distill-llama-70b.i1-Q2_K_S.ggufがHugging Faceに上がってきたので、24.47GBは厳しいけれども試してみたいと思い、ダ…
2025/02/28 16:46
落ち着いて考えてみると、最近Googleを見直してばかりかも。
1.Windows10(Win11非対応)移行先にchromeOS Flex。ヘビーな使い方をしなければ、これで十分。 もともとLinuxを有力候補とし…
2025/02/27 09:13
Gemini Code Assist無料公開、コード補完は月18万回 らしい
ITmediaの記事: https://www.msn.com/ja-jp/news/techandscience/google-gemini-code-assist-%E3%82%92%E7%84%A1%E6%96%99%E5…
2025/02/26 10:49
R1-1776 by Perplexity-Ai 使ってみたいけれども、大きすぎて無理
PerplexityがDeepSeek-R1に対してポストトレーニングを施し、中国政府に忖度しないAIに仕上げたそう。 オープンソースはこれが…
2025/02/21 08:39
chromeOS Flexで開いたUSBメモリは「デバイスの取り出し」をしなきゃダメ
Windowsを使っていると忘れがちなんだけれど、USBメモリは一度接続したら、「デバイスの取り出し」をしないで抜き出すと内部デ…
2025/02/18 11:53
chromeOS Flexでいい
手持ちパソコンがWindows11を入れるのも厳しいし、Windows10もなぁ、ということでchromeOS Flex。 今までLinux mintを好んで使…
2025/02/13 12:02
久しぶりにContinueにコードを書かせたところ...
DeepSeek coder V2が賢いですねぇ。Qwen2.5 coder、Gemma2も悪くない。 トレンドから言えばDeepSeek-R1をとも思うんだけれども…
2025/02/06 13:21
DeepSeekフィーバーが落ち着く兆しが見えてきたので、ひとこと
アメリカが「GPT-4oからデータをチューチューしたでしょ。蚊か!?」(意訳)みたいな話をしているけれども、ちょっと思ったこ…
2025/01/30 16:52
巷間、DeepSeek-R1ショックとか反発とか、いろいろありますが
DeepSeek一部で流行っているお話ではありますが、DeepSeek-Coder-V2(VSCode+Continue)を愛用している立場ではあるけれども、中…
2025/01/29 15:57
今週はLM Studioのアップデートが多い
現在、LM Studioは0.3.8。llama.cppのアップデートが2回ほど行われてからLM Studio本体のアップデートが行われた感じ。 lla…
2025/01/23 11:48
「Microsoft Edgeは自動テストソフトウェアによって制御されています」を消す
Seleniumを使用していて、他人に多少使用させることを考えたとき、 「Microsoft Edgeは自動テストソフトウェアによって制御さ…
2025/01/22 11:11
Phi4が出たらしいけど、今のところ大きめのモデルでダメだなぁ
MicrosoftのAIモデル「Phi4」が出たみたいですけれども。 Hugging Faceに上がっている量子化モデル(Q4_K_Mとか)でも9GB前後。 …
2024/12/16 10:53
Node-REDでpythonが使えるとありがたい
町工場で兼業IT担当がIoTをやろうとするとNode-REDはありがたい。 でも、さすがにノーコードというわけにはいかない。 Java…
2024/12/11 16:20
Open Interpreter更新がないのとローカルLLM界隈、パッとしないので。
きちんとウォッチしていれば世の中は常に動いているんですけれども。 Ollamaが順調にアップデートされて0.5.1になっています。…
2024/12/11 15:48
もっと見る
タグ
AI(29)
IT(13)
愚痴(5)
IoT(4)
日記(3)
雑感(3)
AI,(2)
IT,(2)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
もっと見る