pythonでRPAっぽいことをやってみた
公開 2023/06/15 11:20
最終更新 -
10日ごととか、月一みたいに行う定型作業がありますので、これまではPythonを使ってRPAのようなものを作成していました。その際にpyautoguiというライブラリを使用していました。

pyautoguiは画面上の画像イメージを取得し、画面上から一致する位置を探し出す機能を提供します。もし見つけた位置にボタンがあれば押したり、テキストボックスがあれば文字列を入力したりすることができます。

しかし、この方法をWebブラウザに表示される要素に適用しようとすると、ある日を境にうまく動作しなくなってしまいました。おそらくブラウザのアップデートにより、微妙なイメージの変化が生じているため、保存したイメージファイルと一致しなくなったのだと思われます。
目視では違いはわかりませんでしたが、イメージ比較ツールを使用することで違いがわかりました。私自身は作成者の立場ですので、必要な時にイメージを再取得して使用していましたが、他の人にはこの方法は使いづらいでしょう。

しかし、Seleniumというライブラリを試してみたところ、うまく機能しました。これはイメージの一致を利用するのではなく、ページの構成要素から項目を特定することができるためですね。ブラウザを自動テストモードでどうさせるということらしいです。
しばらく使って問題がなさそうなら、関係者に直接使ってもらおうと思います。

RPAツールは一般に有料のものが多く、なかなか手が出せません。しかし、うまく活用できれば定型業務の手間を削減できるため、ぜひ導入したいと考えています。ただ、私の周りにはRPAを活用しようとする人がいないため、お金を無駄にする可能性があります。

とりあえず、Seleniumならある程度手を離れて運用できそうなので、他の業務にも適用できると思います。ただし、ブラウザ以外のアプリケーションでもRPAを行う場合には、pyautoguiも必要になりますのでSeleniumさえあればすべてOKというわけにはいきませんが。
最近の記事
ZorinOSを入れてみた
Chrome OS Flexを旧型PCに入れていたんだけど、どうもデスクトップがすっきりし過ぎて落ち着かない。 いや、汚いのが良いとは…
2025/12/19 14:24
マイクロソフトは劣化が著しい
新しいパソコンが届いたのでセットアップしようとして、サーバ上の共有フォルダを開こうとしたら、「拡張エラー」??? エ…
2025/12/16 11:29
意外と使えそうなOnlyOffice
(申し訳ない、支離滅裂な駄文です。) Windows環境で事務作業をするならExcelは必須と思う。 企業で使うなら、MS Officeプ…
2025/12/09 09:13
Antigravity便利
できることが多いと使いこなすまでの苦労が多いのが困る。 というのは冗談。 機能が多くてもわからなければ使わなくていいし…
2025/12/03 09:00
Google Antigravityを入れた
Google Antigravityを使ってみた。Gemini Code AssistのAgent modeがオンになっているVSCodeとどう違うのかよくわからん。Gemin…
2025/11/24 17:38
ある意味安直な高速化、だけど人力では経験が必要な、だからLLM
作業量が大きくて時間のかかる集計処理。 pythonでやっているんだが、これはGoとかで書き直さなきゃいけないかなぁ... と…
2025/11/18 15:19
Github Copilot無料枠は月間縛りつらいが、Geminiがある
Github CopilotでGPT-5miniとかよりも、Claude Haiku 4.5がありがたいというネタもチャットクオータの壁には勝てない。(ただし…
2025/11/18 13:21
コードの変更はClaude系が強い
Gemini Code Assistは便利ということで愛用してきたわけだが、処理内容を変更せずにリファクタリングさせようとするとGithub Co…
2025/11/11 16:36
Gemini Code AssistのAgentモードが途中で停止すると...
Gemini Code Assistにリファクタリングをさせていたところ、原因不明で停止してしまった。 今日、実施していた感じでは、いく…
2025/10/24 16:27
ワイヤレスマウスの不調
会社で使用しているワイヤレスマウスが動きが悪いということで、動作確認をしてみた。 センサで使用している赤色LEDの様子を見…
2025/10/20 11:38
WiFiルーターを変更
安いのでTP-linkの‎Archer AX3000を導入した。 インターネットプロバイダーからレンタルでつかっていたんだけれども、思うとこ…
2025/10/14 11:09
恣意的という言葉は嫌い
「恣意的」その時々の思いつきで物事を判断するさま。 というのが、まず出てくるんだけれども、weblio辞書によれば、「意図…
2025/10/10 10:19
AIのせいで新人の仕事がなくなって、就職難とのお話
ここのところ、ネット記事で読むことが多いので思ったこと。 生成AIとかLLMとか、ChatGPTに代表されるようなAIが賢くなって…
2025/10/01 15:54
Github CopilotでOllamaを利用するように設定してみたが
Github CopilotでOllama(+ローカルLLM)が使えると知って、試してみた。 なんかアダプタ的な?アプリが必要そうだってどっかの…
2025/09/30 13:24
VSCodeの拡張機能:Gemini Code Assistのほうが良いと言ったが...
CopilotでGPT4.1がデフォルトで指定されていたのを、Claude Sonnet 3.5に変更したところ、こちらのほうがよりよかったという話…
2025/09/17 13:33
細かい話ではあるんだが...
どこぞの企業の執行役員が登壇で、その肩書がCDTO(Cheif Digital Technology Officer) CTO(Cheif Technology Officer)でいいじ…
2025/09/17 11:22
落ち着いて考えてみたら、Open-interpreterってもういらないな
ずっと期待して待っていた部分はあるんだけど、よく考えてみたら、Open-Interpreterでやりたいことって、Github CopilotやGemin…
2025/09/16 11:18
こりゃ、AIなしには仕事にならないわ...
ここ数日、まとまった時間が取れたので、月次処理に使っているプログラムをGemini Code Assistにリファクタリングさせている。 …
2025/09/12 16:54
米が高い
うちの親が、いつものルートで米を買おうとしたが断られたので、そこから紹介されたところから買うことになった。ネットから予…
2025/09/10 17:47
ここ数日Copilotにリファクタリングを手伝わせていたんだけれども
試行錯誤が必要だったからと、jupyter notebook上で処理をさせてきたプログラムがある。 毎月使うプログラムなので、ここらでp…
2025/09/10 16:53
もっと見る
タグ
AI(37)
IT(17)
IoT(6)
雑感(6)
愚痴(5)
AI,(4)
IT,(4)
日記(3)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
もっと見る