0
・5 min read
PyAutoGUIのチートシート
以下リンク（本家）のうち、使いそうなところだけまとめました。
詳しくは本家を見てください。
https://pyautogui.readthedocs.io/en/latest/quickstart.html
pip install pyautogui Pillow==8.3でインストール。(最新のPillow==8.3.1だとエラーすら吐かずに落ちる)
import pyautoguiでインポート。下の関数を呼び出す際は手前に
pyautogui.を付けましょう。設定
| 動作 | コード |
|---|---|
| すべて1秒おきにする | PAUSE = 1.0 |
いろいろ取得
| 動作 | コード |
|---|---|
| ポインタ位置を取得 | position() |
| スクリーンサイズを取得 | size() |
| 画像と一致する部分（4隅）を取得 | locateOnScreen('myBestPicture.png') |
| 画像と一致する部分（中心）を取得 | locateCenterOnScreen('myBestPicture.png') |
| スクリーンショットを取得（戻り値はPIL.Image） | screenshot('sukusho.png') |
| x=123, y=456の色を取得 | pixel(123, 456) |
| x=123, y=456の色が赤であるかどうか | pixelMatchesColor(123, 456, (255, 0, 0)) |
キーボード操作
| 動作 | コード |
|---|---|
| 'yakiniku'と書く（英語のみOK、他言語はコピペで対応） | typewrite('yakiniku') |
| 'yakiniku'の順でキーボードを押して離す | typewrite(['y', 'a', 'k', 'i', 'n', 'k', 'u']) |
| Shiftキーを押す | keyDown('shift') |
| Shiftキーを離す | keyUp('shift') |
| Shiftキーを押して離す | press('shift') |
| Ctrl押してV押してV離してCtrl離す | hotkey('ctrl', 'v') |
日本語のコピペはpyperclipで
pyperclip.copy("ほかの言語も多分同様の処理が必要です。")
pyautogui.hotkey('ctrl', 'v')マウス操作
| 動作 | コード |
|---|---|
| 座標(123, 456)まで789秒かけてポインタを動かす | moveTo(123, 456, duration=789) |
| 今の位置 + x=123, y=456の座標までポインタを動かす | moveRel(123, 456) |
| 座標(123, 456)まで789秒かけてドラッグ | dragTo(123, 456, duration=789) |
| 今の位置 + x=123, y=456の座標までドラッグ | dragRel(123, 456) |
| 左ボタンを押す | mouseDown() |
| 左ボタンを離す | mouseUp() |
| 左ボタンを押して離す | click() |
| 左上からx=123, y=456の位置で場所で左ボタンを押して離す | click(123,456) |
| 指定画像を探してその真ん中でクリック | click('button_ok.png') |
| ダブルクリックする | doubleClick() |
| トリプルクリックする | tripleClick() |
| 中クリックする | middleClick() |
| 右クリックする | rightClick() |
| 12回分スクロールする | scroll(12) |
キーボードに対応した文字列たち
available_keys = ['\t', '\n', '\r', \
'0', '1', '2', '3', '4', '5', '6', '7','8', '9', \
'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', \
'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', \
'`', '~','!', '@', '#', '$', '%', '^', '&', '*', '(', ')', '-', '_', '+', '=', \
'[', ']', '{', '}', ':', ';', "'", '"', '|', ',', '<', '.', '>', '/', '?', '\\', \
' ', 'backspace', 'capslock', 'space', 'tab',
'enter', 'esc', 'escape', 'return', 'separator',]
combos = ['alt', 'altleft', 'altright', 'win', 'winleft', 'winright', \
'ctrl', 'ctrlleft', 'ctrlright', 'shift', 'shiftleft', 'shiftright', \
'command', 'option', 'optionleft', 'optionright', 'fn', ]
function_keys = ['f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'f10', 'f11', 'f12', \
'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f20', 'f21', 'f22', 'f23', 'f24', ]
num_keys = ['num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', \
'decimal', 'numlock', 'subtract', 'multiply', 'add', 'divide', ]
middle_of_full_keyboard = ['left', 'right', 'up', 'down', \
'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'pause', 'scrolllock', \
'insert', 'home', 'end', 'del', 'delete', 'pgdn', 'pagedown', 'pgup', 'pageup', ]
browser_keys = ['browserback', 'browserfavorites', 'browserforward', 'browserhome',
'browserrefresh', 'browsersearch', 'browserstop',
]
media_keys = ['apps', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', \
'modechange', 'nexttrack', 'playpause', 'prevtrack', 'sleep', 'stop',
'volumedown', 'volumemute', 'volumeup', ]
language_specific = ['convert', 'hanguel', 'hangul', 'hanja', 'junja', 'kana', 'kanji', 'nonconvert', 'yen']
i_dont_know = ['accept', 'final', 'execute', 'select', 'clear', 'help', ]使っていて気づいたこと
画像を探す系は見つからなかった場合にNoneが返ってくるみたいです。
本当は例外がスローされるって書かれてるけど、自環境だとそうならないです。
操作するウィンドウによってはうまくいきません。
自分の環境だとMicrosoft Office関係はうまくいきませんでした。
形式の変換が必要だったので、unoconv + LibreOfficeで進めることにしました。