Magicode logo
Magicode
1

【Luigi】【Windows】Central Schedulerを表示する

2 min read

概要

機械学習とかでデータの前処理を行う時、最近はパイプライン処理フレームワークのLuigiを使っています。
Luigiを使うとデータの流れを把握しやすくなり、Central Schedulerという管理画面を通してバッチ毎の依存関係を把握することができるため大変助かっているのですが、
WindowsでLuigiの管理画面(Central Scheduler)を表示する際には注意が必要なのでここに記しておきます。

Luigiのインストール

Powershellかコマンドプロンプトを開いて、

pip install luigi

でインストール
Linuxでインストールした場合は、luigidというコマンドが一緒にインストールされ、このコマンドでCentral Schedulerを起動することができるのですが、Windowsだとなぜかluigidコマンドがないんです。。。

luigid.batを作成

じゃあどうするかと言うと、linuxのluigidコマンドが内部でやっていることをWindowsで実行してあげる必要があります。

luigidの中身は簡単に言うと、

(luigiダウンロード先パス)/server.py

を実行して上げているだけです。
なので、Windowsでもこのpythonスクリプトを叩くbatファイルを作成して上げれば、luigidと同じ事が実現できます。

というわけで早速、luigiのインストールパスを調べていきます。

# luigiのインストール先フォルダを調べる
pip show luigi

これで色々な情報が出てくると思いますが、その中に「Location:」という欄があると思います。
これがpipでインストールしたluigiのインストール先ディレクトリです。

Location: (pythonパッケージ用ディレクトリ)\site-packages

あとはこの配下に置いてあるserver.pyを叩くbatファイルを作ってあげます。
ファイル名はなんでもいいですが、「luigid.bat」みたいな名前でbatファイルを作って、
以下の二行を書いて保存します。

start chrome http://localhost:8082
python (pythonパッケージ用ディレクトリ)\site-packages\luigi\server.py

二行目だけでも良いんですが、一行目を書いて上げると自動でブラウザアクセスまで完了するので楽です。
以上、WindowsでLuigiのCentral Scheduler立ち上げでしたー。

Discussion

コメントにはログインが必要です。