Pythonでジョブキューシステムを作った

タグ
スライド概要

https://rakus.connpass.com/event/201934/ で発表したやつ。 ブログ記事はこれ https://asmsuechan.hatenablog.com/entry/2020/11/11/150746

profile-image

asmsuechan

@asmsuechan

作者について:

ある日の暮方の事である。一人の下人が、羅生門の下で雨やみを待っていた。広い門の下には、この男のほかに誰もいない。ただ、所々丹塗の剥はげた、大きな円柱に、蟋蟀が一匹とまっている。羅生門が、朱雀大路にある以上は、この男のほかにも、雨やみをする市女笠や揉烏帽子が、もう二三人はありそうなものである。それが、この男のほかには誰もいない。何故かと云うと、この二三年、京都には、地震とか辻風とか火事とか饑饉とか云う災がつづいて起った。そこで洛中のさびれ方は一通りではない。旧記によると、仏像や仏具を打砕いて、その丹がついたり、金銀の箔がついたりした木を、路ばたにつみ重ねて、薪の料に売っていたと云う事である。洛中がその始末であるから、羅生門の修理などは、元より誰も捨てて顧る者がなかった。するとその荒れ果てたのをよい事にして、狐狸が棲すむ。盗人が棲む。とうとうしまいには、引取り手のない死人を、この門へ持って来て

スライド一覧
シェア
埋め込む

作成日

2021-03-07 21:55:10

各ページのテキスト

1. Pythonでジョブキューシステム作った 2021.02.25 Python Tips LT会 asmsuechan 1

2. 0. 私は誰 • ハンドルネーム: asmsuechan • 修論提出後の暇な大学院生 • 研究テーマはROSロボットの自律移動 • 就職先ではPythonを使う予定がない 2

3. 今日はPythonでジョブキューシステムを自作して 研究室内打刻システムで活用している話をします。 なのでまず打刻システムの話をちょっとします 3

4. 以前研究室用打刻システムを作りました https://moriokalab.com/news/75 4

5. 外観 構成要素 • Raspberry Pi • NFCカードリーダー • ちっちゃいスピーカー • ソフトウェアはPythonで作ってる ※打刻は大学側からの要請 5

6. 導入当初は問題なく動作していました・・・ 6

7. しかし、ある日学生証をタッチしても 打刻されなくなってしまいました・・・ 7

8. この原因は、Raspberry Piのネットワーク 接続が不安定になっていたため。 8

9. 問題: 失敗した打刻のリクエストが失われてしまう データはsqliteに保存されてるから復旧可能。でもめんどくさい。 9

10. 問題: 失敗した打刻のデータが失われてしまう これを防ぐためにはリトライして欲しい 10

11. うーん、ジョブキューシステム作るか!w そうはならんやろ! 11

12. ジョブキューシステムの簡単な説明 メッセージ 打刻システムくん 関数の場所 ジョブキューシステム その引数 (別プロセス) ジョブキューシステムが打刻システムの代わりにタスクを実行してくれる。 会員登録時のメール送信とかでよく使われてるよ! 12

13. 作ったもの queick: A simple job-queue system for Python https://github.com/asmsuechan/queick 13

14. 特徴たち コンセプトはDeadly Simple • Redisを使わない(データはインメモリ保存) • 標準ライブラリ縛り • ネットワークの復帰時にジョブをリトライする機能 • • • • リトライ機構あり 日時指定のスケジュール実行可能 ←一般的なジョブキューシステムで 定期実行(cron) 実装されてる機能たち ジョブは新しく生成したスレッドで実行 14

15. Q. なぜ既存のものを使わずに自作したのか? A. (1) RedisやPostgres等のミドルウェアを入れたくなかった (2) ネットワーク復帰時リトライ機能を実装しているものがなかった (3) 個人的な趣味 15

16. 地味なTips 「作ったよ!」だけで終わるのは忍びないのでちょっと紹介 • • • • PythonのジョブキューシステムはRQが有名そう Pythonで並行処理したいならconcurrent.futureさんが便利 標準ライブラリ縛りプログラミングは楽しい 難しそうなものも作れば案外作れる 16

17. 終 ちょっとマニアックな話だったかもしれない 詳しい話はブログに書いてます このソフトウェアが気になる人は連絡ください。何かします。 17