グーグルでの検索結果をスクレイピングして必要な部分だけ保存。リンク先の情報もある程度取りながら・・・・みたいなゆるい感じの情報収集ツールを作成してほしいということで依頼を受けた。先日からPythonを使い始めたのでここは一つ新しいものにチャレンジするべ！と思って調べてみた。
流石にメインスレッドだけでダラダラ回すわけにもいかんか・・・・と思ってマルチスレッドの作り方を調べる。すげぇ・・・・めちゃ簡単ｗ解説ページは死ぬほどたくさんあったので・・・・とりあえずこちら辺りを参考にしてみた。大量にスレッド作って検索しまくるとスパム扱いされると思うので最大スレッド数は5くらいで・・・・みたいな感じで作成。
はて・・・・マルチスレッドから単一ファイルに書き込みをする場合、ファイルのロックってどうしたらいいんだろう？？？ググってみたが・・・・ヤフー知恵袋で同じ質問してる人がいて同一ファイルにマルチスレッドから書き込みをする場合はQueモジュールを使うのが正解みたいだ。なるほど・・・・え、サンプル書いてくれよー。情報だけ手に入れたｗ
しょーもない案件なので数日で作らないといけないので今回はPythonは見送りにした。手慣れてるC#ならサクッと作れるので・・・・逃げましたｗはいｗ最近、ある種の作業に関してはC#よりPythonのほうが情報おおくなっているなと感じる。ウィンドウズデスクトップのプログラム使う人、結構減ってるのかもなぁ。ウェブ上で動かすならHTMLでいいし、デスクトップ用に作る必要って最近あんまないな。勤怠のプログラムなんかでもウェブベースとかも普通だしなぁ。昔みたいにAccessで作ってます！みたいな会社まだ結構あるんだろうか・・・・Accessも長い間触ってないなｗ
コメント