http://labs.cybozu.co.jp/blog/kazuho/archives/2007/10/perl_mp.php#more

こちらで言及されている件に関してはごもっとも。スライドにはメモリフットプリントとか書いちゃったけど、本当の意図は「イベントドリブンなGunghoの中でクロール以外の処理してるとクロールが遅くなるよ!」って事でした(でもそもそもいらないモジュールをプロセスの中に読み込むのはどちらにしろ嫌いではありますが)。

実際Xangoの中でDBにアクセスしてたら、当たり前なんですがすげぇスループットが落ちて悲しかった記憶があります。それでEasyDBI使ったら今度はメモリーリークですよ。もう今は直ったようですが

(そんな経緯でPOE::Component::MDBAはPoCo::Genericに辿り着いた)

あとは奥さんも書かれている通りDBとか、それ以外のしょうもない処理でクローラーに落ちてほしくないとか、まぁ色々。そんなわけで僕は基本的には機能別にプロセスを分ちたい派なのであります。

カテゴリ

トラックバック(0)

このブログ記事に対するトラックバックURL: http://mt.endeworks.jp/cgi-bin/mt-tb.cgi/1920

コメントする

筆者

daisuke - a.k.a. "lestrrat", Perl hacker at Livedoor Inc, Japan Perl Association 代表理事

このブログ記事について

このページは、Dが2007年10月 2日 20:58に書いたブログ記事です。

ひとつ前のブログ記事は「Shibuya.pm #8」です。

次のブログ記事は「Ludia 1.3.0でsen_query_scanエラー」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

Powered by Movable Type 4.1