表紙 | 新規 | 一覧 | RSS | 検索 | 閲覧履歴 | 作成履歴 | 更新履歴

2006/01/05 - 自由は、必ずしも世の中を良くするわけじゃない

差分表示


&color(ffff00,自由は、必ずしも世の中を良くするわけじゃない)

* C68 && C69のサークルリストを[[PonyWiki]]に入れてみよう作戦 リベンジ篇
&link(昨日,2006/01/04)は負けましたが、今日はリベンジです。

昨日のデータから計算すると、C68とC69のリスト(43000程でした)を取り込むのに24時間以上かかるようでしたので、
目標は12倍速です。2時間ならなんとか我慢できる範囲でしょうか。

で、やった事。
- 処理の分割
-- 取り込み、インデックス作成、自動リンクを別々にする
- メモリの節約しない
-- インデックスをメモリに展開して使用
-- データベースのキャッシュを行う
- Cygwinじゃなくて、ActivePerlを使う (^^;;;;
-- これは反則でしたね。

Cygwin使ってると2.5時間だったんですが、ActivePerlだとなんとか2時間以下で処理が終わりました。

で、使ってみたら、結構便利かも。もっともメモリを結構使うのでレンタルサーバで動かすかどうかは、微妙なところ。
瞬間的にとは言っても、メモリを最大120MB使うのは気がひけます。

それにしても、規模が変われば本質も変わるという事をしみじみと実感です。

----
[[2006年01月の日記]]一覧へ
-----
[[#rtrackback]]

先頭へ