以前用过几个第三方的采集，印象中DEDE给我的体验是不错的。
单今天dede采集在nginx + php服务器上频频遭遇 504 Gateway Timeout,我的fastcgi_buffer已经开到24*8k，应该不小了吧，默认8K。不想为了这个小采集程序再把buffer配大。
于是准备再试试火车头。火车头刚出的时候也用过，但是当时体验不怎么好。现在耳边提火车头的人越来越多，于是准备再试试。一直以来有数据采集的需求，一般都是自己手动写采集程序，但是感觉每次写工作量也不小，也想过搞个通用采集软件客户端来。但是，一来，只能是客户端采集，二来也一直没静下心来做这件事情。
打开火车头，感觉规则的配置和DEDE差不多，不过因为是客户端采集器，所以，还必须多配置一个网站发布接口。DEDE的火车头接口不难找，火车头+DEDE估计是中国站长的标配。试了一下，经过这些年不断的改进，功能上确实比较全面了，但是对于新手要接触并掌握还是有些难度的。而且有的地方，有些功能也不太方便。用了一会儿，简单整理了一些使用要点。一会儿发在下一篇日志里。
有空我还是想自己做一个通用采集器的，一来肯定更顺手，二来这个火车头毕竟也不是免费的不是。
Posted in IT at 07月 31st, 2009. No Comments.