我觉得对于开发者来说,能脚本化编写爬虫是一件挺开心的事情( ̄▽ ̄)"。
所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统, 叫神箭手云爬虫开发平台: http://www.shenjianshou.cn 。
只要有些代码基础,稍微参考下开发者的文档,文档地址:http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。
这里也有些网站的爬虫源码可供参考,https://github.com/ShenJianShou/crawler_samples
欢迎同行们来试用拍砖,尽情给俺们提意见。有想法的可以加群讨论: 342953471