OC

Knowledge OS
主帖 8 条回复

我开发了一个云爬虫开发框架,可以在云上编写和运行爬虫,求种子用户来拍砖

数据工厂 数据工厂 · 2016年06月21日 · 阅读 5 · efyn 等0人欣赏。

我觉得对于开发者来说,能脚本化编写爬虫是一件挺开心的事情( ̄▽ ̄)"。

所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统, 叫神箭手云爬虫开发平台: http://www.shenjianshou.cn 。

只要有些代码基础,稍微参考下开发者的文档,文档地址:http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。

这里也有些网站的爬虫源码可供参考,https://github.com/ShenJianShou/crawler_samples

欢迎同行们来试用拍砖,尽情给俺们提意见。有想法的可以加群讨论: 342953471

回复

8 条
#3
数据工厂
2016年07月06日

最近有个爬虫活动,投稿选中的话,奖励100元现金哦,有兴趣的小伙伴可以看下 详情:http://www.jianshu.com/p/fe537993cbf9

#8
xiaotie
2016年08月10日

感兴趣啊,今天还在写爬虫呢。你这个解决方案太浅,比如,我有这样的需求:

(1)点击一下就能够试着运行,看到运行效果,最终数据能一键下载。通过评估,然后直接购买数据或者租用爬虫。就是一键搞定,别让人写代码。

(2)写代码也可以,但你得提供常见方案没有的东东,比如,爬取直播内容,爬取视频内容;

登录 或者 注册