我开发了一个云爬虫开发框架,可以在云上编写和运行爬虫,求种子用户来拍砖

数据工厂 发布于 2016年06月21日
efyn 等1人欣赏。 1人反对。

我觉得对于开发者来说,能脚本化编写爬虫是一件挺开心的事情( ̄▽ ̄)"。

所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统, 叫神箭手云爬虫开发平台: http://www.shenjianshou.cn 。

只要有些代码基础,稍微参考下开发者的文档,文档地址:http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。

这里也有些网站的爬虫源码可供参考,https://github.com/ShenJianShou/crawler_samples

欢迎同行们来试用拍砖,尽情给俺们提意见。有想法的可以加群讨论: 342953471

共8条回复
xiaotie 回复于 2016年06月21日

不错,有点意思

数据工厂 回复于 2016年06月24日

1楼 @xiaotie 多谢支持

数据工厂 回复于 2016年07月06日

最近有个爬虫活动,投稿选中的话,奖励100元现金哦,有兴趣的小伙伴可以看下 详情:http://www.jianshu.com/p/fe537993cbf9

特诺兰的风 回复于 2016年07月20日

看着好像有点意思··

oceanandtree 回复于 2016年07月22日

你自己开发的?

menghuan758 回复于 2016年07月22日

不错 支持

数据工厂 回复于 2016年08月10日

有对爬虫感兴趣的嘛

xiaotie 回复于 2016年08月10日

感兴趣啊,今天还在写爬虫呢。你这个解决方案太浅,比如,我有这样的需求:

(1)点击一下就能够试着运行,看到运行效果,最终数据能一键下载。通过评估,然后直接购买数据或者租用爬虫。就是一键搞定,别让人写代码。

(2)写代码也可以,但你得提供常见方案没有的东东,比如,爬取直播内容,爬取视频内容;

登录 或者 注册