LeetCode专题 分而治之

flask图片小站-大胆晒

sanhao 发布于 2014年03月21日 | 更新于 2015年09月21日
zzz6519003 等1人欣赏。

title: '大胆晒'

请大家关注我的新帖,欢迎加入靠谱k12创业公司

btw 新东方的pp妹子真心多,可以各种搭也,肯定有一款适合你,来这边工作,妹子都会有的。

都说豆瓣妹纸好,谁约谁知道。。。

http://dadanshai.com

经常逛豆瓣,请不要害羞等几个小组亮瞎了我的双眼,不能直视,三观全毁。在内心里默默念道以后再也不上这些小组了。..., 可意识坚定敌不过菇凉白花花的大腿。然后每天就翻这些帖子,可翻这些帖子太花时间了。我只喜欢看菇凉不喜欢看评论神马的,然后就动手把小组里的图片抓下来然后以瀑布流的形式展示。独乐乐,不如众乐乐,但不要叫我雷锋...

这些菇凉晒的尺度为什么这么大啦?我想原因大概如下:

  1. 豆瓣是一个陌生人社区,小组里的人基本上在现实社会中没有交集,所以基本上没有心理负担。

  2. 这些菇凉想迅速的让他人了解,认可。菇凉常常会说如果评论超过500楼,会上高清、正面的大图,喜欢的数目、评论的数目、yp豆油的数目她们都很在意的,这些数字反应了他人对她外表的认可。

  3. 还有一部分是偶尔空虚寂寞冷发图的。

下面说说大胆晒的技术实现细节。

  1. 抓取用scrapy,每一个小时抓取一次,然后把结果保存为json文件。豆瓣对访问次数有限制,我用了http://www.samair.ru/proxy-by-country/China-01.htm上的代理,获取这些代理以后需要验证是否是匿名代理,并且验证访问豆瓣的速度,目前滤掉了连接和读取时间超过3s的代理。

  2. 定时脚本然后把数据录入到数据库中,把图片存放到beansdb中。

  3. 网站用了我最喜欢的flask,django太笨重了有木有,除了可以参考flask的官方文档外还可以参考http://blog.miguelgrinberg.com/post/the-flask-mega-tutorial-part-i-hello-world, 前端用了bootstrap,masonry。

  4. 部署采用nginx+gunicorn, gunicorn作为python-cgi的容器,可以参考http://www.onurguzel.com/how-to-run-flask-applications-with-nginx-using-gunicorn/, 顺便吐槽下开始准备用uwsgi,在网上找了半天资料都没有搞定然后转投gunicorn了..

  5. 后台的人工审核,定时会把漏点或低质的图片删掉。

网址是http://dadanshai.com

我的豆瓣是http://www.douban.com/people/yytv5/, 羞涩了,掩面。。。

共68条回复
adad184 回复于 2014年03月21日

双手打字以示清白

tinyfool 回复于 2014年03月21日

看完了一部分以后,心情一下子就复杂了

Leland 回复于 2014年03月21日

“定时会把漏点或低质的图片删掉”。后者能理解,前者为什么?T.T

txsniper 回复于 2014年03月21日

我到底是看了还是不看了,下午还要工作啊

prepostrous 回复于 2014年03月21日

尼玛啊,下午还有很多活儿等着我去做啊。。。。怎么可以酱紫!

尼克徐 回复于 2014年03月21日

4楼 @txsniper

5楼 @prepostrous

论程序员午休时都在干什么

cnsoft 回复于 2014年03月21日

python 支持啊

terryso 回复于 2014年03月21日

楼主,开放几个API,让我做iOS APP玩玩。。。

sanhao 回复于 2014年03月21日

3楼 @Leland 太没节操了不太好吧。。

terryso 回复于 2014年03月21日

9楼 @sanhao 已经发邮件给你了。

Leland 回复于 2014年03月21日

10楼 @sanhao 本来就是个无节操的组啊~

forzaJuve 回复于 2014年03月21日

我就不该在工作日看到这个帖子!!!!!

forzaJuve 回复于 2014年03月21日

严重不同意第五点前半部分!

xidianlz 回复于 2014年03月21日

13楼 @forzaJuve 我也好后悔点开了这个帖子

xidianlz 回复于 2014年03月21日

@sanhao 已关注

sanhao 回复于 2014年03月21日

14楼 @forzaJuve 哈哈。。。。

Archfeed 回复于 2014年03月21日

呀。。。。。。。。。。。。。nb啊~~~我正需要见个差不多的网站公司内部用。。。跪谢啊 Orz

lory_yang 回复于 2014年03月21日

没想到豆瓣的晒图这么大尺度。。

Archfeed 回复于 2014年03月21日

19楼 @lory_yang 私密组啊 。。。我在想楼主的抓取脚本是怎么设计的~

VisualRun 回复于 2014年03月21日

最后还是在上班时间看了看

sanhao 回复于 2014年03月21日

20楼 @Archfeed

抓取从上次到现在更新的图片,scrapy有自带的url filter....

鲁大师 回复于 2014年03月21日

谈谈用户体验:改成两列吧,象现在的宽度就行,三列了要移动眼睛,我看完了才发现看漏了一列...

xieweizhi007 回复于 2014年03月21日

是要做成 snatchly.com 的图片区吗

towser 回复于 2014年03月22日

想不通为什么有暴露倾向

bluven 回复于 2014年03月22日

25楼 @towser 女人要炫耀,男人要约炮

akunamotata 回复于 2014年03月22日

豆瓣让我毁三观了。。。

cenphoenix 回复于 2014年03月22日

我是来看技术实现细节的 :)

isaced 回复于 2014年03月22日

这都能备案???

prepostrous 回复于 2014年03月22日

6楼 @尼克徐 去公园看妹子,指点江山,然后回来补觉~~

sanhao 回复于 2014年03月22日

23楼 @鲁大师 好的,谢谢你的建议,我会好好考虑的~

johnnychen 回复于 2014年03月22日

我只关心技术的,1024

chendeshen 回复于 2014年03月25日

毁三观了。。。

Palm 回复于 2014年03月27日

我真的是来了解技术的

enno 回复于 2014年03月27日

我去,丈母娘在我身后……

enno 回复于 2014年03月27日

“后台的人工审核,定时会把漏点或低质的图片删掉。”招管理员吗?不要钱……

fixture 回复于 2014年03月27日

我擦,这个露的够可以。

tpopen 回复于 2014年03月27日

我是来学习flask的..嗯。

Archfeed 回复于 2014年03月27日

36楼 @enno 你确定? 其实露点图片以PHD(Pretty Huge Dxxx)居多吧

Edision 回复于 2014年03月27日

看完不能平静了。。。。

墨_守 回复于 2014年03月27日

学习1楼,双手打字以示清白。。。

sanhao 回复于 2014年03月28日

36楼 @enno ,哈哈,是认真的吗?

chrisstyle 回复于 2014年03月28日

应聘后台管理员。。

terryso 回复于 2014年03月28日

43楼 @chrisstyle 支持你。。。

zzz6519003 回复于 2014年03月29日

楼主有开源意向么,很愿意贡献

sanhao 回复于 2014年03月29日

45楼 @zzz6519003 ,方便的话加我微信说呗 theata123

略入微 回复于 2014年03月30日

豆瓣里还有这些啊

zzz6519003 回复于 2014年03月30日

46楼 @sanhao 感觉你这个如果放到github 应该会有不少hacker贡献的

sanhao 回复于 2014年04月01日

可以通过域名访问了。。。

一个开发者 回复于 2014年04月03日

厉害,果断关注楼主

lovedboy 回复于 2014年04月03日
touzi 回复于 2014年04月04日

后台的人工审核,定时会把漏点或低质的图片删掉。 这条能给会员开个端口进去,收点费,打打擦边球.

isaced 回复于 2014年04月04日

请问这样的站都能备案?不会被查水表?

Archfeed 回复于 2014年04月04日

53楼 @isaced 其实还好,没有用户参与互动的网站有关部门不太care。只要不太那啥就好

isaced 回复于 2014年04月04日

54楼 @Archfeed 所噶,这类网站流量应该很可观是吧?

programtic 回复于 2015年09月15日

http://dadanshai.com/ 链接无法访问了。

sanhao 回复于 2015年09月15日

56楼 @programtic

抱歉,网站已经不维护了。

tinyfool 回复于 2015年09月15日

57楼 @sanhao 为啥啊?

sanhao 回复于 2015年09月15日

58楼 @tinyfool

阿里云欠费了,把服务删了

tinyfool 回复于 2015年09月15日

59楼 @sanhao 哈哈、挣到钱了吗

akunamotata 回复于 2015年09月15日

以前哪里也见过类似的站点。不过flask的确好用,Django太笨重了。

PS:没看到是以前的老帖子

akunamotata 回复于 2015年09月15日

我去。。。原来我关注过你douban,是不是以前那个站点就你发的。

akunamotata 回复于 2015年09月15日

35楼 @enno 丈母娘是我们的痛。。。

sanhao 回复于 2015年09月15日

60楼 @tinyfool

纯玩票呀,大家关注我的新帖呀

欢迎加入靠谱k12创业公司 求扩散,顶帖,跪谢。

sanhao 回复于 2015年09月15日

62楼 @akunamotata

嗯,是的,大家关注我的新帖呀,

欢迎加入靠谱k12创业公司

tinyfool 回复于 2015年09月15日

65楼 @sanhao 不要重复发广告内容

sanhao 回复于 2015年09月16日

66楼 @tinyfool

ok,注意了。

笨鸟后飞 回复于 2015年09月21日

打不开了昂!!

本帖有68个回复,因为您没有注册或者登录本站,所以,只能看到本帖的10条回复。如果想看到全部回复,请注册或者登录本站。

登录 或者 注册
[顶 楼]
|
|
[底 楼]
|
|
[首 页]