开始认真的玩深度学习

tinyfool 发布于 2016年03月12日 | 更新于 2016年09月04日
清醒疯子 hejiangyuan 等2人欣赏。

昨天在我的Mac pro和Macbook pro都安装了Tensorflow,Google的深度学习工具。我试着在Mac上给它加上CUDA支持,加上了才知道,没有N卡安装了CUDA也没用。而新的Mac都不是N卡的。我昨天看了下,我自己的两个笔记本和女朋友的两个笔记本都是intel的,而我的Mac pro是AMD的。

目前的状态是,Tensorflow的issue里面有加上OpenCL支持这条,状态是contributions welcome,也就是说,不是官方在做的,我看看有没有机会帮他们了(前提是我弄明白怎么弄之前,没别人把这事情搞定先)。

我在考虑是不是跟少爷换他的笔记本,他是N卡的,今天去他的机器跑跑,如果性能确实看得到非常显著的提升,可以考虑。

或者我去自己装一台N卡的PC,用Linux跑。

阿里云的HPC是用来做高性能计算的,但是价格太贵,暂时玩不起,月租相当买台好电脑。阿里云的普通机器我试验了,相对这个需求来说太慢,比我的笔记本都完全不如。我在linode的服务器我也准备试,不过有一些安装的问题,现在还没完全搞定。

共43条回复
tinyfool 回复于 2016年03月12日

深度学习对比之前的其它机器学习方法是颠覆性的,不管从理论、操作还是从效果层面。

首先,其它机器学习方法主要是概率论。而深度学习是对大脑的一种模拟。

从操作上讲,其它的机器学习方法的一个核心是人工的特征选择,如果特征选择有误或者不科学,效果则无法提升。而深度学习可以大量的使用相对raw的材料,不需要专家来做特征的选择,深度学习的过程中,系统会自动的做特征抽取。这样的结果就是,深度学习可以大大的扩展它的用途,而不用担心领域知识的匮乏。

而从效果层面,深度学习已经开始大幅度超过各种之前的机器学习方法。

tinyfool 回复于 2016年03月12日

但是,不管是图片分类成功率高于人类(图来自Jeff Dean最近的一个演讲,23分钟处);

alt text

还是战胜了李世石:

alt text

这些都还是简单人工智能。这就是单一目的,单一类型的数据和训练用来解决单一问题。人脑可以被理解为一个神经网络,既用来处理听视觉信号,维持平衡,保持逻辑,下棋,玩等等等等。目前单一逻辑的人工智能神经网络,可以做到在某个单一领域超过人脑。

但是首先需要大量的机器,大量的数据集,和大量的训练时间。同时需要数据科学家(像巫师一样)来给它喂材料。

一个单台电脑,单个机器人,保有人一样的智能,还需要很久很久。

即使整个网络,现在的运算能力,能不能完全模拟一个人脑,都还是问题。感觉还是任重道远的,机会很多的。

freecunix 回复于 2016年03月12日

2楼 @tinyfool 赞,我还是比较乐观的,我觉得机器的发展速度要比人类进化快得多。不敢说机器能进化出自主意识或者爱情啥的,现在的技术来看这个还很扯。但是在未来某个时间点,机器在大部分领域超过人,还是有可能的。 ^^

xiaotie 回复于 2016年03月12日

aws 有N卡实例,价格还可以接受。不过我准备入手外星人笔记本,玩mxnet。

tinyfool 回复于 2016年03月12日

4楼 @xiaotie mxnet有什么优势么?

xiaotie 回复于 2016年03月12日

5楼 @tinyfool 显存占用低。同样的数据和模型,Caffe 训练要8G显存,mxnet 可能就只需要4G显存。能省好多钱啊!8G显存,笔记本的话,得外星人17,两三万一台。4G显存,外星人13就有4G显存版,一万五不到,重量也轻得多可以背着到处跑。也意味着,固定的显卡可以训练更复杂的模型。还意味着,将来更适合能手机跑。

xiaotie 回复于 2016年03月12日

个人或者小公司玩深度学习,主要限制还是数据,毕竟设备门槛不高,用台式机的话,一个980显卡也就小几千块钱。4块显卡配下来也就几万。数据的话,现在动不动都用几百万、几千万数据在跑,数据的成本还是非常高的。公开的数据就这些,做学术研究还行,商用的话,缺陷还是蛮大的。如果不自己训练模型,直接用其他人训练好的模型,对显卡需求就低多了,大部分情况下,CPU都能跑。

xiaotie 回复于 2016年03月12日

可以试试 我搭的图像识别Demo

这个用的阿里云机器,2G内存,后台跑的Caffe做图像识别。

tinyfool 回复于 2016年03月12日

8楼 @xiaotie 你的图像模型是自己训练的?

xiaotie 回复于 2016年03月12日

9楼 @tinyfool 不是。用的别人训练好的。自己训练得至少4G显存的N卡,还没买。

tinyfool 回复于 2016年03月12日

10楼 @xiaotie 只有这一个Demo可用?

xiaotie 回复于 2016年03月12日

11楼 @tinyfool 还有几个在mbp上,没放上去。如果不训练模型,只跑跑demo,mbp就够了。

tinyfool 回复于 2016年03月12日

12楼 @xiaotie 你那个模型哪里来的,给我看看

xiaotie 回复于 2016年03月12日

13楼 @tinyfool https://github.com/BVLC/caffe 上有一些,各个研究者的网页上有一些。目前caffe用的最多,对应的模型下下来可以直接用

happyming 回复于 2016年03月12日

现在苹果的全系列带独显的好像从mac pro开始全都换成AMD的显卡了,看这个趋势好像也不会换,不过去年的科学计算大会上AMD出了个工具让普通的C++代码转换来兼容CUDA的样子。

清醒疯子 回复于 2016年03月12日

1楼 @tinyfool

12楼 @xiaotie

赞啊,我也要跟着你们学:)

tinyfool 回复于 2016年03月12日

15楼 @happyming 主要是之前做机器学习的人都在搞cuda,所以他们暂时不会接受OpenCL以及AMD的啥工具,而且Mac更多是个开发平台,专门做研究的都有些用来做实验的专门的机器,所以Mac的性能他们不在乎。我们初学嘛,当然希望手头的设备就可以高效开发。不过实在不行也无所谓。

tinyfool 回复于 2016年03月12日

少爷的Macbook pro是2015年中期的高配,配的是N卡GT 750M,今天找他来做了一个测试,他的机器跑CPU的话,性能跟我的Macbook pro和Mac pro基本一致,用N卡加速的话,速度是CPU的一倍,看来Mac配的N卡性能也一般。

tinyfool 回复于 2016年03月12日

17楼 @tinyfool 如果我搞得明白的话,我会争取去做Tensorflow的OpenCL支持的

xiaotie 回复于 2016年03月13日

18楼 @tinyfool 这个很可能测试存在问题,再烂的N卡,加速也是几十倍起。卷积计算,显卡比CPU强太多。或者是测试的计算量不大,显卡计算中内存复制是主要时间,加速没有体现出来。

显卡计算,时间在两块:内存复制-数据从内存复制到显存,再把结果从显存复制回来;计算-显卡计算单元最低几十个(集成显卡),好点的几百个(便宜独立显卡),再高的几千个。计算量小,主要时间耗在内存复制上。

Tensorflow是大公司土豪玩的,大规模分布式训练用的,单机性能差。学习和玩票的话,推荐Caffe,发论文标配,训练好的模型多。

也可以自己手写OpenCL版,几千行代码,直接拿个开源库改的话,估计几百行就行。mbp的OpenCL我测过工作中用到的算法加速,集成显卡版,加速了大约10-20倍。正式玩,我打算用外星人13的960M,性能只有980的四分之一,勉强够用,但估计是750M的好几倍,4G显存也很有必要。

xiaotie 回复于 2016年03月13日

16楼 @清醒疯子 建议跟工作结合弄,你工作中暂时用不到这个,搞了没啥用。我是工作中用得到,搞了能变现。

tinyfool 回复于 2016年03月13日

20楼 @xiaotie 也许是Tensorflow的性能问题吧,用的是Tensorflow的官方例子,跑一个图像识别的训练在三台机器的多次测试结果。也许是丫的显卡太烂了,不着急,慢慢来。

鱼骨纹 回复于 2016年03月13日

1楼 @tinyfool 大哥,请问什么是深度学习?没有听过?

tinyfool 回复于 2016年03月13日

23楼 @鱼骨纹 搜索一下吧

清醒疯子 回复于 2016年03月13日

21楼 @xiaotie 好的,我就业余看看:)

tinyfool 回复于 2016年03月13日

neural-style

用深度学习的方法把一张照片变成油画效果,下面的例子是我用我的照片和李世石的照片做的梵高效果

梵高原图

alt text

原图

alt text

结果

alt text

原图

alt text

结果

alt text

531sunlight 回复于 2016年03月14日

20楼 @xiaotie 回去把笔记本装了 Linux 玩玩,就是暂时没有想到能在 iOS 方向有什么结合地方。

2ndRound 回复于 2016年03月14日

27楼 @531sunlight MXNet 有在 iOS 识别照片的 demo https://github.com/pppoe/WhatsThis-iOS

wenzhishen 回复于 2016年03月15日

油画这个有意思,打算玩一下。。@tinyfool , tiny哥,论坛没有收藏功能,只能写条回复保存了~~

踏刃而起 回复于 2016年03月16日

同Mark保存~

cnsoft 回复于 2016年03月18日

@tinyfool 好像有外置盒子了. http://www.3dmgame.com/hardware/201603/3554173.html 现在想想为啥挖矿也要显卡呢? 莫非就是训练模型的

"" ""

tinyfool 回复于 2016年03月19日

31楼 @cnsoft 不比买台电脑便宜吧,所以还不如直接买台电脑呢

cnsoft 回复于 2016年03月19日

32楼 @tinyfool 哈哈. 定位在哪里呢? 莫非就是配合Mac的

lyxing 回复于 2016年03月19日

google把中国的深度学习热潮戴起来了!

笨鸟后飞 回复于 2016年03月21日

mark 一下 共同学习

cnsoft 回复于 2016年03月22日

@tinyfool 为了解决VR的效率(体验) (赚钱) 想出来的方案是这样的...

梦中醒不过来 回复于 2016年03月22日

日本人工智能撰写的小说参赛通过初审 刷个新闻

本楼内容已经被删除
tangl99 回复于 2016年09月03日

Mark一下。最近我也在学习,大家一起讨论一下把?

tinyfool 回复于 2016年09月03日

39楼 @tangl99 好啊,我最近开始准备买设备了,用自己的电脑跑起来没办法太慢,不过设备好贵,我最近没钱买,可怜啊

programtic 回复于 2016年09月04日

40楼 @tinyfool  租云主机不行吗?有按小时计算的。

tinyfool 回复于 2016年09月04日

41楼 @programtic 也不便宜啊,亚马逊的有,2美金一个小时

xiaotie 回复于 2016年09月04日

40楼 @tinyfool 1万-1万5 配个 1080 的台式机,一般情况就够用了。ucloud 有显卡云服务器,一个月 2000 多起,俺觉得不划算,就没买云服务器,现在俺跑的还是 GTX960 的台式机。

本帖有43个回复,因为您没有注册或者登录本站,所以,只能看到本帖的10条回复。如果想看到全部回复,请注册或者登录本站。

登录 或者 注册
[顶 楼]
|
|
[底 楼]
|
|
[首 页]