“深度学习三巨头”来了俩,Hinton、LeCun预言深度学习的未来娱乐

2019-07-12

时间月日,今年的ACM图灵奖得主、“深度学习三巨头”中的GeoffreyHinton、YannLeCun在ACMFCRC上发表演讲,分享了他们对于深度学习的最新观点,

Hinton演讲题目为《深度学习革命》, 他表示,目前,人工智能有两种典型例证, 第一种是年代基于逻辑启发的智能,在那时,智能的本质是使用符号规则来做出符号表达, 第二种是基于生物的人工智能, 所代表的智能的本质是学习神经网络中的联系优势,

(:GeoffreyHinton)

基于逻辑的人工智能,其内部表征是符号表达, 员可以用明确的语言把这些符号输入计算机;计算机通过应用规则使现有的符号产生新的表示, 基于生物的人工智能,它的内部表征与语言没有任何关系, 就像是神经活动一样,充满了大量向量,这些向量是直接从数据中学习得到的,而且对神经活动有着直接的因果影响,

第一种是(programming),Hinton也将它称为智能设计(intelligentdesign), 时,程序员已经想清楚了处理任务的方法步骤,他需要做的是精确计算,并将所有细节输入计算机,然后让计算机去执行, 这也需要编程,但是所用的程序是简化的通用学习程序,

五十多年来,一直在努力让符号型人工智能(symbolicAI)实现“看图说话”的功能,

(:GeoffreyHinton)

神经网络是如何工作的呢?Hinton做了简短的介绍,

(:GeoffreyHinton)

研究人员首先对一个真实的神经元做了一个粗略的理想化,这样就可以研究神经元是如何协作完成那些难度很高的计算, 两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆, 网络的则依网络的连接方式、权重值和激励函数的不同而不同,

训练:向网络展示一个输入向量,并告诉它正确的输出,通过调整权重,减少正确输出与实际输出之间的差异,

无监督:仅向网络显示输入,通过调整权重,更好地从隐含神经元的活动中重建输入或部分输入,最后产生输出, 不是一次一个地扰动权重并测量效果,而是使用微积分同时计算所有权重的误差梯度, 当有个权重时,反向传播方法要比变异方法效率高出一百万倍,

(:YannLeCun)

符号型人工智能的研究人员称,想要在大型深层神经网络中学习困难的任务是愚蠢的,因为这些网络从随机连接开始,且没有先验知识,

深度学习经历了一段时间的“寒冬”,到年之后,人们才意识到深度学习是有用的,深度学习才有了大量应用,

,Hinton谈到了神经网络视觉的未来, Hinton,几乎所有人工神经网络只使用两个时间尺度:对权重的缓慢适应和神经活动的快速变化,

神经网络具有某些特殊架构,比如上世纪八九十年代提出的那些架构,就能识别手写文字,而且效果很好,到上世纪年代末时,YannLeCun在贝尔实验室研发的这类系统承担了全美%-%手写文字的识别工作,这不仅在技术上,而且在商业上都取得了成功,

(:YannLeCun)

到后来,整个学界一度几乎抛弃了神经网络,

神经网络其实是受到了生物学的很多启发,但它并不是照搬生物学, Yann从生物学的观点和研究成果中受到启发,他发现可以利用反向传播训练神经网络来实现这些现象, 如果一个系统能够检测到有用的组合,再依次到边缘、图案、最后到物体的各个部分,这就是一个目标识别系统, 这适用于视觉识别,也适用于语音、文本等自然信号, 继续着人脸识别、行人识别等研究, 还将机器学习用在机器人技术上,使用卷积网络自动标记整个图像,每个像素都会标记为“能”或“不能”穿越,指引机器人的前进, 这个系统可以检测人、道路、树木,但当时这个结果并未马上得到计算机视觉学会的认可,

神经网络在近几年有很多应用,例如医疗成像、自动驾驶、机器翻译,以及游戏等领域, 神经网络需要大量的训练, 这种海量重复试验的方式在现实中是不可行的, 这是人类的内部模型,那么人类是怎么学习这个模型的?又如何让机器学会这个模型呢?

动物身上也存在类似的机制, 是智能的不可或缺的组成部分,当实际情况和预测出现差异时,实际上就是学习的过程, 自学习的典型场景是,事先不公布要空出哪一段内容,实际上根本不用真地留出空白,只是让系统根据一些限制条件来对输入进行重建, 只通过观察来完成任务,无需外部交互,学习效率更高, 自学习就像填空,在NLP任务上表现很好,但在图像识别和理解任务上就表现一般, 这是因为世界不全是可预测的,

,YannLeCun表示,几百年以来,理论的提出往往伴随着之后的伟大发明和创造, 学习和智能理论在未来会带来什么?值得我们拭目以待

阅读延展

1
3