自2012年（nián）以来，随着欣顿（Hinton）、乐昆 （LeCun）和吴（wú）恩（ēn）达（dá）（Andrew Ng）对深度（dù）学习的研究（jiū），使其在机器学习方面（miàn）的应用取得了显著（zhe）成（chéng）就（jiù），深度学习（xí）成为计（jì）算机（jī）科学的（de）一（yī）个新兴领域。谷歌、脸谱、百度、腾讯等（děng）互联网公司（sī）纷纷投（tóu）入巨资研究深（shēn）度学习，并兴起（qǐ）了基于深度学（xué）习的创业大潮。然而（ér），对（duì）深度学习（xí）原理的困惑。对其（qí）应（yīng）用的质疑也一直存在。在ImageNet目（mù）标检测中（zhōng），人脸识别率已达99.5%，甚（shèn）至（zhì）超越人眼的识（shí）别（bié）准确（què）率，在此（cǐ）情况下，深（shēn）度学习何以（yǐ）为继？又（yòu）该如何提（tí）升？深度（dù）学习是处于热潮的初始？还是强（qiáng）弩之末（mò）？是一直所（suǒ）向披靡？还是很（hěn）快走向（xiàng）终（zhōng）点？作为沉寂了20余年的神经网络领域，深度学习到底（dǐ）还（hái）能（néng）走多远？
神经网络与人脑的区（qū）别：
目前，深度学（xué）习在几个主（zhǔ）要领域都获得了（le）突破：在语音识别领域（yù），深度学（xué）习用深层模（mó）型替换声（shēng）学模型中的混（hún）合（hé）高斯模型，错误率降低了30%；在图像识别领域，通过构造深（shēn）度卷积神经网（wǎng）络，将Top5错误率由26%降（jiàng）低至15%，又通过（guò）加大（dà）加深网（wǎng）络结构（gòu），进（jìn）一步降低（dī）到11%；在自然语言处理领域，深度（dù）学习与其（qí）他方法水平相当，但免去了繁琐的特征提（tí）取步（bù）骤。深度学习是最接近人（rén）类大脑的智能学习（xí）方法。
然而，与人脑相比，深度学习目前在（zài）处理问题的能力上还有不小的差（chà）距。当前的深（shēn）层网络在结构、功能、机制上都与人脑有较大差距。从结构上看，人脑（nǎo）有1000亿左右的神经（jīng）元，这（zhè）些神经元形（xíng）成了1000到1万（wàn）层的连接。而（ér）目前（qián）的（de）深层网络通常只（zhī）有几（jǐ）百万个神经元，层数不超过10，因（yīn）此（cǐ）深层网络（luò）的规模远小于人脑。另外，人脑是高度结构化的，每一个部分执行一个特定的功能，而且（qiě）不（bú）同部分之间会协作（zuò），但深层网络在（zài）高度结构化方面目前还没有太（tài）多（duō）考虑。从功能上看，人脑（nǎo）善（shàn）于处理各（gè）种问题，能够完成复杂任（rèn）务。而当前深层网络的功（gōng）能单（dān）一，基本是用（yòng）处理识别与分类问题，没有综合处理（lǐ）问题的能力。从机（jī）制（zhì）上看，人脑的数据存储与处理机制更为复杂。人脑中的数据以知识的形式（shì）组织起来（lái），存（cún）储（chǔ）与应用密切相联（lián），而当前计（jì）算机的数据存储方式远远没有做到这一点。人的感（gǎn）知器官并（bìng）非感知器，而是依靠大量的反馈搜寻有用的信息。另外人脑（nǎo）具有知识反（fǎn）馈机制，在深层网络（luò）中并未得到体现。而研（yán）究者的研究对象从一（yī）个函数变成了一个过程（chéng），难度（dù）骤然增（zēng）大。
人脑（nǎo）的学习能力（lì）是通过先天进化和后天学习得到的。先天进化可以理解为物种（zhǒng）在长（zhǎng）时间学习大量知识后演变得（dé）到的结果，后天（tiān）学习（xí）包括对新接触（chù）知识的总结（jié）与演（yǎn）绎。而深度学（xué）习的网（wǎng）络结构是由人来设（shè）计的，网络参（cān）数是从训练数（shù）据（jù）集中学习得到的。就数据量而言，人脑（nǎo）在先天进化与（yǔ）后天学（xué）习中所接触的数据量（liàng）远大于深层网络。
深度学习的局（jú）限（xiàn）性：
随着（zhe）大（dà）数据的出现和（hé）大（dà）规模计算能力的提升，深度学习已然成（chéng）为非常活（huó）跃的计算机（jī）研（yán）究领域。然而（ér），在不断的研究中，深度学习的局限性也日益突（tū）显。
缺乏理论（lùn）支持，对于深度学习架构（gòu），存在一（yī）系列的疑问：卷积神（shén）经网（wǎng）络为（wéi）什（shí）么是一个好的架构（gòu）？深度学习的结（jié）构需要（yào）多少隐层？在一（yī）个大（dà）的卷积网络中到底需要多（duō）少有效的参（cān）数？虽（suī）然深（shēn）度学习在很多实际应用（yòng）中取得了（le）突出的成效，但这些（xiē）问题一直困扰着深度学习的研（yán）究人员。深（shēn）度学习（xí）方法常常（cháng）被视为黑（hēi）盒，大多数的结论都由经验（yàn）而非理论来确认。不论是为了构建更好的深（shēn）度学习系统，还是为了提供（gòng）更好的解释，深度学习都需（xū）要更完善的理论支（zhī）撑。
缺乏短时记忆能力，人类（lèi）大脑有（yǒu）惊人的记（jì）忆功能，不（bú）仅能够（gòu）识别个体案例，也能分析输（shū）入信息之间的整体逻（luó）辑序列。这些信息序列包（bāo）含有大量的内容，信息彼此间有着复杂的（de）时间关联性。例（lì）如（rú）在（zài）自然语言理（lǐ）解的许多任务（如问答系统）中需要一种方法来临时存储分隔的片段（duàn），正确解释视频（pín）中（zhōng）的（de）事（shì）件，并（bìng）能（néng）够（gòu）回答有关问题（tí），需要（yào）记住视（shì）频中（zhōng）发生（shēng）事（shì）件（jiàn）的抽象（xiàng）表示。而包括递（dì）归神经网（wǎng）络在内的深（shēn）度（dù）学习系统，却不能很好地存储多个（gè）时间序列上的（de）记（jì）忆。近年来，研究人（rén）员（yuán）提（tí）出了在神经网络中（zhōng）增加独立（lì）的记忆模块（kuài），如长短时记（jì）忆（Long Short-Term Memory，LSTM）、记忆网（wǎng）络（luò）（memory networks）、神经图灵机（neural Turing machines）和Stack增强递归神经网络（stack-augmented recurrent neural network），虽然有一定的成（chéng）果，但仍（réng）需扩展更多（duō）新思路（lù）。
缺乏执行无监督学习的（de）能力（lì），无监督（dū）学习在人类和（hé）动物的学（xué）习中占据主（zhǔ）导地位，我们通过观察能够发现世界（jiè）的内在结（jié）构，而不是被告知每一个客观事物的名称。虽然无（wú）监（jiān）督学习可以（yǐ）帮助特定的深度网络进行“预训练”，但最（zuì）终能够应（yīng）用于实践（jiàn）的绝大（dà）部分深度学习方法都是纯粹的有监（jiān）督学习。因为无标记（jì）数据（jù）远远多于标记数据，因此（cǐ）无（wú）监督学习具有巨大的研究潜力。找到合适的无（wú）监督（dū）学（xué）习算（suàn）法，对（duì）深度学习的发展至关重（chóng）要。

深度学习未来的发展方向：
深（shēn）度学习（xí）在人脸（liǎn）识别、目标检（jiǎn）测等领域都取得了（le）很大进（jìn）展（zhǎn），识别准（zhǔn）确率甚至超过人（rén）类，但这并不代表深（shēn）度学习（xí）的发展已走到尽头（tóu）。以下几个（gè）方面的研究（jiū）对深度学习的继（jì）续（xù）发展具（jù）有重大意（yì）义。
1. 开发（fā）深度学习的演绎能（néng）力：人类在学（xué）习的过程中，除了对已有知识的归纳总结，还伴随对知识的演绎（yì）推理，如对定理（lǐ）进行推论等。当前的深（shēn）度学习还停留在对（duì）数（shù）据的（de）归（guī）纳（nà）上。如果深层网络对数据的归（guī）纳能力（lì）达到饱和，提升其演绎推理能（néng）力（lì）将是深度学习继续发展的突（tū）破口（kǒu）。
2. 提（tí）升综合处理问题的能力：当前的深度学习主要用于处理单一（yī）问题，但一套模（mó）型往往不能通用于多（duō）个问题，如（rú）人（rén）脸（liǎn）识别、语音（yīn）识别等。但人脑可以实现这一功能（néng），比如视觉皮层可（kě）以辅助听觉等。因此，提（tí）升深层网络综合处理问（wèn）题的能力对于人（rén）工（gōng）智能的实现具有重要意（yì）义。
3. 减少对硬件的依赖（lài）：随着GPU及高性能并行计算的发展，硬（yìng）件（jiàn）设（shè）备的（de）数据处理能力得到巨大提升（shēng）。但过度依赖（lài）硬（yìng）件会造（zào）成深度学习偏离（lí）人的思维，而陷入计算机思维。与计算机相比，人脑的计（jì）算速度极慢，但功耗极低，且（qiě）能够完成复杂的任务。学（xué）习人脑，使（shǐ）用（yòng）相（xiàng）对弱的硬件来实现强大的功能，是（shì）使（shǐ）深度学习向人工智（zhì）能发展的关（guān）键。
综上所述，深度（dù）学习通过建立类似于人（rén）脑的分层模型结（jié）构，对输入数据逐层提（tí）取从底层到高层的（de）特征（zhēng），从而建立从底层信号到高层语义的映（yìng）射关系。但（dàn）在规模、功能、机制、设计等方面，当（dāng）前（qián）深度学习所采用（yòng）的深（shēn）层（céng）网络与人脑存在很大差异（yì）。虽（suī）然深度学习在很多方（fāng）面取得了巨大成功，但（dàn）仍存在一些缺陷。当前的（de）深度学（xué）习框架缺乏理论（lùn）支撑，不能很（hěn）好地存储时间序列上的记（jì）忆，缺少对（duì）无标记（jì）数据的学（xué）习能力。这些缺陷限制了（le）深度学习的进一步发展。深度（dù）学习作为计算机科学的新兴（xìng）领域，还有很长的路要走。深（shēn）度学习掀起了机器学习的新浪潮，在语（yǔ）音图像的智能识别（bié）与理（lǐ）解等方面取得了很大进（jìn）展。但深度学习还面临着一系列难（nán）题，在对知识的演绎能力、对问题的综合（hé）处理能力（lì）等方面还有很大的提升空间（jiān），在深层网络的设计规则上（shàng）也（yě）需要进一（yī）步探（tàn）索（suǒ）。