神经网络与深度学习

 导读

   作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习已经成为类脑智能中的一个热点研究方向，无论是在学术界还是工业界都引起了极大的研究兴趣和投入，并且颠覆和革新了许多传统的技术和理念。通过增加网络的层数和节点数、采用全新的网络结构、设计高效的学习优化策略，所构造的“深层神经网络”能够使机器获得从海量数据中学习“抽象概念”和“复杂规律”的能力，在诸多领域都取得了巨大的成功，又一次掀起了神经网络研究的一个新高潮。

   近年来，深度学习技术发展日新月异，各种网络模型和算法不断涌现，在越来越多的领域得到了成功的应用，并且较传统方法在性能上实现了飞跃。深度神经网络的功能已经从传统的分类识别扩展到了特征提取、分布学习、端到端的建模等方面，学习训练方法也从简单的反向传播发展出了预训练加微调、结构的动态调整、数据知识的迁移等策略，应用领域也从传统的视觉任务延伸至语音识别、机器翻译和诸如AlphaGo的特定智能问题。除了对神经网络自身技术的革新外，深度学习的出现一方面源于计算机存储和计算能力的发展，另一方面则依赖于海量数据的高效获取和标记技术。目前，包括FPGA、GPU乃至TPU在内的并行计算技术的发展，为深度学习的高效实现提供了良好的平台支撑，另一方面包括互联网、遥感、医学等在内的大数据则为深度学习提供了丰富的数据源。因此，无论是学术界还是工业界都具备了进行研究和应用的软硬件条件，这必将提升数据处理和理解的智能化水平，产生有影响力的学术成果和技术产品。

   尽管深度学习已经取得了许多瞩目的成就，但是其仍然存在一些尚未解决的问题。目前在网络的结构设计、参数设置和学习优化等方面缺少理论指导，很多时候往往需要凭借人为经验和主观判断来设计出适用于特定问题的模型。根据领域知识，设计出适用于特定问题的网络模型和算法是当前发展的必然趋势。虽然深度学习能对问题实现端到端的建模，但随之而来的是复杂和繁琐的训练过程，训练过程中的技巧性和策略性很强，对最终网络的性能起着至关重要的作用。在有限标记数据情况下，借助于外部的海量数据来实现知识的迁移是解决小样本问题的有效途径。同时，关于深度学习潜在的“过拟合”问题，目前尚无系统性的研究和结论，模型的泛化能力值得进一步关注。从网络的约简和正则化等角度开展研究是今后深度学习一个很重要的研究方向，诸如稀疏性和选择性的引入将会使网络更加智能化。

   本期专题我们将和大家一起讨论关于深度学习在学术界和工业界的一些最新进展，包含了来自高校和公司的研究人员在这方面所做的创新性研究工作。这些论文凝聚了作者多年的研究成果和工作经验，希望能给读者有益的启示与参考。在此，对各位作者的积极支持和辛勤工作表示衷心的感谢。