国网福建省电力有限公司检修分公司的研究人员黄旭超，在2018年第11期《电气技术》杂志上撰文，回顾了深度学习的发展历程，详细介绍了深度学习的主流基础网络——深度神经网络结构和特点，在此基础上对其产生的衍生和变体进行了分析。并总结了深度学习发展过程中的主要因素。
与电网智能化的情况相结合，本文还阐述了深度学习与电网智能化相结合的可行性和必要性，并简单介绍了当前深度学习在电力系统中的应用。毫无疑问，深度学习将在助力电力智能化的进程中扮演重要角色。
近几年，互联网领域迎来了一个爆炸式的发展。随着数据规模的指数式增长，人类社会正逐渐由信息科技（information technology, IT）时代转向数据科技（data technology, DT）时代，大数据、数据挖掘、云服务等新技术、新热点层出不穷，人工方式处理数据的瓶颈逐渐显现出来，科技进步的瓶颈已由计算机硬件的不足转向了计算机智能化的不足。而在这一背景下，人工智能（artificial intelligence, AI）不可避免地成为了新的技术热点。
人工智能是计算机科学的一个分支，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。而在这一领域内，机器学习（machine learning, ML）无疑是这一波浪潮的焦点，在很多时候，几乎成为了人工智能的代名词。机器学习是上世纪新兴发展的一门交叉学科，内容涉及高等数学、概率论、统计学、计算机学、仿生学等多个学科。
简单地说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而通过改变某些参数，进而改善系统性能。机器学习从不同的角度可以有不同的分类，如从特征提取角度可分为隔离学习（isolate learning）和端到端学习（end-to-end learning）；从模型结构角度可分为浅层学习（shallow learning）和深度学习（deep learning）。
2017年，共享经济的概念在投资领域无疑是一个炙热的风口，只要套上这一概念，社会资本便蜂拥而至，近年来，深度学习亦在学术界和工业界扮演了这一角色。如图1所示，Google Brain计划的项目数量从2013年第3季度至2015年第3季度发生了近乎1200%的爆炸式增长，并将上升势头持续至今。
据统计，2016年计算机视觉顶级盛会IEEE Conference on Computer Vision and Pattern Recognition（CVPR）共收到2145篇有效投稿论文，在接受的643篇论文中，80%～90%的发表论文、接近100%的口头报告论文均来自深度学习领域[1]。
在诸多领域（如图像识别、语音识别）取得了破纪录的成果；在药物研发、医学及数据分析等领域超越了其他机器学习方法；并在自然语言处理方面展现出了令人期待的前景。2016年，谷歌AlphaGo的人机大战更是吸引了世界范围内的强烈关注，甚至引发了人们的恐慌和忧虑。
图1 Google Brain项目数量
深度学习与电力系统相结合已经是电力系统智能化发展的必由之路。一方面，其擅于挖掘处理大数据的特性非常适合解决当前电力智能化的进程中所面对的数据量激增的挑战；另一方面，其能充分利用电力智能化带来的大量的数据量推动电力技术的发展，从而加速电力智能化的进程。
1 深度学习
虽然深度学习近年来在诸多领域取得了令人瞩目的成果，但其本身并不是一项新兴技术，其从本质上来说是一种特定的，具有多层结构的人工神经网络（artificial neural networks, ANN），其起源最早可以追溯至20世纪50至60年代的感知机技术（Perceptron，即一种仅有输入层、输出层和单个隐含层的简单神经网络，输入的特征向量通过隐含层变换后至输出层进行分类）[2]。
但这种单层感知机对稍微复杂一点的函数都无能为力，因此沉寂了相当长的一段时间，直到20世纪80年代，随着多层感知机（multilayer-perceptron）的出现，人工智能迎来了第一次发展浪潮。
在早年，机器学习系统需要基于细致的工程和可参考的专业领域知识来设计特征提取器对原始数据进行处理，研究人员的目标是利用可训练的多层网络结构来取代人工设计特征过程[3-4]，但这一想法一直到20世纪80年代才被不同的研究团队各自独立的完成。
多层感知机（其结构如图2所示，即所谓的神经网络）在结构上由一个输入层、一个输出层和多个隐含层构成；每个隐含层由诸多的神经元（neuron）组成；每个神经元接受前一层所有的神经元的数据，并分别进行带权求和后进行偏置，再经由激活函数（activation function）变换后输出给下一层的所有神经元[4]。由于其上下层的神经元是完全连接的，因此又称为全连接网络（fully connected network）。
图2 多层感知机结构
从其数学模型来看，整个的神经网络在本质上与数学的拟合或插值问题类似，都是给出已知的x坐标（训练数据）和y坐标（训练数据对应的我们需要的分类或结果），寻求一种复合函数对其进行映射。
而网络的训练过程，即是整个网络的参数（内部神经元的连接权重、偏置值）的调整过程。传统的监督学习在这一过程中通常使用一个损失函数（loss function）来评估训练时网络输出的结果与设定结果的差异，以反向传播的梯度下降法进行参数的更新。对于多层网络结构而言，其训练可以使用简单的随机梯度下降法完成，只要模块是关于输入和内部权重的相对平滑函数，就可以使用Werbos发明的反向传播算法计算梯度[5]。
使用更少的神经元（即更少的网络参数）来刻画对象，能够减少系统的复杂程度，但也带来了其他的麻烦：随着网络结构的加深，目标函数越来越容易陷入局部最优解，且梯度消散（gradient vanishing）的现象也更加严重。
2006年，Geoffrey Hinton利用预训练（Pre- training）的方法缓解了局部最优的问题，将网络的隐含层数拓展到了7层，正式阐述了深度学习的概念，提出了对神经网络有效降维的重要思想，并指出具有多隐含层结构的人工神经网络在可视化和分类上的优势[6-7]。
为了解决梯度消散等一系列问题，ReLU[8]（rectified linear unit）、Maxout等传递函数代替了传统的Sigmoid激活函数；Mini-batch、Momentum、变梯度与随机梯度、变学习率、Regularization、Dropout等新技术的应用形成了如今深度神经网络（deep neural networks, DNN）的基本形式，其亦是其他更先进网络结构的雏形。
2 深度学习在电力领域内的应用
近几年，随着人工智能的大热，深度学习技术被应用到许多不同领域中，取得了许多突破性的成果，而在电力领域内亦有深度学习技术的引入，但依然处于起步摸索阶段，相关的论文与成果也较少，不如其在图像识别、语音识别、语言处理等老本行上那么令人印象深刻，但也已经表现出令人期待的潜力和发展前景。
纵观深度学习的兴起，很大程度上得益于3个方面的共同协作。
1）大数据的兴起。如在CNN的崛起中扮演着重要角色的ImageNet计划，该计划由Feifei Li教授与普林斯顿大学的Kai Li教授合作发起，到2009年共收集到1500万张包含22000种物品的图片，成功改变了人工智能领域对数据集的认识，也改变了学术界对神经网络模型的认知。
2）计算机硬件的发展。高性能CPU和多GPU并行技术的带来的计算能力的提升。
3）算法上的改进。很难说清ImageNet数据集计划和深度学习到底是谁成就了谁，或者二者是相互推动的关系，但不可否认的是，GPU带来的计算能力的提升和ImageNet带来的数据集，以及同时带来的学术界对训练数据认识的改变，对深度学习技术井喷发展的巨大推动作用[9]。
而在电力智能化发展的今天，电力系统也同样有着相同的背景：设备智能化，运算能力加强，数据量爆炸式增长，传统的电力数据方法在面对海量的数据时已经捉襟见肘，而深度学习所擅长的正是对海量数据的挖掘。毫无疑问，电力智能化与深度学习是可以无缝融合，并拥有广阔的前景。
目前，国内外已有一些深度学习在电力领域内的应用，大部分都集中在故障检测和决策优化领域。后者通常是基于深度学习对电力大数据进行挖掘和应用[10]，在这一方面，由于数据量大，且容易获取，所以目前研究较多，取得的成果也不少。
而前者总的来说可以分成两大类：
①利用深度学习对系统中的关键参数提取特征，进行学习，使得模型可以通过对关键参数的监控发现故障或对故障进行预警[11-12]。这一类方式需要人工对系统进行分析，选出用于分析学习的关键参数，从某种意义上来说，这一步骤也属于需要人工干预的特征选取工作。但这类研究可以大量使用仿真的方式获取数据构建数据集，使用的模型深度也不需要太深，也比较容易出成果。
②直接利用深度学习在图像处理中的优势，利用图像检测的方式展开应用，如利用深度学习对电网巡检图像进行处理[13-14]。这一类应用是直接对深度学习技术的迁移应用，理论上是最成熟的，但受制于数据集的缺乏，使其难以进行实际应用。
毫无疑问，深度学习技术在经过了近几年的蓬勃发展，已经给这个世界带来了太多的惊喜，也实际的改变了人类的生活方式。前几年互联网的迅猛发展带来的庞大数据量，计算机计算能力的增加，使得早年受制于计算机计算性能和对数据集的忽视导致停滞不前的人工智能技术迎来了又一轮的浪潮，在最近几年里，关于深度学习的捷报不断传来，但其实这一门学科仍然处在一个刚刚起步的阶段，当前的深度学习还存在许多问题，依然面临着诸多挑战。
在如今，经过ImageNet的一轮洗礼，人们普遍认识到数据集的重要性，甚至有观点认为：在如今的深度学习应用中，我们面对的是工程问题（数据集的缺乏等），而非技术问题。不可否认的是，在网络结构变得越来越深、越来越复杂的今天，网络对现实的刻画能力也越来越强，而训练它们所需要的数据量也要求越来越大，这就对训练网络的数据集提出了高要求，在诸如深度学习在电网巡检图像这类应用中，目前真正制约它的是图像数据集的缺乏[15-16]。
如果要将深度学习应用得更广，那么如何以更小的样本完成对深度网络的训练无疑是需要解决的一个问题。而在自然语言处理方面，深度学习技术似乎还未取得太多的轰动性进展。另外，虽然非监督学习和半监督学习近年来在监督学习的光环之下显得有些暗淡，但其依然是值得关注的发展方向。
不论在工程上解决数据集不足的问题，还是技术上满足对大训练数据的要求，深度学习都无疑将在电网智能化的道路上发挥更大的作用。但是若无法从技术上解决这一问题，则无疑会加剧深度学习领域的马太效应，不论技术还是数据都会集中在少数巨头身上，形成壁垒，不利于技术的发展。
另外，深度学习在电力系统的应用还有待开发，不仅仅是在技术领域使得技术更先进，设备更智能；更多地，是可以在日常工作中进行应用，例如将深度学习在文本处理方面的应用迁移至电网公司的运作中，代替一些日常文案工作或繁杂而机械的劳务，以减轻电网从业人员的工作量，解放劳动力。
近期，新的AlphaGo Zero横空出世，相比原先的AlphaGo，其网络模型进行了简化和改进，不再依赖于人类的经验进行学习，训练时间也更短，这一技术可能又将引发一次新的技术变革。深度学习，或者说人工智能是一门正处于爆发期的学科，其理论和成果正以一种匪夷所思的速度更迭，在未来电力智能化的领域中，它无疑将扮演着一个举足轻重的角色。
