电力大数据全景实时分析关键技术
电信科学2016年第4期
电力大数据全景实时分析关键技术
周国亮1，吕凛杰1，王桂兰
2
（1.国网冀北电力有限公司技能培训中心，河北保定071051;
2.华北电力大学信息与网络管理中心，河北保定071003）
摘
要：针对智能电网建设过程中收集的电力大数据，基于电力系统全景实时数据分析的需求，探讨基于大数
据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期管理及能源实时平衡调度等问题的挑战及解决思路，基于大规模实时多源细节数据和设备全景数据的计算，有助于提高系统分析的精度和准确度，保证电网安全运行；探讨了内存计算、实时流式大数据处理、大规模并行计算及列存储等技术在电力大数据实时分析中的应用；结合主流开源大数据处理技术，设计了电力大数据分析平台的分层体系架构，为电力系统的高效运行提供保证。关键词：电力大数据；全景实时数据；内存计算；数据流；大规模并行中图分类号：TP391
文献标识码：A
doi:10.11959/j.issn.1000-0801.2016103
Key technology of power big data for global real -time analysis
ZHOU Guoliang 1,LV Linjie 1,WANG Guilan 2
1.Skill Training Center of State Grid Jibei Electric Power Co.,Ltd.,Baoding 071051,China
https://www.wendangku.net/doc/d817352429.html,work and Information Management Center,North China Electric Power University,Baoding 071003,China Abstract:For power big data collected during smart grid construction process,based on the demand of power system global and real -time data analysis,ideas of solving power system security and reliability,real -time status monitoring,energy global dynamic balance scheduling and other key issues were explored.The problems of big data safety and reliability,equipment life -cycle management and energy real -time balance scheduling were analyzed and discussed,system analysis precision and accuracy based on large -scale real -time multi -source detail data and global data of equipment would be improved,then application of in -memory computing,real -time streaming data processing technology,massively parallel computing technology and column stores were explored;a layered architecture of power big data analytics platform which combined with the mainstream open source big data processing technology was proposed to provide guarantees for the efficient operation of the power system.
Key words:power big data,global real -time data,in -memory computing,data stream,massively parallel
收稿日期：2016-01-25；修回日期：2016-03-15
基金项目：河北省自然科学基金资助项目(No.F2014502069);中央高校基本科研业务费专项资金资助项目（No.13MS103）
Foundation Items ：Natural Science Foundation of Hebei Province(No.F2014502069),Fundamental
Research Funds for Central University
(No.13MS103)
电力信息化专栏
电力信息化专栏
表1智能电表生成数据量与采集频率的关系
表数量/只采集频率15min采集频率1min采集频率1s 1000032.61GB498.0GB114.6TB 100000326.1GB 4.8TB 1.1PB 1000000 3.18TB47.7TB11.2PB 图1电力大数据分析平台在系统中的地位
1引言
近年来，随着全球能源危机、环境问题等因素的不断加剧，世界各国对清洁能源的开发利用程度不断提高，大量分布式、间歇性能源的广泛接入对电力系统的安全稳定运行提出了更高的要求。在该前提下，智能电网应运而生。智能电网建设的最终目标是成为覆盖发、输、变、配、用及调度等过程的全景实时电力系统，而支撑系统得以准确、安全、实时及可靠运行的基础是电力系统多源异构大数据的快速采
集、响应和分析[1,2]。未来智能电网既要支持个人终端用户与电网系统的交互，也要满足控制系统对电网安全稳定性的需求，智能电网中的多数应用需要海量数据处理技术的支撑。
随着智能电网建设在广度和深度上的不断推进，在智能电网运行过程中会收集到系统内外的海量全景数据，形成电力大数据。比如，截至2013年底，国家电网公司累计安装智能电能表1.82亿只，实现用电信息采集1.91亿户，智能电表应用量占全球的一半，其用电信息采集系统成为世界上最大的电能计量自动化系统，将产生以PB级计的数据[3]。同样在电力系统状态监测中安装的PMU(phasor measurement unit，相量测量单元)是用于进行同步相位测量、输出和动态记录的装置。100个PMU一天收集62亿个数据点，数据量约为60GB，而如果监测装置增加到1000套，每天采集的数据点为415亿个，数据量将达到402GB。表1展示了智能电表生成数据量与采集频率的关系。
同样，在电力系统的其他各环节，随着大量传感采集装置的安装都将产生大规模的数据，而如何规划、存储、整合及综合分析这些数据，是电力系统当前需要迫切解决的关键问题之一。但电力大数据与传统互联网大数据不同，对分析的全景性、实时性和可靠性提出了更高的要求。
通过建设基于大数据分析技术的全景实时系统，并使之成为整个系统的“神经中枢”，将有助于从大数据驱动的角度解决电力系统当前面临的主要挑战，比如可靠性分析、实时调度等问题，也有利于提高数据的利用率，挖掘数据价值。电力大数据全景实时分析平台在系统中的地位如图1所示。
将电力大数据中心建设成为整个电力系统的中心节点，负责全景信息收集、整合、状态监控和资源调度平衡。通过获取整个系统的实时全景数据，将电力系统变成一个“端到端”的透明系统，实现全局信息共享，消除“信息孤岛”，避免由于信息不对称造成的资源浪费；利用大数据分析技术，结合电力系统理论知识，构建系统分析模型，提高电力系统整体规划水平，促进能源动态平衡；利用全景实时大数据，实现对输变电设备的实时监控、评估、分析及状态预测，从而快速隔离事故；利用大数据，实时获取发电及负荷信息，达到资源的优化配置、调度，提高新能源接纳吸收能力，促进“削峰填谷”和高级需求响应技术的应用。
2相关工作
云计算技术作为处理大数据的有效方式，在国内电力行业中的应用研究还处于探索起步阶段，研究内容主要集中在系统构想、实现思路和前景展望等方面。参考文献[3]针对智能电网状态监测的特点，结合开源技术Hadoop，借助虚拟化技术、分布式冗余存储以及基于列存储的数据管理模式来存储和管理数据，以保证电网海量状态数据的可靠和高效管理，但目前还只是一个框架设想。为了解决电力系统灾备中心资源利用率低、灾备业务流程复杂等一系列问题，参考文献[4]设计了云计算资源管理平台框架和部分模块，其目标是实现电力企业ERP数据的备份，但尚未实现。参考文献[5]初步设计了电力系统仿真云计算中心的系统架构及其所包含的层次结构：基础设施云、数据管理云、仿真计算云等。参考文献[6]探讨了未来智能电网控制中心面临的挑战，提出物联网和云计算技术结合是新型控制中心的技术支撑。基于Hadoop云计算平台，设计实现了基于Hadoop分布式文件系统的电力设备状态监测存储系统[7]，对动态时序数据、静态数据以及视频数据进行了
存
160
··
电信科学2016年第4期
储、关键字查询与并行处理方面的研究，通过对系统的测试，验证了云计算平台高可靠性、良好的可扩展性和数据并行访问的性能优势。
在国外，云计算技术目前已用于电力系统海量数据的存储和处理，并有实际运行的系统。参考文献[8]分析了电力系统中不同用户的实时查询需求，设计了用于实时数据流管理的智能电网数据云模型，该模型较适合处理电力系统中的大规模流式数据，同时基于该模型实现了一个实时流数据的智能测量与管理系统。Cloudera公司[9]设计并实施了基于Hadoop平台的智能电网在TVA（Tennessee Valley Authority,田纳西河流域管理局）上的项目，帮助TVA管理PB级的PMU数据，体现了Hadoop平台高可靠性以及价格低廉的优势。另外，TVA在该项目基础上开发的superPDC，通过openPDC项目将其开源，此工作将有利于推动量测数据的大规模分析处理，并可为电网其他时序数据的处理提供参考。日本Kyushu电力公司[10]使用Hadoop平台对大规模的电力系统用户消费数据进行快速并行分析，并在该平台基础上开发了各类分布式的批处理应用软件，提高了数据处理的速度和效率。参考文献[11]对云计算平台应用于智能电网进行了详细的分析，得出的结论是：现有云计算平台可以满足智能电网监控软件运行的可靠性和可扩展性，但实时性、一致性、全局性、数据隐私性和安全性等方面的要求尚不能满足，有待进一步深入研究。
随着大数据在电力系统中的形成，电力大数据的研究也获得了各方关注。参考文献[12]探讨了大数据在电力系统生产、控制和保护中的应用，从特征量提取、系统整合和案例分析3个方面进行了论述，并指出操作计划制定、实时监控和故障检测保护是将来的研究方向。参考文献[13]认为电力系统大数据与传统商业互联网大数据不同，对实时性和安全可靠性的要求更高，需要设计新型的处理分析系统，作者设计了原型系统，并在电力公司试用，性能获得了一个数量级的提高。风机选址是风电场建设中的一项重要工作[14]，IBM利用气候大数据、潮汐相位、地理空间与传感器数据、卫星图像、森林砍伐地图等信息帮助丹麦能源公司维斯塔斯的风机选址安装，从而使风机获得最优的发电量和最低的维护成本等。
电力系统是一个复杂、庞大的系统，传统的系统可靠性评估、潮流计算等算法，具有处理数据有限、算法复杂度高、计算量大等特点，很难适应全景大数据的环境。参考文献[15]研究了实时并行潮流计算技术，通过并行计算技术提高计算的效率。参考文献[16]研究了利用集群计算电网可靠性的技术。参考文献[17]研究了海量电网交换数据的处理技术。
综上所述，电力大数据分析处理已经成为提升电力系统安全和运行效率的重要途径，也是智能电网建设过程中必须面对的问题。目前研究思路主要集中在互联网大数据技术在电力系统中的应用，而结合电力系统特点，并与电力生产运行系统紧密结合的大数据分析技术研究较少，将是未来研究的方向。
3全景实时分析关键技术问题
3.1基于大数据的大电网安全可靠性分析技术
随着电网规模的不断扩大、大规模可再生间歇性能源的接入，电网面临着严峻的安全可靠性问题[16]。传统电力系统安全可靠性分析技术具有采集点少、运算量大的特点，随着覆盖整个系统的信息采集系统逐步完善，智能电网可以实时获取整个系统的全景数据，而基于全景数据的分析评估计算量非常大，容易造成“计算灾难”，几千阶的微分方程求解，无法满足实时性要求；另一方面，随着大规模分布式间歇能源的接入，由于分布式能源的不确定性和难以预测等，很容易对大电网造成冲击，从而对系统的稳定性提出了更高的要求[18]。因此，利用大数据从全局角度来动态实时分析系统的安全可靠性是电力大数据分析面临的一项重要工作。
潮流计算是电力系统安全可靠性分析的重要手段之一，而传统潮流计算的计算复杂度高、数据量小、计算精度难以保证。当面对全景实时大数据和动态实时变化的分布式能源时，传统的计算技术很难动态精确计算系统的潮流情况，而基于大数据的高性能并行快速高精度的潮流计算技术，有助于提高潮流计算的速度和精度，从而提高电力系统可靠性水平。
目前电力可靠性分析主要采用传统的N-1（即当某一设备失效后系统的安全性评价）安全准则，不考虑概率较低的多重事件，而电网事故中很多情况下会因为某一设备故障产生连锁反应，所以有必要研究多重事故发生情况下的系统可靠性问题（即N-m）。而N-m情况下的可靠性分析计算量将呈指数级增长，并且在数据规模不断增长的情况下，分析任务很难在有效时间内实时完成。
在电力系统安全稳定分析中，大多数分析归结为代价很高的高维稀疏矩阵与向量常量的乘法运算。比如在潮流
161··
电力信息化专栏
图2电力调度中心面临的形势
计算的过程中，如果电力网络有n 个节点，则有节点方程：
I =YV （1）其中
，
、分别是节点注入电流列向量
及节点电压列向量
。是导纳矩
阵，对角元素是节点i (i =1,2,…,n )的自导纳，非对角元素是节点间的导纳。式（1）是典型的非线性方程，求解方法一般为迭代法，而求解的核心运算是矩阵与向量的乘积。因此，快速高维稀疏矩阵运算是电力系统可靠性分析的基础。
3.2基于大数据的输变电设备全寿命周期管理
除了安全稳定运行非常重要外，电力系统本身是一个动态实时变化的系统，因此必须实时监测系统的运行状态，快速处理各种情况，保证系统的安全稳定运行。统计发现大多数电网故障主要是设备故障问题引发的，通过收集设备的全寿命周期数据（实验数据、运行数据及气候环境数据等），建立设备运行模型，有利于实时评估设备状态，从而避免由于设备故障造成的电网事故[19]。目前的设备管理系统记录存储的主要是设备台账信息，而设备全寿命数据由于时间和空间跨度大，收集整理具有很大的难度。通过大数据中心，整合系统可利用的所有内外部数据，使设备的全寿命周期管理成为可能。利用设备全寿命周期大数据，构建新的设备运行评估模型，以修正由于试验环境条件有限造成的设备模型不准确、运行等级分类不足等问题。在设备全寿命周期大数据的基础上，利用聚类划分、异常点检测、深度学习等技术，实现设备的无监督分类及故障预测[20]。
当前，电力设备状态评估主要是基于实验室建立的模拟环境产生的测试数据，利用人工智能（神经网络等）对数据进行分析、划分等级。然而这种方式存在数据样本有限、数据与真实环境不一致、算法针对大规模数据集失效等问题。借助电力大数据，利用数据分析技术，挖掘设备状态、环境等之间的关联规则，发现有价值的特征量[21-23]，实现设备状态监控，保证电网安全运行。因此，在设备全寿命周期管理中的关键问题是数据挖掘分析算法在电力系统中的
深度广泛应用。
3.3全景实时能源动态平衡调度技术
电力系统作为一个有机的整体，系统内电能的生产、输送与使用总量在不断变化，但必须保持瞬间平衡。根据电力生产发、供、用必须同时完成的瞬时平衡规律及电能不能大规模有效存储的特点，需要对电网进行严格的科学调度，保持电网正常运行。电力系统调度当前主要应用
SCADA (supervisory control and data acquisition ，数据采集
与监视控制)系统，以实现数据采集、设备控制、测量、参数调节以及各类信号报警等各项功能。然而，传统调度系统由于数据处理能力和速度有限，只接受电力系统主参数，而大量细节数据由于不能利用而丢弃[24]。但随着大规模间歇性能源的接入，电力系统的结构更加复杂多变，海量、分散、异构的实时信息大量涌入数据中心，面对大量实时信息时，传统调度系统的实时性和合理性很难满足要求，无法实现电网的精益化调度。在智能电网环境下，电力调度中心面临的形势如图2所示。
在掌握全系统实时数据的情况下，电力大数据中心将能够更有效地实现全局资源的整合，实现电力供需平衡调度。在电网运行过程中，根据能量的实时需求、负荷建模信息及实时产能信息进行能量自动调配等技术[25,26]是系统的关键。因此，基于大数据的调度技术关键问题是设计基于大规模多源细节数据的电力系统调度模型和实时流数据分析处理技术，实现电力系统调度从粗放型向集约型的转变。
4电力大数据实时分析核心技术
4.1主要技术挑战
目前主流的Hadoop 批处理方式可以适应电力大数据
的历史数据分析，但Hadoop 采用先存储后计算的模式，且需要频繁的磁盘操作，难以满足对生产系统的快速响应需求。因此，
电力大数据全景实时分析平台面临着严重的性
162··
电信科学2016年第4期
图3
Spark 中k -means 实现过程
能和安全性挑战，具体而言主要包括如下两个方面。
（1）利用大规模复杂细节多源数据的电力系统分析算法
在智能电网环境下，PMU 、AMI （advanced metering
infrastructure ，高级电表架构）及IED （intelligent electronic device ，智能电子设备）提供了大规模可利用的复杂细节数
据，这些数据为提高电力系统的操作水平、建模技术和计划调度提供了机遇。通过现代计算机高并行计算平台，设计快速、高精度的安全稳定分析算法，能够提高数据利用率，并保证系统的实时性要求。
（2）大规模实时流数据调度、分析技术
为了保证监测、调度等关键业务的时效性，大规模实时流数据的接入和分析性能至关重要。将常用数据存储在分布式内存中，并充分利用多核或众核处理器的并行技术和大内存的缓存技术以及高效的调度算法，以保证流数据的实时处理效率。
4.2内存计算
在电力系统中多项业务处理任务需要高性能计算技术的支撑。而随着现代计算机体系结构的发展，64bit 计算机理论内存可达232×4GB ，因此在内存中可以存储更多的数据，利用内存计算技术[27,28]，避免代价很高的磁盘操作，可以有效提高数据处理的性能。内存计算主要用于数据密集型计算的处理，面向数据量大且需要实时分析处理的情况。针对电力大数据价值密度低的特点，依据数据的使用频率，将电力大数据分为热数据和冷数据，热数据存储在内存中，冷数据存储在磁盘上。
目前比较成熟的内存计算平台包括HANA 和Spark 等。HANA 是由SAP 提出的基于内存计算技术的高性能实时数据计算平台，采用的主要技术包括：内存数据读取和处理、行列混合存储、并行计算、数据压缩等。HANA 在辽宁电力公司应用效果明显，部分业务系统的效率提高达几十倍，但系统部署﹑维护成本很高。
Spark 是一款基于内存计算的开源集群计算系统，与Hadoop 类似，但适合高效运行的数据分析算法，比如机器
学习算法等。其可以在并行操作之间重用工作数据集，从而提高效率。与Hadoop 相比，性能可获得两个数据量级的提升。电力系统中的数据分析算法可以通过Spark 来提高效率。比如在电力系统中需要针对设备状态监测数据进行聚类划分，从而实现分类处理，提高工作效率。k -means 是一种基本的聚类划分算法，在电力系统中应用广泛，基于
Spark 的k -means 聚类算法实现过程如下。
（1）读取存储在HDFS 上的文件块（block ）到内存中，每个块转化为一个RDD ，里面包含监测数据的特征量（vector ）集合。
（2）然后对RDD 进行映射（map ）操作，计算每个vector （point ）对应的聚类编号（class ），并输出键值对（k ，v ）为（class ，（point ，1）），生成为新的RDD 。
（3）接着在归约（reduce ）操作中，对每个新的RDD 进行混合，相同聚类的数据存放在一起，并在RDD 内部计算每个聚类中心点。
（4）最后判断中心点与前一个中心点之间的距离，如果满足要求，则结束，否则从步骤（2）开始，直到满足结束条件。
（5）最后将输出结果写到HDFS 中。
Spark 中k -means 实现过程如图3所示，其中①~⑤表
示数据点，黑点表示聚类的中心点。
4.3流式大数据分析技术
在电力系统中，各种监测、采集装置的流数据和极端天气情况下的报警数据构成了电力流式大数据。流式电力大数据具有实时性、易失性、突发性、无序性、无限性等特征[29]，并要求在有限时间内处理完成，不能遗漏数据，因此流式大数据的实时处理对系统提出了更高的要求。电力大数据分析应涵盖低时延、高吞吐量且持续可靠运行的流式大数据计算系统[30,31]。目前在商业互联网领域应用比较多的流数据分析平台包括Storm 、S4等，但这些系统对数据处理的时限和安全性要求很难直接应用于电力系统，还有待针对特定行业做进一步完善。
Storm 是具有分布式和高容错的实时计算系统，以简
单、高效、可靠的方式处理流式数据，并保证消息不丢失，处理严格有序。其主要特征包括：编程模型简单、支持多种编程语言、作业级容错、水平扩展、快速消息计算等。但其资源分配策略并没有考虑系统拓扑结构，
任务调度机制过
163··
电力信息化专栏
图4流数据处理的拓扑结构
图5多核CPU与众核GPU的结构图6GPU下的矩阵与向量乘法运算
于简单，因此很难直接应用于电力大数据处理。在一个Storm系统中有两类节点：一个主节点nimbus、多个从节点supervisor。3种运行环境：master、cluster和slave。
使用Storm处理流数据时，首先要设计流数据处理过程的拓扑（topology）结构，也就是数据处理的先后逻辑关系。比如对状态监测流数据的处理顺序依次为：获取数据、去噪（多种方法）、计算特征量（多种方法）、评价状态等。设计的拓扑结构如图4所示。
4.4多核/众核并行计算技术
当前电力系统中的主要算法通过串行实现，而随着需要处理数据的增加和计算任务复杂度的提高，算法处理时间不断增长，而通过并行计算技术，将部分算法通过并行来实现，可以显著提高数据分析处理的执行速度[32-35]。同时，随着现代处理器向多核和众核方向发展，充分利用多线程并行，可以提高电力大数据平台集群中节点的利用率，从而加快数据处理的效率。目前，普通CPU已经配置8个计算核心，而图形处理器（GPU）拥有上千个计算核心，具有更强大的数据处理能力，两者混合并行计算技术，将是未来的主流计算平台。多核CPU与众核GPU的结构如图5所示。
近年来，GPU从图形图像处理领域进入通用计算领域，成为理想的高性能计算平台。GPU在众多领域的大数据分析中，有效地提升了数据处理的效率。GPU通过大规模线程并行隐藏内存访问时延，同时支持几百万线程运行，线程间切换代价很低。GPU的并行采用SIMD（single instruction multiple data，单指令多数据）并行，同一指令一次操作不同的数据。GPU适合处理电力系统中数据密集型的计算任务，利用它可以有效提高电力系统中密集数据的分析处理效率。比如处理电力系统安全性分析中的稀疏矩阵与向量乘积的计算过程如下。
首先将稀疏矩阵以偏移量+前缀和+值的形式存储，并通过前缀和记录每行中非零元素的个数及位置信息；然后将常量存放在共享内存中，其中CUDA的每个线程块负责稀疏矩阵中的一行和常量乘积；而块内的每个线程负责进行常量与稀疏矩阵本行内对应元素的乘法运算，并求和。大致的运行过程如图6所示。
4.5列存储技术
在电力大数据全景实时分析中，应支持多种数据存储模式，比如文件存储、key-value及结构化数据存储等[36,37]。而在电力系统中，结构化数据占有较大的比例，比如PMU 的数据、设备监测的数据及居民用电数据等。结构化数据采用列存储，可以有效地提高数据分析效率。
列存储要求每列单独存储，这样在执行查询时只需要读取与查询相关的列，而不相关的列不用读取，当一个表包含很多列，而查询只涉及较少的列时，可以大量减少磁盘I/O，从而提高查询性能。另外，由于每一列内的数据单独存储，一列内的数据相似度更高，当采用压缩存储时有更高的压缩率。在列存储数据库中常用的压缩技术主要有：数据字典、位向量和run-length3种方法。
以电能质量监测数据为例，讨论列存储在电力系统中的应用。电能质量监测系统需要存储大量的时序监测数据，这些数据分为不同的监测类别，
刻画了电能质量的不
164
··
电信科学2016年第4期
图7HBase 电能质量监测数据存储结构
同方面的特性，比如谐波、简谐波及波形、参数数据等。而用户的查询分析主要是针对每个监测点或通道的查询和分析，因此将每一个通道的数据尽量存储在相邻的节点，有助于后续的数据检索分析，通过以监测点+通道号为
key ，以监测数据为value 的键值对方式存储，从而实现监
测数据的连续存储，方便后续的数据检索操作。
根据监测数据的监测类别划分为不同的列簇，其中谐波、间谐波及频谱数据划分为一个列簇，数据不是根据次数分别存储，而是采用组合压缩存储；各项电压电流波形数据划分为一个列簇；其他监测数据为另一个列簇；闪变数据也组成一个列簇。通过划分列簇，利用数据的相关性提高读取效率。其存储结构在HBase 数据库上的表现大致如图7所示。
5电力大数据分析平台
当前，电力系统虽然已经建成了规模庞大的数据中
心，但主要存在如下两方面的问题：不同的业务系统被分割为不同的“信息孤岛”，彼此之间数据不能共享，不能从系统全景的角度分析解决问题；为了保证系统的实时性，大量有助于提高计算精度和准确率的信息并不接入数据中心，从而造成系统因为无法协调全部可用资源而导致整体运行效率和数据利用率低。通过建设智能电网全景实时大数据分析平台，有助于上述问题的解决。
另一方面，电力系统作为人类有史以来创造的最复杂系统之一，具有系统规模庞大、整体性强、复杂度高、安全稳定运行要求高、电能光速传输并不能大规模有效存储等特性，决定了电力大数据全景实时分析将面临着两方面的主要挑战：大数据分析挖掘技术与电力系统理论的深度融合，从数据驱动的角度探讨解决系统所面临问题的思路，促进大数据在电力系统中的应用落地；满足一定可靠性和时间约束的大数据（批处理和流数据）全景实时分析技术，
快速从系统整体层面分析解决问题、合理调度资源，满足电力系统高可靠性的要求。
参考当前电力系统面临的各项挑战和大数据实时分析主流技术，电力大数据全景实时分析平台采用分层架构，层与层之间采用松耦合模式。结合电力系统运行特点及借鉴主流开源系统，架构应包括如下几个层次。
最底层是数据存储层，为保证平台的可扩展性采用分布式文件存储系统，并设计以数据相关性和负载均衡策略为基础的数据分布方案。在分布式文件系统之上，结合高性能列存储技术，进一步优化存储代价和性能。本层可以采用Hadoop 的分布式文件系统存储方案并结合HBase 的列存储技术。
其次是流式大数据处理和分布式内存层，流式大数据处理模块用于响应电力系统中的实时流数据，关键是流数据的任务调度技术；分布式内存用于存储使用频率高的热数据，为上层计算提供数据缓存，减少磁盘访问代价。本层可以采用Storm 和Spark 技术分别实现流数据处理和内存计算。
然后是整合计算层，设计电力系统中基于大数据的并行分析算法框架，并考虑利用多核、大内存和GPU 等现代计算机的硬件体系架构特征的核心算法库，将电力系统中常用的分析算法封装为库函数供上层高级应用调用。
最后一层是应用层，包括可靠性分析、状态监测和能源调度等各种业务应用系统，并直接和最终用户交互。
电力大数据全景实时分析平台层次体系结构如图8所示。
通过前置通信集群不间断采集设备及系统的事件、状态、预警等多数据源信息，形成流数据，完成高效实时数据收集功能。然后，将收集的数据传输给流计算模块，完成数据混合并实时预处理，基于CEP （complex event processing ，复杂事件处理）的快速发现和异常数据过滤，
分析状态并
165··
电力信息化专栏
图8
电力大数据分析平台结构
实时反馈给用户。最后将数据存储在分布式文件系统中进行持久化存储，使用内存计算技术进行数据快速分析与预警计算，保证电力系统中数据分析实时性的要求。
电力大数据分析平台的特色包括如下两个方面。（1）大数据与电力系统深度融合的复杂电网分析、监控、调度技术和理论
随着电力大数据规模不断膨胀以及电网结构、运行模式复杂多变，从大数据角度探讨复杂电网分析、监控、调度技术和理论，促进大数据在电力系统中的深度应用，发现挖掘电力大数据的价值。
（2）面向电力行业特定领域的大数据全景实时分析技术
针对电力行业对数据分析时效性、全景性的高要求，面向特定行业领域的大数据实时分析技术，提供整个电力系统的全景视图和实时动态监控、调度技术，促进大数据在特定行业应用中落地。
6结束语
本文主要综述了电力大数据全景实时分析面临的挑
战及实现技术，并探讨平台的体系架构。然而，建设电力大数据中心需要一个较长的时间周期和各方的通力配合，其中的关键技术和挑战也需要进一步深入研究。结合电力系统应用需求，开发部署面向电力行业的大数据中心，将推动大数据在电力系统中的研究和发展。
参考文献：
[1]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与
挑战[J].电网技术,2013,37(4):927-935.
SONG Y Q,ZHOU G L,ZHU Y L.Present status and challenges of big data processing in smart grid[J].Power System
Technology,2013,37(4):927-935.
[2]王德文,宋亚奇,朱永利.基于云计算的智能电网信息平台[J].
电力系统自动化,2010(22):7-12.
WANG D W,SONG Y Q,ZHU Y https://www.wendangku.net/doc/d817352429.html,rmation platform of smart grid based on cloud computing [J].Automation of Electric Power Systems,2010(22):7-12.
[3]中国电机工程学会信息化专委会.中国电力大数据发展白皮
书[R].2013.
Electric Power Informatization Special Committee.China power big data development white paper[R].2013.
[4]朱征,顾中坚,吴金龙,等.云计算在电力系统数据灾备业务
中的应用研究[J].电网技术.2012,36(9):43-50.
ZHU Z,GU Z J,WU J L,et al.Application of cloud computing
in electric power system data recovery[J].Power System Technology,2012,36(9):43-50.
[5]沐连顺,崔立忠,安宁.电力系统云计算中心的研究与实
践[J].电网技术,2011,35(6):170-175.
MU L S,CUI L Z,AN N.Research and practice of cloud computing center for power system[J].Power System Technology,2011,35(6):170-175.
[6]王广辉,李保卫,胡泽春,等.未来智能电网控制中心面临的
挑战和形态演变[J].电网技术,2011,35(8):1-5.
WANG G H,LI B W,HU Z C,et al.Challenges and future evolution of control center under smart grid environment [J].Power System Technology,2011,35(8):1-5.
[7]刘树仁,宋亚奇,朱永利,等.基于Hadoop 的智能电网状态监
测数据存储研究[J].计算机科学,2013,40(1):81-84.
LIU S R,SONG Y Q,ZHU Y L,et al.Research on data storage for smart grid condition monitoring using Hadoop [J].Computer Science,2013,40(1):81-84.
[8]RUSITSCHKA S,EGER K,GERDES C.Smart grid data cloud:
a model for utilizing cloud computing in the smart grid domain[C]//The 1st International Conference on Smart Grid Communications,October 4-6,2010,Gaithersburg,USA.New Jersey:IEEE Press,2010:483-488.
[9]CHRISTOPHE B.The smart grid:hadoop at the Tennessee Valley
Authority(TVA)[EB/OL].[2013-02-08].https://www.wendangku.net/doc/d817352429.html,/blog /2009/06/smart -grid -hadoop -tennessee -valley -authority -tva/.[10]KAWASOE S,IGARASHI Y,SHIBAYAMA K,et al.Examples
of distributed information platforms constructed by power utilities in Japan [C]//CIGRE Symposium,August 26-31,Paris,France.[S.l.:s.n.],2012:134-306.
[11]KENNETH P B,LAKSHMI G,ROBBERT V R,et.al.Running
smart grid control software on cloud computing architectures[C]//Workshop on Computational Needs for the Next Generation Electric Grid,April 19-20,2011,Ithaca,USA.New York:Department of Energy ’s Sci Tech Connect,2011:1-28.
166··
电信科学2016年第4期
[12]KEZUNOVIC M,LE X,GRIJALVA S.The role of big data in
improving power system operation and protection[C]//Bulk Power System Dynamics and Control-IX Optimization,Security and Control of the Emerging Power Grid(IREP),August25-30, 2013,Rethymnon,Greece.New Jersey:IEEE Press,2013:1-9.
[13]JIAN Y,POORVA S,IAN G,et https://www.wendangku.net/doc/d817352429.html,rge-scale data
challenges in future power grids[C]//7th International Symposium on Service Oriented System Engineering,March25-28,2013, Redwood City,CA,USA.New Jersey:IEEE Press,2013: 324-328.
[14]赛迪网.维斯塔斯利用IBM大数据分析实现“智慧风能”
[EB/OL].[2012-03-23].https://www.wendangku.net/doc/d817352429.html,/art/1032/ 20120323/3709391.html.
CCID net.The realization of“wisdom wind”using IBM big data analysis in Vestas[EB/OL].[2012-03-23].http://news.
https://www.wendangku.net/doc/d817352429.html,/art/1032/20120323/3709391.html.
[15]李传栋,房大中,杨金刚,等.大规模电网并行潮流算法[J].电
网技术,2008,32(7):34-39.
LI C D,FANG D Z,YANG J G,et al.New research on parallel power-flow calculation for large-scale power system[J].
Power System Technology,2008,32(7):34-39.
[16]刘洋,谢开贵,周家启,等.大电力系统可靠性评估高性能计
算平台设计与实现[J].电力系统自动化,2006,30(18):1-8.
LIU Y,XIE K G,ZHOU J Q,et al.Design and implementation of HPC platform for bulk power system reliability evaluation[J].
Automation of Electric Power Systems,2006,30(18):1-8. [17]桂勋.基于递推算法的海量COMTRADE数据计算并行化[J].
电力系统自动化,2014,38(1):86-91.
GUI X.Calculation parallelization for massive COMTRADE data based on recursive algorithms[J].Automation of Electric Power Systems,2014,38(1):86-91.
[18]何剑,程林,孙元章.电力系统运行可靠性最优控制[J].中国
电机工程学报,2010,30(7):15-21.
HE J,CHENG L,SUN Y Z.Optimal control of power system’s operational reliability[J].Proceeding of the CSEE,2010,30(7): 15-21.
[19]江修波,吴文宣,陈祥伟.区间分析法在电力变压器全寿
命周期成本模型中的应用[J].电力自动化设备,2011,31(9): 50-54.
JIANG X B,WU W X,CHEN X W.Transformer life cycle cost model based on interval analysis[J].Electric Power Automation Equipment,2011,31(9):50-54.
[20]刘吉臻,杨光军,谭文,等.基于数据驱动的电站燃烧稳定度综
合评价[J].中国电机工程学报,2007,27(35):1-6.
LIU J Z,YANG G J,TAN W,et al.Synthetic evaluation on the degree of combustion stability in power station based on data-driven[J].Proceedings of the CSEE,2007,27(35):1-6.[21]张广斌,束洪春,于继来.利用广义电流模量的行波实测数
据半监督聚类筛选[J].中国电机工程学报,2012,32(10): 150-159.
ZHANG G B,SHU H C,YU J L.Travelling wave field data contingency screening based on semi-supervised clustering using generalized current modal components[J].Proceedings of the CSEE,2012,32(10):150-159.
[22]陈铁华,陈启卷.模糊聚类分析在水电机组故障诊断中的应用
[J].中国电机工程学报,2002,22(3):43-47.
CHEN T H,CHEN Q J.Fuzzy clustering analysis based vibration fault diagnosis of hydroelectric generating unit[J].Proceedings of the CSEE,2002,22(3):43-47.
[23]王一,何奔腾,王慧芳.基于全寿命状态的设备可靠性研究[J].
电网技术,2011,35(8):207-211.
WANG Y,HE B T,WANG H F.Research on equipment reliability based on life cycle states[J].Power System Technology, 2011,35(8):207-211.
[24]曹军威,万宇鑫,涂国煜,等.智能电网信息系统体系结构研究[J].
计算机学报.2013(1):143-167.
CAO J W,WAN Y X,TU G Y,et https://www.wendangku.net/doc/d817352429.html,rmation system architecture for smart grids[J].Chinese Journal of Computers.2013
(1):143-167.
[25]王蓓蓓,刘小聪,李扬.面向大容量风电接入考虑用户侧互动的
系统日前调度和运行模拟研究[J].中国电机工程学报,2013, 36(22):35-44.
WANG B B,LIU X C,LI Y.Day-ahead generation scheduling and operation simulation considering demand Response in large-capacity wind power integrated systems[J].Proceeding of the CSEE,2013,36(22):35-44.
[26]黄海涛.居民分时阶梯电价联合优化模型研究[J].电网技术,
2012,36(10):253-258.
HUANG H T.A Joint optimization model of residential time-of-use rlock electricity rate[J].Power System Technology, 2012,36(10):253-258.
[27]金海,廖小飞,叶晨成.内存计算:大数据处理的机遇与挑战[J].
中国计算机学会通讯,2013,9(4):40-46.
JIN H,LIAO X F,YE C C.In-memory computing:The opportunities and challenges of big data processing[J].
Communication of China Computer F ederation,2013,9(4): 40-46.
[28]PARK K H,PARK S K,SEOK H.Efficient memory management
of a hierarchical and a hybrid main memory for MNMATE platform[C]//International Workshop on Programming Models and Applications for Multicores and Manycores.March12-16,2012, New York,USA.New York:ACM Press,2012:83-92.
[29]孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系统实
例[J].软件学报,2014,25(4):839-862.
167··
电力信息化专栏
SUN D W,ZHANG G Y,ZHENG W M.Big data stream computing:technologies and instances[J].Journal of Software, 2014,25(4):839-862.
[30]赵加奎,杨国凤,沐连顺,等.数据流技术在电网自动化中的应
用研究[J].电网技术,2011,35(8):6-11.
ZHAO J K,YANG G F,MU L S,et al.Research on the application of the data stream technology in grid automation[J].
Power System Technology,2011,35(8):6-11.
[31]张之哲,李兴源,程时杰.智能电网统一信息系统的框架、功能
和实现[J].中国电机工程学报,2010,30(34):1-7.
ZHANG Z Z,LI X Y,CHENG S J.Structures,functions and implementation of united information system for smart grid[J].
Proceedings of the CSEE,2010,30(34):1-7.
[32]郭春辉.基于GPU的电力系统并行计算的研究[D].济南：山
东大学,2013:18-34.
GUO C H.Research on parallel computing of electric power system based on GPU[D].Jinan:Shan Dong University,2013: 18-34.
[33]李鹏,丁承第,王成山,等.基于多核心处理器的分布式发电微
网系统暂态并行仿真方法[J].中国电机工程学报,2013,33(16): 171-178.
LI P,DING C D,WANG C S,et al.A parallel algorithm of transient simulation for distributed generation system based on multi-core CP U[J].Proceeding of the CSEE,2013, 33(16):171-178.
[34]唐聪,严正,周挺辉.基于图形处理器的广义最小残差迭代法
在电力系统暂态仿真中的应用[J].电网技术,2013,37(5): 1365-1371.
TANG C,YAN Z,ZHOU T H.Application of graph processing unit-based generalized minimal residual iteration in power system transient simulation[J].Power System Technology,2013,37(5): 1365-1371.
[35]马发勇,厉启鹏,马志斌,等.电力调度SCADA系统中历史数
据压缩及存储策略[J].电网技术,2014,38(4):1109-1114.
MA F Y,LI Q P,MA Z B,et al.The research of historical data
compression and storage strategy in power dispatch SCADA system[J].Power System Technology,2014,38(4):1109-1114. [36]闫湖,周薇,李立新,等.基于分布式键值对存储技术的EMS
数据库平台[J].电网技术,2012,36(9):162-167.
YAN H,ZHOU W,LI L X,et al.Database platform of EMS system based on distributed key-value pair storage technology[J].
Power System Technology,2012,36(9):162-167.
[37]ZHONG Y,SUN S,LIAO H,et al.A novel method to manage very
large raster data on distributed key-value storage system[C]//The 19th International Conference on Geoinformatics,June24-26, 2011,Shanghai,China.New Jersey:IEEE Press,2011:1-6.
[作者简介
]
周国亮(1978-)，男，博士，国网冀北电力有
限公司技能培训中心副教授，主要研究方
向为电力大数据分析、智能电网等。
吕凛杰(1978-)，男，国网冀北电力有限公
司技能培训中心讲师，主要研究方向为电
力通信技术。
王桂兰(1979-)，女，华北电力大学信息与
网络管理中心讲师，主要研究方向为风机
故障定位与检测。
168
··
大数据的五大关键技术
大数据的五大关键技术 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储 结构化数据存储、半结构化数据存储、非结构化数据存储 2、大数据存储技术 Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch 三、数据分析挖掘 1、大数据分析与挖掘 离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习
2、大数据分析与挖掘技术 MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib 四、大数据共享交换 1、大数据共享交换 数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出 2、大数据共享交换技术 Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service 五、大数据展现 1、大数据展现 图化展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示； 2、大数据展现技术 Echarts、Tableau 国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据，大数据方面市场需求呈爆发式增长。为了应对大数据人才的缺乏，加米谷大数据培训中心制定了全流程的大数据课程，主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm等。除了在理论方面深入讲解外，还有对应代码实战，全流程学完之后会有实战大数据项目，整体把控学习效果，教学目的旨在提高学员实战能力，真实提升自身大数据能力。
大数据应用之电力应用
大数据应用之电力应用 一、背景 大数据不是ICT行业的专利。目前，金融、广电等传统行业都在积极借助大数据的力量，帮助企业实现转型。在电力行业，大数据已经被视作企业战略层面的重要议题：中国电力公司就在XX、XX、XX 建立了多个大数据中心，其中某个大数据中心已安装超过10000多个传感器，每个月可节约的能耗价值大概为30万元。那么，电力行业如何应用大数据在电力行业面临的挑战中，电信业能找到哪些共性，电信业又有怎样的机遇电力行业的应用策略中有哪些值得电信业借鉴 大数据在公共管理、零售、互联网、电信、金融等众多行业快速推广，市场规模迅速扩大，2012年国内大数据市场规模已达亿元。IDC预测，2016年中国大数据市场规模将达亿美元，而全球规模将达238亿美元。大数据已经渗透到当今的每个行业，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。大数据超过了传统数据库系统的处理能力，为了获得数据中的价值，必须选择新的方式进行处理。电力大数据是大数据理念、技术和方法在电力行业的实践，是大数据应用的重点领域之一。 电力大数据的特征可以概括为3“V”3“E”。其中3“V”分别是体量大（Volume）、类型多（Variety）和速度快（Velocity），3“E”分别是数据即能量（Energy）、数据即交互（Exchange）、数据
即共情（Empathy）。 二、大数据应用机遇 重塑电力核心价值和转变电力发展方式是电力大数据的两条核心主线。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘，驱动电力企业从“以电力生产为中心”向“以客户为中心”转变。电力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。此外，电力大数据的有效应用可以面向行业内外提供大量的高附加值的内容增值服务 1、优化管理模式 电力行业数据量大、类型多、价值高，对于电力企业盈利与控制水平的提升有很高的价值。有电力专家分析称，每当数据利用率调高10%，便可使电网提高20%~49%的利润。和电信行业一样，电力行业对大数据的使用也分为内部应用和外部应用。 内部应用指运用大数据优化电力企业管理模式，提升电力企业经营管理水平，主要包括以下几个方面。 支持基建决策 大数据技术有助于电力企业基础设施选址、建设的决策。例如丹麦风电公司VESTAS计划将全球天气系统数据与公司发电机数据结合，利用气温、气压、空气湿度、空气沉淀物、风向、风速等数据以及公司历史数据，通过使用超级计算机及大数据模型解决方案，来支
电力大数据时代
浅谈风电产业如何应对数据大时代 甄剑峰（恒泰风电场） 摘要：近年来，大数据来势汹汹，对传统数据商业分析模式产生了重大地影响，对电力企业的数据驾驭能力提出了新的挑战与机遇。从人才培养、技术储备、数据驾驭、数据价值挖掘等方面剖析电力企业如何应对大数据的挑战，让电力企业在大数据来临时更加从容地选择适合的技术、方法论、解决方案和发展战略。 关键词：大数据电力企业海量价值 1 引言 随着数字信息化时代的迅猛发展，信息量也呈爆炸性增长态势。在人类充分享受信息化带来的资讯、方便和快捷时，也使得全球的数字信息资源正进入到一个前所未有的快速增长期。据IDC统计，2011年全球数据量已达到1.8ZB，相当于全世界人均产生200GB以上的数据，并且还将以每年50%的速度继续增长。在这汹涌来袭的数据浪潮下，社会各个领域也将开始其数据化进程。无论学术界、商界还是政府，都将不可避免的进入“大数据时代”。作为全球第二大经济体的基础能源支撑体系，中国电力工业概莫能外。 2 电力大数据的定义及特征 2.1 大数据的定义 目前业界还未对大数据有一个统一的定义，但是有两个关于大数据的定义很好地诠释了大数据的本质。第一个定义来自Gartner公司的Merv Adrian在2011年第一季度刊登在《Teradata Magazine》上的一篇文章：“大数据超出了常用硬件和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力。”另一个定义来自于麦肯锡全球数据分析研究所（Mckinsey Global Institute）在2011年5月发表的一篇论文：“大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。” 2.2大数据的特征 概括来讲，大数据有三个特征，可总结归纳为“3V”，即量(Volume)、类(Variety)、时(Velocity)。量，数据容量大，现在数据单位已经跃升至ZB级别。类，数据种类多，主要来自业务系统，例如社交网络、电子商务和物联网应用。时，处理速度快，时效性要求高，从传统的事务性数据到实时或准实时数据。大数据主要包括以下几个特征：大容量：企业数据量大规模增长，单一数据集的规模范围从几十TB到数PB不等。电力数据涵盖发电、输电、变电、配电、用电、调度的各个环节，数据量庞大。随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数据量大大超过结构化数据。
大数据关键技术
术大数据关键技 大数据技术，就是从各种类型的数据中快速获得有价值信息的技 术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大 数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 一、大数据采集技术 社交网络交互数据及数据是指通过 RFID传感器数据、射频数据、（或称之半结构化移动互联网数据等方式获得的各种类型的结构化、是大数据知识服务模型的根本。为弱结构化）及非结构化的海量数据，重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入非结构化的海量数据的智能化识别、实现对结构化、系统，半结构化、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻
克分布式虚拟存储技术，大数据获取、存储、组织、分析和决． 大数据隐策操作的可视化接口技术，大数据的网络传输与压缩技术，私保护技术等。 二、大数据预处理技术 ）抽取：1主要完成对已接收数据的辨析、抽取、清洗等操作。数据抽取过程可以帮助我们因获取的数据可能具有多种结构和类型，以达到快速分将这些复杂的数据转化为单一的或者便于处理的构型，）清洗：对于大数据，并不全是有价值的，有些数析处理的目的。2据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相 半结构化和应的数据库，并进行管理和调用。重点解决复杂结构化、可表示、非结构化大数据管理与处理技术。主要解决大数据的可存储、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文）、能效优化的存储、计算融入存储、大数据的去件系统（DFS突破分布式非关系型大数冗余及高效低成本的大数据存储技术；据管理与处理技术，异构数据的数据融合技术，数据组织技术，突破大数据移动、研究大数据建模技术；突破大数据索引技术；备份、复制等技术；开发大数据可视化技术。 非关系型数据开发新型数据库技术，数据库分为关系型数据库、数非关系型数据库主要指的是库以及数据库缓存系统。其中，NoSQL据库，
电力大数据关键技术下的智能电网应用研究
电力大数据关键技术下的智能电网应用研究 发表时间：2017-07-17T10:01:23.700Z 来源：《电力设备》2017年第8期作者：刘延博眭冰[导读] 摘要：本文简单概述了电网大数据的基本特点，同时阐述了智能电网、大数据以及云计算的关系，最后总结了大数据智能电网的关键技术，旨在促进智能电网的发展，为社会提供更高效的电力服务。 (国网辽宁省电力有限公司辽宁省沈阳市 110000) 摘要：本文简单概述了电网大数据的基本特点，同时阐述了智能电网、大数据以及云计算的关系，最后总结了大数据智能电网的关键技术，旨在促进智能电网的发展，为社会提供更高效的电力服务。 关键词：电力大数据；关键技术；智能电网；应用研究 一、智能电网大数据概述 （一）智能电网信息数据来源 智能电网系统在运行中的数据主要包括电力企业内部数据和外部数据。内部数据的主要来源是系统对电力信息的采集、分析、管理以及客服中产生，外部数据则主要是在地理信息系统或气象系统，以及互联网中产生，由于数据庞大且分布不集中，各个系统对数据的管理手段也有所差异。 （二）智能电网平台的构成 由于社会的学习、工作和生活对电力的需求越来越大，传统的电网系统无法满足日益增长的需要，智能电网也应运而生。智能电网借助计算机网络技术来进行数据信息的收集、分析、管理等功能，实现电力的科学化管理工作。当前比较成功的智能电网大数据平台有Hadoop服务平台系统和基于分布式文件技术的平台，能够实现海量数据的搜集和存储，提高了电网的工作效率，同时也推动了电力行业的有效发展。 （三）智能电网大数据特征 智能电网大数据的主要特征是信息庞大、分散、多样性。信息数据的来源一般比较分散，信息采样的周期和频率各不相同，也就造成了非结构或半结构数据的比例越来越大，例如，在客服中的语音数据、监控视频或图像等都属于非结构化的数据信息。 二、智能电网、大数据以及云计算三者的关系 （一）智能电网和大数据的关系 智能电网技术就是输配电技术与计算机技术、网络技术和通信技术有效结合的新电网系统，具有高效、安全、科学、低损耗和低污染的传输能力。智能电网的主要目的就是通过传统输配电技术与科学技术有效结合，不断提高电力的传输效率，不断优化输配电系统，减少电力的损耗，实现高效的数据信息交流和共享，满足不同状态下的电力数据信息的收集、分析和存储等功能，使电网系统更加科学化、智能化。也就是说，职能电网就是大数据在电力行业的实际应用。 （二）云计算与大数据的关系 云计算的理念就是利用网络技术实现各个平台之间数据信息的按需共享和交流。我们可以简单地认为云计算是大数据的基础，利用云计算技术来实现大数据的收集、分析和存储，但是相对应的，大数据又为云计算技术寻找到更多的应用平台，使得云计算有发挥的空间。但是，二者关注的重点又有所差异，云计算的重点工作是进行数据计算，而大数据的工作重心是信息数据的分析。智能电网、大数据和云计算三者之间有一定的联系，具体关系如下图所示： 三、智能电网大数据关键技术分析 （一）集成管理技术 智能电网大数据的集成管理技术是将多个系统中的数据整合，具有多功能的数据管理技术。多源异构的管理模式就是指数据来源、数据结构、数据格式以及特点存在差异，但是能够将这些数据进行统一存储，这样的数据集合具有集成、稳定、反应系统变化的功能，实现更安全的数据共享和交流。电力行业的集成管理技术主要有数据抽取技术、过滤技术、剔除技术、融合技术。这种管理技术能够满足不同的电力环境下的数据管理，对多样化、复杂化的数据进行分析。当前已有的管理技术已经能够实现关系型数据的去杂化，将管理数据化繁为简，实现更加灵活的数据管理，例如当前的NoSQL数据库技术。
大数据关键技术
大数据关键技术 大数据技术，就就是从各种类型得数据中快速获得有价值信息得技术。大数据领域已经涌现出了大量新得技术，它们成为大数据采集、存储、处理与呈现得有力武器. 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现与应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 一、大数据采集技术 数据就是指通过RFIＤ射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得得各种类型得结构化、半结构化（或称之为弱结构化）及非结构化得海量数据，就是大数据知识服务模型得根本.重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化得海量数据得智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理与管理等。必须着重攻克针对大数据源得智能识别、感知、适配、传输、接入等技术．基础支撑层：提供大数据服务平台所需得虚拟服务器,结构化、半结构化及非结构化数据得数据库及物联网络资源等基础支撑环境。
重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析与决策操作得可视化接口技术,大数据得网络传输与压缩技术,大数据隐 私保护技术等． 二、大数据预处理技术 主要完成对已接收数据得辨析、抽取、清洗等操作。1)抽取:因获取得数据可能具有多种结构与类型,数据抽取过程可以帮助我们将这些复杂得数据转化为单一得或者便于处理得构型,以达到快速分析处理得目得。2)清洗:对于大数据，并不全就是有价值得,有些数据并不就是我们所关心得内容,而另一些数据则就是完全错误得干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据. 三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到得数据存储起来,建立相 应得数据库,并进行管理与调用。重点解决复杂结构化、半结构化与非结构化大数据管理与处理技术。主要解决大数据得可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠得分布式文件系统（DFS）、能效优化得存储、计算融入存储、大数据得去冗余及高效低成本得大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据得数据融合技术,数据组织技术,研 究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术；开发大数据可视化技术. 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指得就是NoSＱ
八大案例深度解析电力大数据应用
八大案例深度解析电力大数据应用 麦肯锡曾有报告预测，在全球范围内，大数据分析方案的广泛使用能够带来每年3000亿美元的电费削减。电力大数据的有效应用可以面向行业内外提供大量的高附加值的增值服务业务，对于电力企业盈利与控制水平的提升有很 高的价值。有电网专家分析称，每当数据利用率调高10%，便可使电网提高20%~49%的利润。 电力行业的数据源主要来源于电力生产和电能使用的发电、输电、变电、配电、用电和调度各个环节，可大致分为三类：一是电网运行和设备检测或监 测数据;二是电力企业营销数据，如交易电价、售电量、用电客户等方面数据; 三是电力企业管理数据。通过使用智能电表等智能终端设备可采集整个电力系统的运行数据，再对采集的电力大数据进行系统的处理和分析，从而实现对电网的实时监控；进一步结合大数据分析与电力系统模型对电网运行进行诊断、优化和预测，为电网实现安全、可靠、经济、高效地运行提供保障。 一、电网监测及维护 1.运维监测系统及时反应 Enphase Energy（美国Enphase 能源股份有限公司） Enphase Energy每天从来自80个不同国家25万个系统收集大约2.5TB的数据。这些数据可以用来检测发电和促进远程维护、维修来确保系统无缝运行。另外，Enphase Energy还利用从发电系统收集到的数据来监测、控制或调整网络中的发电和负载状态，在电网和在出错或需要升级时做出相应的反应。 2.设备检修运维专题分析
电力企业可以基于永洪自研发的一站式大数据分析平台开展各业务领域的深度分析，如在电网检修运维领域，通过对电力设备资产管理、设备运检管理、设备技术管理、技改大修管理等方面，从安全、效益、成本三个方面进行关键 指标选取，分析检修管理中“安全”、“效益”、“成本”三者之间的相互影响，协调 三个因素综合最优，同时实现对电网企业检修指标的实时在线监控，为公司检修策略制定提供指导和服务。 （图中分析场景所用的数据为测试数据） 3.预防基础设备故障导致的停电 American Electric Power Co., Inc. (AEP）（美国电力有限公司） 在AEP的资产健康中心，数据分析师把设备派生的运行信息和智能信息应 用程序结合在一起。通过采用大数据算法和分析软件，他们可以密切监测传输基础设施的运行情况。 如今，AEP使用智能电表、通信网络和数据管理系统得到稳健的常规信息。 智能电网技术使客户更有效地用电和合理管理用电成本，收集到的数据也有助于该公司为客户定制电力管理程序和提供个性化定制服务。
面向智能电网应用的电力大数据关键技术 寇明姝
面向智能电网应用的电力大数据关键技术寇明姝 发表时间：2018-03-13T10:40:02.833Z 来源：《电力设备》2017年第29期作者：寇明姝[导读] 摘要：智能电网的发展离不开电力大数据的支持，其中所涉及到的大数据、云计算等内容不仅关乎电网智能化的实现效果，同时也与电力行业的未来发展产生着密不可分的联系。（中国能源建设集团广东电力工程局有限公司广东广州 510735）摘要：智能电网的发展离不开电力大数据的支持，其中所涉及到的大数据、云计算等内容不仅关乎电网智能化的实现效果，同时也与电力行业的未来发展产生着密不可分的联系。电力大数据关键技术现已被广泛运用于电力生产领域中，针对关键技术的应用研究因而也成为人们日益关注的话题。由此，本文便从电力大数据的内涵出发，并结合智能电网关键技术间的关系对运用技术展开深入探讨，以期为各 位读者提供参考。 关键词：智能电网；电力大数据；关键技术电力大数据关键技术在智能电网中的应用有着巨大优势与广阔前景，该技术能够实现对信息数据的搜集、存储、处理，并为电力企业的管理提供真实可靠的参考依据。据此，针对电力大数据在智能电网中的应用方法分析，也便具有了较为深刻的现实意义。 一、电力大数据关键技术相关概述（一）电力大数据的内涵当前的电力大数据是在云计算与基础设备层上形成的数据平台，通过云计算服务访问层与应用软件的结合使用，从而为供电系统内部实现分层管理创造基础条件。电力大数据具有较好的通用性，因而绝大多数的电力企业也能够在大数据规划管理中获得较好的适用效果。当前的大数据规划主要是通过对分布式计算技术进行利用，保证数据查询、存储、处理等任务能够得到顺利完成。除此之外，提升智能化水平，将先进的智能设备运用到数据库构建与操作系统中，也成为拓展系统服务性能的可行手段。电力大数据平台的构建应当包括存储框架、调度框架、分析框架等部分，在调度框架内部序列化的传输工具、数据信息存储库、日志收集系统以及分布锁设备等也应加强注意。只有重视数据的组织与调度工作，让数据信息的准确性、效率性得到保证，才能为储存系统、访问系统等功能发挥创造前提条件。（二）大数据、云计算以及智能电网之间的联系智能电网同大数据、云计算有着不可分割的重要关联，智能电网可以将计算机技术、通讯技术、信息技术进行整合。加之原有输配电设施的协调配合，从而为提高电网安全性、效率性、经济性，缓解环境因素给供电带来的不利影响创造条件，继而打造出先进的新型电网。而大数据、云计算也是借助于网络技术的不断发展而形成的能够实现信息采集、监测、控制等功能的技术手段。其中，大数据的建立需要依托云计算功能的发挥，云计算的存储管理以及数据分析等强大的功能又能为大数据业务开辟更为便捷的路径，因而云计算也成为大数据得以实现的前提条件。总的来说，云计算、大数据与智能电网三者之间存在着相辅相成的关系，在各自发展的基础上又能促进其他技术性能的提升。 二、电力大数据技术在智能电网中的应用（一）集成管理技术 集成管理技术是对不同应用领域的系统数据进行集成的专项技术，使用该项技术能够使管理程序得到更好的运用。集成管理技术的运用原理指的是能够对来源不同、性质功能各异、格式特点不同的数据按照一定的逻辑书序进行存储管理，这些被存储在介质中的数据信息能够被赋予稳定性特征，并且通过数据的集合还能够对历史变化规律予以反映。以某工程为例，其以建成“一体化企业级信息集成平台”的目标，通过对电网数据保证，从而实现“一处录入，全网使用”，为保障信息真实、一致、完整夯实基础。涉及电力生产、服务的各个电力数据服务行业均会产生众多的环节数据，而包含能源基准参数、电能生产、运行监控和设备检修、用户资料、电力市场人才物资、协同办公、资本运作等等海量数据的集成，从而达到建立多源、异构、多维、多形式电力数据资源的任务。当这些集合数据能够面向主题，为系统运行提取出所需信息，那么集成管理技术则得到了发挥。通常在电力大数据集成管理中，所打造的数据信息共享平台往往更具备综合性、全面性的特点。而这些信息数据一方面能够为电力企业解决系统间因相互孤立而产生的集成难题，同时大数据所具有的多样性特点也能使数据清洗、数据过滤等技术也在管理过程中得到充分的发挥。总之，复杂的数据环境使得系统处理面临更大的挑战，而集成管理技术的运用，则可以对数据进行快速而准确的集成和抽取，并从中获取关键信息数据。接着通过数据关联的整合与统一结构下的数据集成，也使得数据源可靠性、准确性的提升能够有所保证。（二）信息分析技术 电力大数据中的信息数据分析是其中的一项关键性技术，大数据技术的应用能够将信号转变为数据，然后通过对此类信息的联想、综合、预测、评估等全面分析，便可以完成对信息的加工提炼，以此为智能电网的行动决策提供依据。从大数据的分析技术来看，分析技术是基于统计学与计算机科学的发展而建立起来的，所以实现大量的统计、分析、类比、归纳甚至是完成逻辑推理等任务，也成为智能电网运行中电力大数据技术的重要表现。在分析数据的过程中，通过找出关联数据，能够保证数据的支持度与可信度，再通过在庞大的信息资源库中建立信息样本，从而为智能电网运行实现准确程度更高、计算效率更快的分析带来便利。（三）信息处理技术 信息处理技术通常是指信息系统技术、数据库技术以及检索技术，智能电网中的电力大数据处理则囊括了内存计算、流处理、分布式计算等计算技术。其中内存计算指的是能够对数据信息进行快速的读取与处理，对数据计算的问题实时予以解决。流处理的计算技术主要可以不受计算速度与计算规模的控制，这种计算方式满足实时计算的需求。分布式计算则主要针对较大规模的存储问题所使用的处理方式，分布式具有高效迅速的特征。其作为新兴的数据计算方法，在对部分问题进行计算的过程中，能够将小部分问题分配给计算机进行处理，然后再将这些小部分问题的处理结构予以综合，最终形成结果。所以分布式的计算方法在面对较大规模的计算时，其运算性能也较为突出。对于需要以待处理的部分，分布式处理可以先对其展开分块，然后将这些所分部分再交由不同任务区域完成处理。接着将数据信息结果储存至本地硬盘，从而为电力企业之后的数据采集和数据分析提供依据。（四）安全防范相关技术
基于大数据的电力系统数据应用
基于大数据的电力系统数据应用 发表时间：2018-12-25T16:19:20.450Z 来源：《电力设备》2018年第23期作者：张新伯[导读] 摘要：电能与生产生活密切相关，电能的生产与传输需要经过电力系统发电、输电、变电等一系列复杂的过程完成，电力系统的生产、监控、测量、通信过程中产生了大量的数据，有效利用这些数据提高电力系统的安全可靠运行水平，是电力企业提高管理水平的重要途径。 （深圳供电局有限公司广东深圳 518000）摘要：电能与生产生活密切相关，电能的生产与传输需要经过电力系统发电、输电、变电等一系列复杂的过程完成，电力系统的生产、监控、测量、通信过程中产生了大量的数据，有效利用这些数据提高电力系统的安全可靠运行水平，是电力企业提高管理水平的重要途径。本文分析了电力自动化系统数据类型、电力系统数据应用现状及当前大数据的具体应用，提出了未来如何利用电力系统大数据来优化企业管理的策略，仅供参考。 关键词：电力大数据；电力系统数据处理；应用在当前我国电力行业的发展背景下，电力企业之间的市场竞争也变得越来越激烈。而单个电力企业要想在这种复杂的市场环境中取得优势，就必须要在发展过程中不断提高自身技术水平。如果能够将大数据技术充分应用到电力企业的各项业务中，就可以更好的处理企业业务发展中的各类数据，并对电力大数据信息进行必要的预测，真正的变革整个电力系统的管理模式。但就当前的实际现状来看，大数据技术在我国大部分电力企业中的应用水平都非常有限，并没有充分发挥其价值。之所以出现这种情况，就是因为一些电力企业没有明确大数据技术的应用前景，无法将大数据技术跟电力系统各项活动融合在一起。在这种情况下，就有必要分析大数据在电力系统中的具体应用现状和应用前景。 1大数据概述 大数据作为一种新型的数据信息处理技术，能够通过对大量数据信息的选择和分析，进行整理、计算等，筛选出其中蕴含的规律，进而选取有价值的数据信息。大数据具有数量大、范围广、数据类型复杂多样、内容丰富、数据的来源可靠、数据处理时效高等优势，近年来在各个行业得到了普及和推广。 2大数据在电力系统中应用的重要意义大数据技术在我国电力系统中具有多个方面的应用意义，能够促进我国电力系统的稳定高效发展。一方面，大数据技术的应用能够解决我国电力系统对于数据收集和处理的困难。特别是目前我国电力系统运作过程中涉及到的电力设备不断变多，而每一种电力设备的数据结构类型也比较复杂。使用大数据技术能够更有效的处理这些数据信息。另一方面，大数据技术的使用也可以显著提高我国电力系统的技术层次，引入数据挖掘等各项先进技术，提高电力企业的技术层次。 3大数据目前对于电网存在的问题 3.1现有营销系统数据以及对客户的深度分析不够 现有营销技术支撑系统仅仅作为业务支撑体系，用于基础数据收集、运行数据计算工具，仅局限于正常的营销业务的处理，仅仅能够生成一些功能单一的固定报表数据。一个月使用一次，很难将相互孤立的数据与用户用电特征、电力使用环境等因素进行分析与关联，数据使用率低，造成了对客户的价值分析能力不足。随着社会进步与营销相关业务的发展，无论是数据采集，还是电费计算，电网营销数据每年的增长速度较快，数据完整性有很大提高，在数据真实性与及时性方面也有一定提高，但是目前营销系统、信息采集与PMS、供电可靠性等其他系统的信息匹配方面依然存在问题，还有这部分的数据不一致，不准确，造成了营销系统的数据更新压力很大，难以成为多方数据的共享平台，内部无法为公司决策层提供数据支撑，更不要说对客户的用电分析，难以为客户的深度分析提供有力支撑。 3.2没有形成专业的协同运作 造成大量数据形成了信息孤岛，没有真正达到信息的纵向集成与横向联合，没有专门的运转部门进行绩效考核与实际可靠有效的合并机制，多年来一直单轨运行，数据更新不及时，工作平台不共享，造成重复工作很多，难免形成数据疏漏，经常出现系统运行一段时间后，需要大量时间进行数据重新梳理，没有形成日常化更新运作，人员变动频繁，交接疏漏时有发生。 3.3数据量大，可靠性低 电力自动化系统在运行过程中会产生大量的数据，而不同的数据代表不同的信息，电力自动化系统是由许多的子系统构成，各个子系统的数据库中储存着相关的数据信息，整个系统中的数据量非常庞大，数据交叉现象时有发生，繁多的数据信息会在一定程度上影响和制约这个系统的数据信息的分析处理和数据的更新，随着存储数据的增多，出现问题的几率也越来越大，降低了数据处理的安全性和准确性，对系统的数据库进行统一管理，保证系统数据的唯一性势在必行。 4大数据在电力自动化系统中的具体应用 4.1电网基础建设的自动化与智能化 在当前我国国民经济不断发展的背景下，我国各个城市地区的现代化建设程度也快速加深，社会各个行业和人们日常生活中对于电力的需求也出现了显著增加。在这种发展趋势下，我国各个地区的电网基础建设项目也逐渐增多。而如果能够将大数据技术融入到电网基础建设项目中，就能够显著提高项目建设过程中的数据储存困难和信息处理效率不高等问题。这主要是因为大数据技术的应用能够最大程度的收集电网基础建设项目中的各类现场信息，并使用自动对比等可行性较强的数据挖掘技术来对现场产生的各类信息进行全面的分析，最终实现建设项目的智能化管理和自动化处理。 4.2基于大数据的电网运行可视化监控 在整个输变电网络中有大量的设备、及检测点，通过传感器实时从各设备上采集设备运行指标及输变电的电压、电流、负载状态监测指标等，通过大数量的实时处理平台进行数据提取、加工及整合，再通过可视化大屏实时展示各设备及监测点的运行，对于设备及检测点数据的异常及时预警，及时处理。同时将设备的运行数据及检修数据进行整理分析形成知识库，以此知识库通过大数据处理技术及数据挖掘进行设备生命周期预测、设备异常问题检修处理方法推荐、设备检修周期以可能问题预测，以及对电力设备资产管理、设备运检管理、设备技术管理、技改大修管理等的大数据支撑。 4.3大数据在故障预测中的应用
电力大数据应用现状及多源异构数据分析技术研究
龙源期刊网 https://www.wendangku.net/doc/d817352429.html, 电力大数据应用现状及多源异构数据分析技术研究 作者：马平徐伟东沈浩钦吴杭 来源：《中国科技纵横》2014年第23期 【摘要】智能电网运行、检修和管理过程中会产生海量异构、多态数据，如何将它们进行高效可靠存储，并实现快速分析访问已是当前电力系统中重要的研宄课题。本文在分析电力生产各个环节大数据的产生来源和特点基础上，阐述市场已有大数据技术在电力系统应用的优势和不足。最后，从电网异构多源信息融合及可视化方向提出了一种应用方法。 【关键词】智能电网 ;大数据 ;异构分析 ;可视化 1 引言 近年来，随着全球能源问题日益严峻[1]，世界各国都开展了智能电网的研究工作。智能 电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网的基础是电网大数据全景实时数据采集、传输、存储以及快速分析。目前智能电网中的大数据主要来自以下几个方面： （1）海量电网状态信息采集设备。常规的调度自动化系统含数十万个采集点，配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大，每个设备都装有若干传感器，构成了一个庞大的数据网。 （2）高频电网状态信息捕获技术。为满足上层应用需求，设备的采样频率逐渐提高。在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，信号的采样频率必须在 200kHz以上，特高频检测需要GHz的采样率。 （3）视频及模式识别系统推广。智能电网视频监控系统不仅要求能够真实地反映电力系统的情况，并且还需自动判断情况的好与坏，同时自动采取相关措施，是一个“会思考”、“能做事”的智能化系统。为此，需要电网具备强大存储及处理能力。 2 现有大数据处理技术局限性 谷歌公司提出的分布式文件系统（distributed file system，DFS）和MapReduce技术，已成为现阶段Facebook、雅虎等网络公司大数据应用的解决方案[2]。 DFS技术，具备高容错性特点，可部署在海量且价格低廉的硬件设备上，而且它为应用程序提供了高吞吐量的数据访问，适合那些有着超大数据集程序。MapReduce为2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的并行编程模型。应用“解析器”，将复杂数
电力大数据下管理课程大纲
大数据电力系统管理课程大纲内容 第1章大数据简介 1.大数据产生的历史背景 2.大数据的定义 3.数据的内涵 4.数据价值链 5.大数据的4V特征 第2章大数据带来的思维变革 1.随机样本与全体数据 2.更杂：不是精确性，而是混杂性 3.不是因果关系，而是相关关系 第3章大数据时代的商业变革 1.数据化：一切皆可“量化” 2.数据创新 3.移动运营商与数据再利用 4.微软与谷歌的拼写检查 5.大数据决定企业竞争力 第4章电力大数据技术体系 1．电力大数据技术架构 2．电力大数据关键技术 3．数据集成管理技术 4．数据存储管理技术 5．高性能计算技术 6．分析挖掘技术 第5章电力大数据的应用场景 1．配电网低电压实时监测 2．配电设备负载估算及重过载预警 3．线损计算与分析 4．实际案例：基于大数据的短期负荷预测 5.客服语音记录数据辅助提升服务质量 6.视频及红外数据辅助电网输变电设备检修 7.案例：基于大数据技术的电气设备红外图像处理 第6章提升企业价值的电力大数据
1数据作为资产驱动公司运营 2量化企业决策，提升决策能力和决策效率2.1物资物料采购计划的定量分析 2.2战略指标关联分析与战略决策优化制订3基于数据的电力增值业务服务 4创新现有业务模式 4.1营业厅人流量统计与服务行为分析 4.2综合信息分析解决电能分配不均衡 5实现部门间的业务数据共享，促进业务融合 6. 精益思想与营业厅排班 7.大数据时代的线损分析 7.1线损预测 7.2查窃电 8综合利用外部数据，提升公司业务的能力8.1舆情监测与分析 8.2极端天气与自然灾害监测预警 8.3配网状态的全面监测与设备故障预警
大数据安防中的三种关键技术及五大挑战
大数据安防中的三种关键技术及五大挑战 1.大数据 在安防行业，随着前端设备分辨率的不断提高、安防系统建设规模的不断扩大以及视频、图片数据存储的时间越来越长，安防大数据问题日益凸显。如何有效对数据进行存储、共享以及应用变得愈加重要。要应用安防大数据，首先要了解安防大数据有何特点。 安防大数据涉及的类型比较多，主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库，如人口库、六合一系统信息等；半结构化数据如人脸建模数据、指纹记录等；而非结构化数据主要包括视频录像和图片记录，如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。区别于其他行业大数据特点，安防大数据以非结构化的视频和图片为主，如何对非结构化的数据进行分析、提取、挖掘及处理，对安防行业提出了更多挑战。 大数据 对于安防视频图像数据，传统的处理方式主要靠事后人工查阅来完成，效率极低。面对海量的安防数据，如果继续采用传统方式，不仅效率低下，而且不能达到实战应用目的，偏离了安防系统建设目的。为充分利用安防系统价值，提升对安防大数据的应用能力，大华股份(002236,股吧)从多层次、全方位考虑产品和方案规划，不断提升对于安防有效信息的快速挖掘能力。 要提升安防大数据的处理效率，首先要从智能分析做起，快速过滤无效信息。大华智能分析从多维度、多产品形态来实现。如对于事件检测、行为分析、异常情况报警等，大华前端、存储以及平台系统产品都能够快速实现智能检测，并通知系统对事件进行快速响应，这些产品从某种层面上将安防有效数据的分析分散化，大大加快了整个系统的大数据处理应用速度。此外，大华还推出了基于云存储系统的大数据应用系统，如视频编解码系统、车辆研判系统、以图搜图系统、视频浓缩摘要系统、人脸识别系统以及车型识别系统等等。 大数据安防应用的几种关键技术 1）大数据融合技术 经过十几年的发展，国内安防系统建设基本形成了是以平安城市、智能交通系统为主体，其他行业系统有效完善的发展态势。而“重建设、轻应用”的现况给安防应用提出了更高要求，如何解决这些问题成为当务之急。 为实现数据融合、数据共享，首先要解决存储“分散”问题，大华云存储系统不仅能够实现数据的有效融合与共享，解决系统在硬件设备故障条件下视频数据的正常存储和数据恢复问题，为安防大数据应用分析提供可靠基础。 2）大数据处理技术 安防大数据以半结构化和非结构化数据居多，要实现对安防大数据的分析和信息挖掘，首先要解决数据结构化问题。所谓的数据结构化就是通过某种方式将半结构化和非结构化数据转换为结构化数据。大华通过采用先进的云计算系统对安防非结构化数据进行结构化处
大数据在电力行业的应用
大数据在电力行业的应用 发表时间：2018-06-21T10:34:56.343Z 来源：《电力设备》2018年第4期作者：程诚1 马晶晶2 高青1 郭跃霞1 申小霜1 [导读] 摘要：近年来，随着互联网、云计算和移动的飞速发展，“大数据”一词也出现在人们的视野中。 （1.国网山西省电力公司长治供电公司山西长治 046011；2.山西机电职业技术学院山西长治 046011）摘要：近年来，随着互联网、云计算和移动的飞速发展，“大数据”一词也出现在人们的视野中。随着大数据时代的到来，它给各行各业带来了根本性的变化。电力电气行业也是如此。专家学者认为，大数据给电力行业带来的影响被低估了。本文讨论了大数据在电力工业中的应用。 关键词：大数据；电力行业；应用前言：随着我国的科学技术的进步，一些新的技术已经应用到了各个行业，为这些行业的发展提供了技术支持。大数据就是在当前应用较为广泛的一项技术，其中对我国的电力行业的发展进步起到了很大的推动性作用。 1什么是电力大数据 近些年来，由于全球能源问题日益严重，智能电网的研究工作已在世界范围内展开。智能电网的最终目标是建立覆盖电力系统整个生产过程的全景实时系统，包括发电、送电、变电、配电、用电灯许多环节。且支撑智能电网安全、自愈、绿色、可靠运行的基础是电网全景实时数据采集、传输以及存储，还有累积的海量数据分析。与智能电网建设的不断深化和发展，由电网操作的数据量和设备检测、监测是生成的数据呈指数级增加，逐渐成为大数据相关的信息科学领域，需要相应的存储和快速处理技术作为支持。电力工业的大数据是在电力生产和使用过程中产生的，伴随着发电、输电、变电、配电、用电等环节产生。 2大数据技术的基本特点分析在网络的时代，全球互联网巨头在大数据时代的重要意义是对大数据本身有几个重要的特点，是数据中的第一个大数据，从TB级跃升到PB级；在价值密度方面并不高，根据对视频内容展开分析就可以看出来，在连续的监控过程中而切实在数据中发挥作用的也就仅有一两秒时间；另外在数据类型方面比较繁多，其中对图片、视频和地理位置均在其范围内；最后是实时和快速处理的特性，满足与传统的数据挖掘不同一秒定律。在这几个特点方面将其归纳为四个v，也就是Value，Volume，Velocity，Variety。 3大数据和电力行业的关系分析电力工业是我国的基本能源设施。它与我们的生活有着非常密切的关系，也是我们国家发展的重要保证。在当前信息技术的快速发展中，电力企业和电力信息的决策和操作更大的电力信息化已成为重要力量突破传统的操作产生了新的增值服务，管理的模式也有新的发展，这一系列的变化数据中心将发挥作用，将获得更多数据中心功能，如数据分析和决策能力。最重要的数据和生产数据的管理在电力行业数据的范围更广泛，所以，电力行业在实际开发过程中一些数据背后的价值得到充分理解，在数据管理和数据挖掘等方面进一步加强，从而尽快实现大数据的战略发展，为电力行业的各个环节建设提供技术指导和更科学有效的解决方案。 4电力大数据的关键技术 4.1数据挖掘 电力大数据的分析和数据挖掘主要针对结构化和非结构化数据，可以有效地处理复杂的数据结构和海量数据。但目前电力行业数据大多是基于小数据集实行计算，这是因为当前大数据行业的主流大数据计算框架内尚未广泛应用于大数据领域，使用传统的方法大规模数据挖掘计算通常需要几天甚至几个月。这是人们在现实业务场景中不能接受的。它是一种具有小数据集的数据挖掘操作，其可靠性远低于基于海量数据的挖掘结果。这也是我们正在进行的研究和发展的重点。基于HadoppHDFS、HBASE的快速访问，基于Spark的分布式访问和分布式计算，基于R和Sparkmllib的统计、计算、分析，基于Mahout的机器学习，共同构建了基于大数据的高性能流计算的数据挖掘、统计、分析技术框架。 4.2实时计算 电力行业的实时计算在大数据应用领域具有不可忽视的地位。电力行业的实时数据往往代表着设备的运行参数、生产环境的指标、客户的实时需求等，而这些数据的价值在刚形成时是最大的。此外，在数据刚形成时，移动、计算和使用数据是最有意义的，这也符合数据应用程序的一般规则。所以，电力大数据不需注重实时计算场景的应用。在此阶段，基于传统数据量实现的实时计算框架在电力行业已经更加成熟。例如在电厂中，电厂的运行参数以秒和分钟的方式采集。数据收集完成后，将发送实时计算框架。在框架中，将收集的参数应用于数据挖掘和电力业务专家长期积累的业务规则建立的数据模型，从而实现设备故障检测、故障预警、设备状态评估等。在实时计算完成后，将计算结果和原始数据保存到数据库中进行后续数据挖掘，在实时计算过程中，挖掘出的规则、知识和数据模型也将被重用，形成一组自相似的完美体系。因此，电力行业的实时计算迫切需要分布式内存计算，解决了数据量增加时计算性能约束的瓶颈。 5大数据技术在电力行业的应用 5.1大数据对电力能源系统的影响 从新时代的发展来看，在能源、公用事业和其他重要行业出现之前，大数据不能被低估，但现在大数据的到来将对我们的业务产生有效的影响。采矿、大数据的访问和有效应用，可以促进智能电网的发展和转型，和分布式可再生能源资源，大数据将有助于实现预测和调度，并提高了电力行业的发电效率，在大量的行业管理和操作帮助分析客户需求，改变客户端模型行业和用户提供便利和节能。在2006年国际商业机器公司就已经提出了关于智能电网的概念，且就此基础上引入了“信息流”的概念，他们认为应该将电能流和信息流良好的融合在一起，才有可能实现传输能源和采集数据同时进行的业务目的。而电网互联系统是安全运行的客观发展，因此重视技术，研究智能电网的发展是一个不容忽视的问题，为了保证大规模电网技术研究的稳定运行，必须考虑配电网络和微网技术在电力系统中的共享技术。 5.2大数据实现电力企业一体化 目前，利用信息技术来促进企业的发展的电力行业很受欢迎，许多企业为了迎合“十八大”提出了“推动信息化和工业化深度融合”概念，积极提高自己的经营理念和经营方式，这意味着每个企业逐渐在电力行业的整合发展，虽然他们计划集成平台，从本质上说，是大数据背景下的数据挖掘、数据采集、数据分析和数据集成。这些数据系统框架、集成方法或应用技术都是推动电力企业发展的重要问题，也是实现良好发展和实现一体化的关键。 5.3数据挖掘技术的应用