智能电网大数据平台及其关键技术研究资料

智能电网大数据平台及其关键技术研究

智能电网是大数据的重要技术应用领域之一。智能电网大数据结构复杂、种类繁多，具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。智能电网大数据平台是大数据挖掘的基础，通过智能电网大数据平台可实现智能电网全数据共享，为业务应用开发和运行提供支撑。

引言

智能电网是以物理电网为基础，将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网，见图1。它涵盖发电、输电、变电、配电、用电和调度等各个环节，对电力市场中各利益方的需求和功能进行协调，在保证系统各部分高效运行、降低运营成本和环境影响的同时，尽可能提高系统的可靠性、自愈性和稳定性。随着智能电网的发展，电网在电力系统运行、设备状态监测、用电信息采集、营销业务系统等各个方面产生和沉淀了大量数据，充分挖掘这些数据的价值具有重要的意义。

图1 智能电网示意图

大数据是近年来受到广泛关注的新概念，一般是指无法在可容忍的时间内用传统的IT技术、软硬件工具和数学分析方法，对其进行感知、获取、管理、处理和分析的数据集合。智能电网被看作是大数据应用的重要技术领域之一。目前许多学者正在进行智能电网大数据研究，包括发展战略研究、大数据技术研究、应用研究等。

智能电网大数据应用众多，涉及电网安全稳定运行、节能经济调度、供电可靠性、经济社会发展分析等诸多方面，进行智能电网大数据分析需要统一智能电网大数据，并且由于应用众多，对计算、存储、网络等性能提出了较高要求，因此需要构建面向智能电网应用的统一大数据处理平台。本文首先分析智能电网大数据特点以及业务应用需求，接着结合业务应用介绍大数据关键技术，进而提出智能电网大数据平台和应用框架。

1智能电网大数据概述

1.1智能电网大数据特点

根据数据来源的不同，可以将智能电网大数据分为电力企业内部数据和电力企业外部数据。电力企业内部数据源主要包括广域量测系统(WAMS)、数据采集与监控系统(SCADA)、在线监测系统、用电信息采集系统、生产管理系统、能量管理系统、配电管理系统、客户服务系统、财务管理系统等;电力企业外部数据源包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据分散放置在不同地方，由不同单位/部门管理，具有分散放置、分布管理的特性。

智能电网大数据结构复杂、种类繁多，除传统的结构化数据外，还包含大量的半结构化、非结构化数据，如客户服务中心信息系统的语音数据，设备在线监测系统中的视频数据与图像数据等。这些数据的采样频率与生命周期也各不同，从微秒级、分钟级、小时级，一直到年度级，见图2。

图2 智能电网数据采用频率和生命周期

1.2大数据业务需求分析

智能电网大数据业务应用根据对象不同可分为面向电力公司运行管理、面向电力用户服务、面向政府部门辅助决策等3类。面向电力公司运行管理类应用包括电力系统稳定性分析与控制、输变电设备故障诊断与状态检修、配电网运行状

态评估与预警、配电网故障定位、负荷预测、城市电网规划等;面向电力用户服务类应用包括用户用电行为分析、需求侧管理、能效分析、供电服务舆情分析等;面向政府部门辅助决策类应用包括社会经济状况分析与预测、政府决策支持与相关政策评估，如电价政策、新能源补贴政策等是否合理等。这些需求需要综合电网运行状态信息、用户用电信息、客服系统信息、气象数据、经济社会数据和互联网数据等。

2智能电网大数据关键技术

根据信息处理流程，大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用6个环节，其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。

2.1数据集成技术

智能电网大数据具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据，首先就需要对众多数据源的数据进行集成，通过数据抽取、转换、剔除、修正等处理，建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。

ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load，即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能，各个 ETL工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统，这些系统类型和特征复杂，在实时性要求、数据规模、数据类型等方面存在较大的差异，在智能电网大数据集成中需要综合考虑各种因素，在集成技术上单一技术可能很难实现，需要结合多种技术来实现智能电网大数据的集成。

2.2数据存储技术

在智能电网大数据中，绝大多数数据为结构化数据，同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式数据库，对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。

2.2.1 分布式文件系统

分布式文件系统适合存储海量的非结构化数据，将数据存储在物理上分散的多个存储节点上，对这些节点的资源进行统一管理和分配，并向用户提供文件系统访问接口，主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。

Hadoop 是大数据的一个解决方案，可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed )是一个分布式文件系统，它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块，存储在多个数据节点组成的分布式集群中，当数据规模增加时，只需要在集群中增加更多的数据节点，具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本，具有高容错性;由于数据是分布存储的，具有高吞吐量的数据访问能力。

2.2.2 分布式数据库

大数据环境下对数据的存储、管理、查询和分析需要采用新的技术，传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性，在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它不同于一般的有模式的关系型数据库，HBase存储的数据表是无模式的，特别适合结构复杂多样的半结构化数据存储。HBase利用 HDFS作为其文件存储系统，可利用Map-Reduce技术来处理HBase中的海量数据。

2.2.3 关系型数据库系统

智能电网中很大一部分数据是结构化数据，针对一些数据和业务应用，传统关系型数据库可能更适合，因此在大数据环境下，传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库，开展智能电网业务的分析挖掘。

智能电网大数据结构复杂、种类繁多，其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能，从整体上对存储在不同系统上的数据进行统一管理，并提供数据索引和查询功能。综合以上分析，数据存储对比见表1。

2.3数据处理技术

智能电网大数据的应用类型多，需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求，大数据处理技术分流处理、批处理、内存计算、图计算等。

2.3.1 流处理

流处理的处理模式将数据视为流，源源不断的数据组成了数据流，当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点，因此通常不会对所有的数据进行永久化存储，而且数据环境处在不断的变化之中，系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有 Twitter Storm和Yahoo S4。

Storm是分布式实时计算系统，主要用于流数据处理，可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息，处理之后将结果写入到某个存储中去。Storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以 Storm的速度较快。Storm弥补了Hadoop批处理所不能满足的实时要求，经常用于实时分析、在线机器学习、持续计算、分布式远程调用和ETL 等领域。

2.3.2 批处理

Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map- Reduce是一个使用简易的软件框架，用于大规模数据集的并行运算，主要用来

进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上，并以一种可靠容错的并行处理大规模数据集。Map-Reduce 的核心思想是将问题分而治之，并把计算推到数据所在的服务器，有效地避免数据传输过程中产生的大量通信开销。

Map-Reduce的优点主要有2个方面：①不仅能用于处理大规模数据，而且能将很多繁琐的细节隐藏起来，如自动并行化、负荷均衡和灾备管理等，这将极大简化开发工作;②伸缩性非常好，集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求，只能进行大规模离线数据分析。

2.3.3 内存计算

随着内存价格的不断下降，服务器配置的内存容量不断增大，用内存计算来完成大规模数据处理成为可能。与 Hadoop Map-Reduce批处理相比，内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法，它可以和各种不同的计算模式相结合，包括批处理、流处理、图计算等。比如Spark 是分布式内存计算的一个典型并行计算框架，Spark基于Map-Reduce算法实现的分布式计算，拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce 的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark 具有更好的性能，适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。

智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式，针对电网安全在线分析、电网运行监控等业务，数据实时性要求高、需要作出迅速响应，可以采用流处理内存计算;而对于用户用电行为分析等业务，实时性和响应时间要求低，可以采用批处理方式。综合以上分析，数据处理方式对比见表2。

2.4数据分析技术

数据分析是智能电网大数据处理的核心，由于大数据的海量、复杂多样、变化快等特性，大数据环境下的传统小数据分析算法很多已不再适用，需要采用新的数据分析方法或对现有数据分析方法进行改进。

数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等，其中每一类包括众多的算法。分类包括支持向量机、决策树、贝叶斯、神经网络等技术;关联分析包括Apriori、FP-growth等算法;聚类分析分为划分法、层次法、密度法、图论法、模型法等，具体算法如k-means 算法、K-MEDOIDS算法、Clara 算法、Clarans算法、SOM神经网络、FCM聚类算法等;异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进，实现分布式处理。

机器学习是面向任务解决的基于经验提炼模型实现最优解设计的计算机程序，通过经验学习规律，一般应用在缺少理论模型指导但存在经验观测的领域中。机器学习分为归纳学习、分析学习、类比学习、遗传算法、联接学习、增强学习等。深度学习是机器学习研究中的一个新的领域，2006年由Hinton等提出，其目的在于建立模拟人脑进行分析学习的神经网络，目前深度学习在语音识别、图像识别、机器翻译等领域进行了应用，并取得了较好的效果。

智能电网大数据挖掘主要为结构化数据，同时也存在文本、图像、音频、视频等数据，在智能电网大数据应用中需要针对具体的业务采用合适的数据分析方法。

3智能电网大数据平台

3.1核心平台框架

智能电网大数据应用需要构建在大数据平台之上，大数据平台为应用提供统一数据接入、清洗、存储、管理、分析计算等功能。大数据核心平台由基础资源、数据存储、数据分析与处理、数据管理、平台服务和平台管控等组成，见图3。

图3 智能电网大数据核心平台框架图

基础资源层主要包括计算资源池、存储资源池、网络资源池，为虚拟化的资源，能够实现弹性的资源供给和扩展。基于存储资源池实现大数据平台的各种数据存储功能，包括分布式文件系统、分布式数据库、传统数据库和数据仓库。数据管理实现大数据平台的接入管理、数据清洗、数据统一建模、数据检索、数据服务等功能。数据分析与处理是大数据平台的核心，大数据平台根据具体业务需求能够提供批处理、流处理等功能，同时平台能够提供通用的数据分析算法包或工具，包括数据挖掘、统计分析、机器学习等。平台管控包括资源调度、集群管控、安全管控、用户管理等，实现对平台的监控、调度和管理。

3.2应用框架

结合智能电网的应用需求，在大数据核心平台之上构建各类大数据应用。面向智能电网大数据的应用框架见图4。应用整体框架分数据集成与交互层、大数据核心平台层、应用层。

图4 智能电网大数据应用框架

4结语

1)智能电网大数据数据量大、类型多样、数据特征复杂，同时业务应用需求场景多，且存在交叉融合，对现有数据处理方式和平台提出了很高的要求，需要采用新的大数据处理技术来支撑。

2)智能电网大数据关键技术包括数据集成、数据存储、数据处理、数据分析等技术，需要结合具体业务的特点和需求选择相应的技术。

3)智能电网大数据平台需要构建统一数据模型来实现智能电网各类数据的融合和共享，基于全数据进行业务的开发和应用，智能电网大数据平台具有数据共享、应用开发和业务运行3方面功能。

4)随着智能电网的发展，数据将成为核心资源，大数据平台将承载智能电网众多各类型应用，其基础作用将越来越重要。

原标题:智能电网大数据平台及其关键技术研究

智能电网 大数据

智能电网和大数据 1 智能电网 智能电网(smart power grids)，就是电网的智能化，也被称为“电网2.0”，它是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用，实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，其主要特征包括自愈、激励和包括用户、抵御攻击、提供满足21世纪用户需求的电育濒量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。 在现代电网的发展过程中，各国结合其电力工业发展的具体清况，通过不同领域的研究和实践，形成了各自的发展方向和技术路线，也反映出各国对未来电网发展模式的不同理解。近年来，随着各种先进技术在电网中的广泛应用，智能化已经成为电网发展的必然趋势，发展智能电网已在世界范围内形成共识。 从技术发展和应用的角度看，世界各国、各领域的专家、学者普遍认同以下观点:智能电网是将先进的传感测量技术、信息通信技术、分析决策技术、自动控制技术和能源电力技术相结合，并与电网基础设施高度集成而形成的新型现代化电网。 2 智能电网的发展 2.1 美国 2.1.1 电网2030规划 2003年2月，美国时任总统布什提出“电网2030规划”，指出要建设现代化电力系统，以确保经济安全，同时促进电力系统自身的安全运行。该规划的主要内容有:为所有用户提供高度安全、可靠、数字化的供电服务，在全国实现成本合理、生产过程无污染、低碳排放的供电，经济实用的储能设备，建成超导材料的骨干网架。为有效促进智能电网建设，美国于2007年12月颁布“能源独立与安全法案2007"，确立了国家层面的电网现代化政策，设立新的专责联邦委员会，并界定其职责与作用，建立问责机制，同时建立激励机制，促进股东投资。 2.1.3 奥巴马政府施政计划 美国总统奥巴马为振兴经济，从节能减排、降低污染角度提出绿色能源环境

电力大数据关键技术下的智能电网应用研究

电力大数据关键技术下的智能电网应用研究 发表时间：2017-07-17T10:01:23.700Z 来源：《电力设备》2017年第8期作者：刘延博眭冰[导读] 摘要：本文简单概述了电网大数据的基本特点，同时阐述了智能电网、大数据以及云计算的关系，最后总结了大数据智能电网的关键技术，旨在促进智能电网的发展，为社会提供更高效的电力服务。 (国网辽宁省电力有限公司辽宁省沈阳市 110000) 摘要：本文简单概述了电网大数据的基本特点，同时阐述了智能电网、大数据以及云计算的关系，最后总结了大数据智能电网的关键技术，旨在促进智能电网的发展，为社会提供更高效的电力服务。 关键词：电力大数据；关键技术；智能电网；应用研究 一、智能电网大数据概述 （一）智能电网信息数据来源 智能电网系统在运行中的数据主要包括电力企业内部数据和外部数据。内部数据的主要来源是系统对电力信息的采集、分析、管理以及客服中产生，外部数据则主要是在地理信息系统或气象系统，以及互联网中产生，由于数据庞大且分布不集中，各个系统对数据的管理手段也有所差异。 （二）智能电网平台的构成 由于社会的学习、工作和生活对电力的需求越来越大，传统的电网系统无法满足日益增长的需要，智能电网也应运而生。智能电网借助计算机网络技术来进行数据信息的收集、分析、管理等功能，实现电力的科学化管理工作。当前比较成功的智能电网大数据平台有Hadoop服务平台系统和基于分布式文件技术的平台，能够实现海量数据的搜集和存储，提高了电网的工作效率，同时也推动了电力行业的有效发展。 （三）智能电网大数据特征 智能电网大数据的主要特征是信息庞大、分散、多样性。信息数据的来源一般比较分散，信息采样的周期和频率各不相同，也就造成了非结构或半结构数据的比例越来越大，例如，在客服中的语音数据、监控视频或图像等都属于非结构化的数据信息。 二、智能电网、大数据以及云计算三者的关系 （一）智能电网和大数据的关系 智能电网技术就是输配电技术与计算机技术、网络技术和通信技术有效结合的新电网系统，具有高效、安全、科学、低损耗和低污染的传输能力。智能电网的主要目的就是通过传统输配电技术与科学技术有效结合，不断提高电力的传输效率，不断优化输配电系统，减少电力的损耗，实现高效的数据信息交流和共享，满足不同状态下的电力数据信息的收集、分析和存储等功能，使电网系统更加科学化、智能化。也就是说，职能电网就是大数据在电力行业的实际应用。 （二）云计算与大数据的关系 云计算的理念就是利用网络技术实现各个平台之间数据信息的按需共享和交流。我们可以简单地认为云计算是大数据的基础，利用云计算技术来实现大数据的收集、分析和存储，但是相对应的，大数据又为云计算技术寻找到更多的应用平台，使得云计算有发挥的空间。但是，二者关注的重点又有所差异，云计算的重点工作是进行数据计算，而大数据的工作重心是信息数据的分析。智能电网、大数据和云计算三者之间有一定的联系，具体关系如下图所示： 三、智能电网大数据关键技术分析 （一）集成管理技术 智能电网大数据的集成管理技术是将多个系统中的数据整合，具有多功能的数据管理技术。多源异构的管理模式就是指数据来源、数据结构、数据格式以及特点存在差异，但是能够将这些数据进行统一存储，这样的数据集合具有集成、稳定、反应系统变化的功能，实现更安全的数据共享和交流。电力行业的集成管理技术主要有数据抽取技术、过滤技术、剔除技术、融合技术。这种管理技术能够满足不同的电力环境下的数据管理，对多样化、复杂化的数据进行分析。当前已有的管理技术已经能够实现关系型数据的去杂化，将管理数据化繁为简，实现更加灵活的数据管理，例如当前的NoSQL数据库技术。

智能电网大数据技术发展研究

智能电网大数据技术发展研究 随着我国科学技术的迅猛发展，智能电网大数据逐步成为了我国电力发展的重要技术。智能电网的发展不仅仅是最新科学技术的研究成果，更是当前电力行业的主要发展趋势。在电力领域使用智能电网大数据技术，除了能够提高其在我国的电力行业影响力之外，还对电力行业的可持续发展起到了巨大的推动作用。不仅如此，我国在智能电网大数据方面的研究上，已经取得了非常显著的成果。这就预示着我国在电力行业的已经取得了极大的进步。 标签：智能电网;大数据;技术 1电力大数据 1.1电力大数据内涵 电力大数据指的是智能电网在电力生产、电力传输、电力消费等各个环节所产生的不同类型的数据，是电力系统运行中信息的高度融合。电力大数据的表达方式很多，除了一般的数字、符号外，还可以通过图片、视频等媒体形式展现出来。 1.2电力大数据与智能电网之间的联系 当下随着我国智能电网技术高速发展，也加强了对信息通信技术以及电子技术等应用，促进了信息间的交互。智能电网可以将客户的用电信息进行详细的收集起来，通过对电量的耗损情况进行分析从而获取相应的电力大数据，运用现代数据分析处理技术分析获得的数据，并提取出有效的信息。这些信息可以帮助运行人员对不同区域的电网展开宏观调控，以更好的满足各个地区的用电需要。但就目前来看，我国电网大数据的发展还存在一定的不足，大数据平台构建还需进一步完善，这样才能更好的促进智能电网的发展，保证大数据分析技术的有效利用。 2智能电网领域中大数据技术的应用 2.1智能电网大数据挖掘与采集技术 在智能电网的管理工作当中，数据内容上和传统的电网建设工作相比，数据更加庞大和复杂，同时在运行安全以及管理等工作当中都存在明显的差异。智能电网在工作过程当中，会受到其他数据的干扰和影响，因此在数据的管理和控制工作当中，运用大数据收集和挖掘技术可以大大提高智能电网数据处理的有效性，这也是当前大数据处理技术当中重要的工作内容。在大数据处理工作当中，通过大数据的挖掘和信息采集技术，主要表现为以下几个方面的特性：第一，在全面的数据挖掘工作当中，智能化管理工作所涉及到的管理数据，不但集中在电网企业和一些重点的变电设备当中，同时也直接表现在一些和电网相关的电力用

大数据技术在智能电网中的应用研究

大数据技术在智能电网中的应用研究 发表时间：2019-07-05T12:29:35.697Z 来源：《电力设备》2019年第4期作者：张瑜 [导读] 摘要：大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用，它取代了传统的数据处理技术，使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。 （内蒙古电力（集团）有限责任公司信息通信中心内蒙古呼和浩特 010010） 摘要：大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用，它取代了传统的数据处理技术，使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。大量的数据给智能电网建设带来了机遇与挑战，电力企业在发展中要顺应这一时代潮流，积极的实现管理工作的信息化，促进电力企业在电网管理方面工作质量的提升，保证社会生产活动的有效进行。 关键词：大数据；智能电网；应用；高效 引言 在整个智能电网系统中都有大数据的应用，电网运用及设备、数据的检测、企业营销数据、企业管理数据等是智能电网系统应用的表现。随着社会经济的不断进步，电网规模也随之扩大。逐渐提升接受、处理数据量在输电线路中的状态。因此，需要更加专业的技术人员进行数据处理以及设备维护，同时增强处理输电线路中大数据的力度，着力剖析输电线路系统的检测性能，逐渐顺应智能电网发展的需求。 1大数据技术在智能电网中的应用存在的问题 1.1 电力系统本身的发展情况制约 它是一个规模宏大、牵连甚广的传统行业，在引入新技术、新理念的过程中必然经历较长时期的磨合和研发，现有的电力信息系统要想适应大数据技术就要做到从上至下全面的技术匹配，这显然是一个庞大的工程；另一方面是大数据技术的发展并不成熟，它的理论架构和应用案例都还处于探索和研发的阶段，由于规模的原因，大数据平台往往意味着巨大的建设投资，给建设主体部门带来了巨大的投资风险。 1.2 数据收集和处理障碍 智能电网大数据平台的建设在数据获取上也存在着很大的障碍，不仅有硬件技术上的不足，而且各部门之间的沟通不足和独立运行也和大数据技术的集中管理存在一定的共享矛盾。但也不是意味着全面的开放信息共享就是好的方法，相反，如果这样做的话，我们必须充分考虑到数据的安全问题，如何设定适用范围，如何注重隐私保护，如何合法合规地公开使用，这是智能电网大数据发展中必须考虑的问题。各个部门之间的信息传递较为缓慢，尤其是各个部门在工作中所形成的独立信息库，因为技术和资金的双重制约，使得大数据时代下的信息共享难以实现。虽然现在的信息处理和数据挖掘技术已经非常的完善，但是因为很多信息属于半结构和非结构数据，这些数据如果不纳入大数据库中，就会使得数据库中的样本数据较少，但是如果放入数据库中，就会因为不能够迅速的转化为多维数据表，出现数据无效的现象，其中图像就是这一数据类型的典型代表。 2 大数据的关键技术 大数据技术在智能电网中运用的关键技术就是数据融合技术，在现在的国家电网中，无论是输配电的使用信息，还是用户用电的具体信息，都会因为办公的计算机化，使得这些信息能够被收入到大数据的信息库中，使用数据挖掘以及数据处理处理技术，就能够很快的将这些技术进行完成，最大限度的推进电网正常运转。同时，由于大数据技术在使用中存在着多维度的特性，所以为了强化这一数据分析的能力，保证数据分析所产生的结果，能够给大数据的使用带来便利，就需要从三个维度去对电力舍不得当前状态进行分析。大量的实践数据表明，这三个维度在电力设备是否能够正常工作的判定条件，分别为关键参量、气象、地理位置。但是这三个维度的信息在来源和储存方式都不尽相同，所以在进行数据分析工作时，需要将这些数据按照一定的逻辑进行储存，保证后续进行的数据分析工作能够有效进行。 3 智能电网大数据技术的发展措施 3.1 大数据传输和存储技术 电力系统、智能电网发展变革的趋势中，记录具体的数据运行和设备状态，可以发现大量的数据存储问题，在监控装置中具有较大的压力，因此，电力系统智能化的发挥受到一定限制。增强网络数据传输的关注量，就是有效利用数据压缩来实现。依据数据存储的具体情况，利用分布式的文件系统完成存储工作是智能电网数据运行的方式，针对大数据进行存储，不能很好的提升电力系统的实时性。所以需要根据大数据的性能、分析要求，具体分类对其进行存储，针对实时数据的要求，运用数据库系统进行相关工作。采用传统的方式进行数据存储，这是核心业务数据的处理方式，数量较大的非结构化数据，主要采用分布式的文件系统。 电网检测数据的实时性在国内的云平台还不能得到有效的保障，所以，设置出前置机在数据接入和信息集成前段，将报警信息以及检修数据实时接受，在不能准确回应的时候，电网检测将取代云平台的作用，其负责暂时存储数据。比较智能电网格式和传统商业数据的关系，二者区别明显，都有自身的特征，能够产生较大的生成速度在检测故障以及输变电设备的过程中。当前有效提升后续数据分析和计算的方式就是着力研究智能电网存储格式的细节技术。 3.2 实时数据的处理技术 随着社会大众提升关注数据库内存的关注度，相关技术人员更加重视数据内存技术的提升，将研发重点放在内存中。相比较内存的数据以及磁盘，区别就是速度比较快。可以提高应用的性能，依据目前电力系统的发展现状，运用内存数据库的形式比较广泛，能够有效提升数据的实时性。智能电网会整合以及集成各个环节和用户的数据信息，从而分析各地的电能消费状况，及时采取整改措施。状态监测具有相对严格的要求，在数据存储以及处理平台方面。运用云计算技术，能够处理大数据，但是能够进一步提升监测数据存取性的是云平台，同时满足实时性的具体要求。如果新型绿色能源发电功率不稳定，就会影响电网的正常工作，这对于电网调度来说是不小的压力。根据目前国家电网调度以及控制模型的分析，不可预测性是小型发电系统的特征，因此，需要创建新型的电网状态监控系统，详细跟踪电网的实时状态。 3.3 面向电力用户服务的需求 电力用户是用电的消费者，具有主体的地位，随着当前经济社会的不断发展，用电用户对于电力的需求呈现出更高水平的发展趋势，通过技术的不断创新和发展，能够有效的满足于电力用户的服务需求，并为之提供更加优质的供电服务，这也是电力行业向服务型行业转

智能电网大数据的核心技术

智能电网大数据的核心技术 发表时间：2017-11-16T20:34:47.230Z 来源：《电力设备》2017年第20期作者：王辉 [导读] 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。 （国网江苏省电力公司检修分公司南通分部江苏） 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。智能电网在建设过程中，最为主要应用领域为大数据。 关键词：智能电网；大数据技术；研究 引言 智能电网在建设过程中，实际上就是将先进科学技术应用到电网体系内，进而有效满足电力市场发展实际需求。智能电网所应用的技术主要分为三种，分别为控制技术、计算机技术、信息通信技术，可以有效对电力市场有关利益方之间的矛盾，最大程度提高电力系统运行效率及质量，有效降低电力企业运营成本，降低电力系统对生态环境所造成的不良影响。特别是智能电网内应用大数据技术，已经成为电力系统发展建设必然趋势。所以，有关人员正在积极对智能电网采取针对性手段，对智能电网大数据应用情况进行完善，有效提升电力系统稳定性，为人们提供更加优质服务。 1电网大数据概述 智能电网大数据主要表示电力信息化建设过程中，借助电力实时检测系统、智能变电站及智能电表等数据类别，推动电网智能化发展建设。电网建设规模在逐渐增加过程中，智能电网大数据主要可以分为两种类别，分别为外部大数据与内部大数据。智能电网大数据主要具有三个显著特征，分别为大规模、高速性及多样性。 智能电网大规模主要表示电网在运营过程中，所产生的数据数量不断增加。在这种情况下，电网负荷也显著提升；高速性主要表示智能电网在实际运行过程中，容易受到外部环境因素影响，智能电网可以对不良影响进行高速反应。主要原因是由于电网所产生的负荷运动较为随机，电网运行在出现问题情况下，为了能够保证电网可以稳定高效运行，智能电网可以在最短时间内对电网负荷运动进行处理；多样性主要表示智能电网所产生的数据类别较多，不仅仅包含智能电网所产生的数据，同样还包含网外所产生的数据。 简而言之，智能电网大数据所具有的特征主要为：智能电网所产生的数据全部为分布式管理数据源，产生大量数据信息，数据包含多个维度，类别也较多，在实际应用过程中，可以为用户及经济带来较大经济价值。智能电网所产生的数据积累数量在不断增加过程中，数据来源也开始越加广泛，数据类别也逐渐增加，数据结构越加繁琐。在这种情况下，研究人员需要对大数据技术进行深入分析研究，我国主要对大数据核心技术进行分析。 2智能电网大数据的核心技术 2.1数据存储技术 （1）分布式存储技术。分布式存储技术是指利用网络共享每一台计算机上的磁盘空间，从而将所有分散的存储资源整合成为一个虚拟的存储设备，最终实现数据分散进行存储的技术。 （2）非关系型数据存储技术。其没有固定的表结构，一般也不需要连接操作。因此，针对大数据的存取，该技术具有传统的关系型数据库技术所不具备的优异性能。 （3）内存存储技术。内存数据库是一种直接把数据存放在内存中，从而实现快速存储、读取操作的数据库。内存进行存储、读取操作的速度要大幅提升，因此将数据存储在内存中能够显著地增强数据库的性能。内存数据库不再使用传统的磁盘数据管理的方法，而是运用新的体系结构从而实现在内存中存储全部数据，同时改善了并行操作、数据缓存以及快速算法等内容，因此数据的处理速度要比传统数据库快10倍之多。 2.2数据管理技术 数据管理技术是指将来自不同数据源的、具有不同结构(结构化、半结构化、非结构化)的大数据进行收集、整理、清洗、转换以后加载到一个新的数据源之中，从而对这些数据源实行集中管理、对外部访问提供统一服务的数据集成技术。由于智能电网大数据具有多样性的特征，因此对智能电网大数据进行分析和处理之前，首先需要对数据源的数据进行清洗和过滤以确保数据的质量以及可靠性；然后将清洗和过滤之后的数据通过抽取和集成以便获得实体和关系；最后再对数据实施关联和聚合并且采用统一的数据结构进行存储。 2.3数据分析技术 数据分析技术是指从海量的数据中自动搜索出隐藏于其中有着特殊关系性(模态与规律)的信息，从而为决策人员提供决策支持的技术。与其他行业相比，电力行业对于电力系统的安全、持续、稳定运行以及电力发输变配用的实时性等要求更加严格，因此智能电网大数据对数据处理和分析结果的精确度要求也更高。而传统的数据挖掘技术面对智能电网中高速增长的、海量的、半结构化和非结构化的大数据已经很难适用，因此需要拓展新的面向海量数据进行挖掘的智能电网大数据分析技术。智能电网大数据的数据分析技术包括：模式识别技术、图像处理技术和机器学习技术等核心技术，具体有智能电网安全在线分析技术、间歇性电源发电预测技术、设施线路运行状态分析技术等。 （1）模式识别。模式识别是指处理和分析用以表征事物或现象的多种形式的信息(数值、文字、逻辑关系等)，从而实现对事物或现象进行描述、识别、分类以及解释、说明的一种技术，它是信息科学和人工智能科学的必不可少的组成部分。 （2）图像处理。图像处理是运用计算机开展图像分析，从而获得所需结果的一种技术。 （3）机器学习。机器学习是指专门研究如何让计算机能够模仿或实现人类的学习行为，进而有效地获取新知识或新技能，以便重新组织已经存在的知识框架以持续提升计算机性能的一种技术。 2.4数据处理技术 （1）实时计算。实时计算是指根据计算需求从海量数据中实时进行排重、排名、汇总等运算，并为用户提供实时响应，主要针对海量数据且无法预算的情况。 （2）批量计算。批量计算是指针对静态海量数据的批量处理，即当开始计算之前数据应准备到位，重点用于数据挖掘和验证业务模型。

智能电网大数据技术发展研究 张格琳

智能电网大数据技术发展研究张格琳 发表时间：2018-08-20T11:03:03.030Z 来源：《电力设备》2018年第15期作者：张格琳程思远程芬任国卉 [导读] 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。 （国网山西省电力公司运城供电公司山西运城 044000） 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。本文就针对智能电网大数据技术的概念及技术发展进行深入的探讨。 关键词：智能电网；大数据；技术；发展 计算机信息技术的发展将人类带入了数据社会，带动了互联网、物联网、智能电网、新能源、智能城市、网络金融等现代服务业发展，数据的充分利用和挖掘正成为各行各业运营和发展的引擎。但这个引擎正面临着数据量大而复杂等巨大的挑战。各种业务数据正以几何级数的形式爆发，其格式、收集、储存、检索、分析、应用等中存在诸多问题，不再能以传统的信息处理技术加以解决。数据的格式也由传统的结构化数据转化为非结构化数据，数据处理的实时效应要求也更高。大数据技术经过几年的发展，已经形成了一个完整的生态技术圈，包括海量数据的的存储及分析技术。 1、智能电网中大数据与云计算的基本概念 大数据是指海量、异构、多态的数据集合，不但包括传统的符号、数字等结构化数据，也包括图像、声音、手写字体等非结构化数据。但不是数据多就能够称为大数据，必须要同时满足体量巨大、类型多样、价值密度低以及处理速度快这四个特点，才能够被称为大数据。在电力行业内，电网运行的情况及日常的监测数据等、电力企业的营销数据，以及企业的管理数据信息等可以被称为是大数据。随着智能电网的不断发展，这些数据都在以指数级的速度增长。智能电网中的数据以传统的关系型数据库中存储的结构化数据为主，包括业务数据、表单数据等。而非结构化数据主要是视频监控数据以及一些图像数据等。随着电力行业的发展和自身的特点，智能电网中的非结构化数据的比重越来越重，但分析和处理的难度却较大。另外，电力行业数据还在气象预测、能源分析等行业中有着应用意义，对智能电网的大数据分析就显得格外重要。最后，在智能电网的调动工作中，业务管理数据要求是实时数据，对实时数据的处理难度更大。云计算（CloudComputing）是指在网络技术高速发展的基础上，通过网络存储、负载均衡、虚拟化、分布式计算等现代计算机处理技术，将网络中多个计算机实体融合起来，建立一套具有强大计算能力的系统，为用户提供方便、可靠、强大的计算能力。通过不断提高云平台能力，减少用户在本地实体中投资的资金。随着云计算的不断发展，传统的依靠个人终端的存储和计算模式将逐步被为新的信息存储、处理模式所替代，数据、资源及应用程序将被保存在云平台服务器中。用户不但可以从云平台中获取数据，还可以完成应用程序的二次开发。因此，近年来云计算技术得到了飞速发展。云计算是通过云端的服务器集群提供计算、存储和处理服务，用户通过网络或其他工具直接访问。 2、发展动力和存在障碍研究 2.1智能电网大数据的发展动力 近年来，大数据来势汹汹，对传统数据商业分析模式带来了毁灭性的冲击。电力公司往往资产巨大，对于资产的监控测量和运用会产生大量复杂的数据，通过数据分析可以有效提高电网资产的设备管理水平。通过数据分析，还可以在实现数据一体化的基础上，提高电能质量，对于特殊情况进行有效的停电管理，从而减少线路损失，有效预防用于窃电，以及其他一些因素造成的损失。并且从智能电网大数据中分析出用户的用电行为，电力公司可以依照这些数据设置合适的鼓励机制和需求管理机制。以智能家居产品为例子，智能家居产品在为居民用户提供节能减少花销的同时，而且还对电力企业改善用户侧需求管理，减少二次装机中发挥了重要作用。电网作为能源与用能的载体，受到国家的重视与长期保护，尽管对于智能电网大数据以往的发展中起了限制作用，但随着国家对于智能电网大数据的重视，相关政策依旧会为电力公司发展智能电网大数据提供强而有力的支持。 2.2智能电网大数据的障碍 电力系统作为我国的一个传统行业，深受国家政策的保护，因而在发展中逐渐出现了跟不上时代脚步的现象。经验足的大都是些老一辈的技术员工，他们对于大数据的基本理念以及大数据在智能网络中的价值缺乏正确的理解。国内智能电网大数据技术起步晚，相交于国外技术有所欠缺，并且国外没有向中国这样庞大的人口，因而即便有先进的技术也不能直接照搬照抄，智能电网大数据技术仍需要进行探索。智能电网大数据技术的研发与实验都需要大量的资金投入，现今智能电网大数据缺乏明确的收益，因而很难引起投资人的兴趣与青睐。最后就是数据的隐私与安全问题，有些数据电力公司需要保证其隐秘性，因而意思保护与客户资料安全成为了发展与推广智能电网大数据技术的首要问题。 3、智能电网大数据技术的发展 3.1源网荷协同调度 根据可持续发展理念的要求，应将新能源应用到各个领域当中，以实现人与自然的和谐发展。本着上述原则，电力领域对新能源的使用水平也开始逐渐提高，如何对新能源进行准确的预测，成为了电力领域关注的重点问题。对调度方法的合理应用是解决该问题的途径。在过去很长一段时间内，电力领域一直采取传统的调度方法，通过增加系统的旋转备用解决问题，即从供给侧入手，提高电力资源应用的平衡性。但随着社会的不断发展，目前调度出发点已经从供给侧转为了需求侧，即通过市场调节的手段，从电力用户的角度出发，以调节其用电负荷的方法，达到提高电力资源应用平衡性的目的，实现网源荷协同调度。上述目的的达成要求电力领域必须保证具有大量的信息作为辅助，其中新能源出力波动便属于非常重要的一点信息。智能电网大数据技术的应用能够实现对数据的存储、出力以及调度，因此也就能够为电力领域提供所需要的辅助信息使得电力资源的优化调度能够更加顺利的实现。这是该技术发展的主要体现。 3.2负荷波动与新能源出力预测 电力用户的用电量会影响到电力负荷，而电力负荷的波动，则会影响到电力系统的运行情况。目前，对负荷波动的预测已经得到了重视。减小预测波动值与实际波动值之间的误差，能够使作出的电网管理决策更加合理，反之，则极容易导致电网运行产生风险。当前我国电力领域负荷预测主要采用的是通过对历史负荷数据的观察，以相似日法为基础，实现预测的方法。上述方法的实现所需要的历史数据量

银行,大数据,解决方案

银行,大数据,解决方案 篇一：商业银行-大数据建设规划 XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在20XX年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度

挖掘数据内含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据 资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、

面向智能电网应用的电力大数据关键技术 寇明姝

面向智能电网应用的电力大数据关键技术寇明姝 发表时间：2018-03-13T10:40:02.833Z 来源：《电力设备》2017年第29期作者：寇明姝[导读] 摘要：智能电网的发展离不开电力大数据的支持，其中所涉及到的大数据、云计算等内容不仅关乎电网智能化的实现效果，同时也与电力行业的未来发展产生着密不可分的联系。（中国能源建设集团广东电力工程局有限公司广东广州 510735）摘要：智能电网的发展离不开电力大数据的支持，其中所涉及到的大数据、云计算等内容不仅关乎电网智能化的实现效果，同时也与电力行业的未来发展产生着密不可分的联系。电力大数据关键技术现已被广泛运用于电力生产领域中，针对关键技术的应用研究因而也成为人们日益关注的话题。由此，本文便从电力大数据的内涵出发，并结合智能电网关键技术间的关系对运用技术展开深入探讨，以期为各 位读者提供参考。 关键词：智能电网；电力大数据；关键技术电力大数据关键技术在智能电网中的应用有着巨大优势与广阔前景，该技术能够实现对信息数据的搜集、存储、处理，并为电力企业的管理提供真实可靠的参考依据。据此，针对电力大数据在智能电网中的应用方法分析，也便具有了较为深刻的现实意义。 一、电力大数据关键技术相关概述（一）电力大数据的内涵当前的电力大数据是在云计算与基础设备层上形成的数据平台，通过云计算服务访问层与应用软件的结合使用，从而为供电系统内部实现分层管理创造基础条件。电力大数据具有较好的通用性，因而绝大多数的电力企业也能够在大数据规划管理中获得较好的适用效果。当前的大数据规划主要是通过对分布式计算技术进行利用，保证数据查询、存储、处理等任务能够得到顺利完成。除此之外，提升智能化水平，将先进的智能设备运用到数据库构建与操作系统中，也成为拓展系统服务性能的可行手段。电力大数据平台的构建应当包括存储框架、调度框架、分析框架等部分，在调度框架内部序列化的传输工具、数据信息存储库、日志收集系统以及分布锁设备等也应加强注意。只有重视数据的组织与调度工作，让数据信息的准确性、效率性得到保证，才能为储存系统、访问系统等功能发挥创造前提条件。（二）大数据、云计算以及智能电网之间的联系智能电网同大数据、云计算有着不可分割的重要关联，智能电网可以将计算机技术、通讯技术、信息技术进行整合。加之原有输配电设施的协调配合，从而为提高电网安全性、效率性、经济性，缓解环境因素给供电带来的不利影响创造条件，继而打造出先进的新型电网。而大数据、云计算也是借助于网络技术的不断发展而形成的能够实现信息采集、监测、控制等功能的技术手段。其中，大数据的建立需要依托云计算功能的发挥，云计算的存储管理以及数据分析等强大的功能又能为大数据业务开辟更为便捷的路径，因而云计算也成为大数据得以实现的前提条件。总的来说，云计算、大数据与智能电网三者之间存在着相辅相成的关系，在各自发展的基础上又能促进其他技术性能的提升。 二、电力大数据技术在智能电网中的应用（一）集成管理技术 集成管理技术是对不同应用领域的系统数据进行集成的专项技术，使用该项技术能够使管理程序得到更好的运用。集成管理技术的运用原理指的是能够对来源不同、性质功能各异、格式特点不同的数据按照一定的逻辑书序进行存储管理，这些被存储在介质中的数据信息能够被赋予稳定性特征，并且通过数据的集合还能够对历史变化规律予以反映。以某工程为例，其以建成“一体化企业级信息集成平台”的目标，通过对电网数据保证，从而实现“一处录入，全网使用”，为保障信息真实、一致、完整夯实基础。涉及电力生产、服务的各个电力数据服务行业均会产生众多的环节数据，而包含能源基准参数、电能生产、运行监控和设备检修、用户资料、电力市场人才物资、协同办公、资本运作等等海量数据的集成，从而达到建立多源、异构、多维、多形式电力数据资源的任务。当这些集合数据能够面向主题，为系统运行提取出所需信息，那么集成管理技术则得到了发挥。通常在电力大数据集成管理中，所打造的数据信息共享平台往往更具备综合性、全面性的特点。而这些信息数据一方面能够为电力企业解决系统间因相互孤立而产生的集成难题，同时大数据所具有的多样性特点也能使数据清洗、数据过滤等技术也在管理过程中得到充分的发挥。总之，复杂的数据环境使得系统处理面临更大的挑战，而集成管理技术的运用，则可以对数据进行快速而准确的集成和抽取，并从中获取关键信息数据。接着通过数据关联的整合与统一结构下的数据集成，也使得数据源可靠性、准确性的提升能够有所保证。（二）信息分析技术 电力大数据中的信息数据分析是其中的一项关键性技术，大数据技术的应用能够将信号转变为数据，然后通过对此类信息的联想、综合、预测、评估等全面分析，便可以完成对信息的加工提炼，以此为智能电网的行动决策提供依据。从大数据的分析技术来看，分析技术是基于统计学与计算机科学的发展而建立起来的，所以实现大量的统计、分析、类比、归纳甚至是完成逻辑推理等任务，也成为智能电网运行中电力大数据技术的重要表现。在分析数据的过程中，通过找出关联数据，能够保证数据的支持度与可信度，再通过在庞大的信息资源库中建立信息样本，从而为智能电网运行实现准确程度更高、计算效率更快的分析带来便利。（三）信息处理技术 信息处理技术通常是指信息系统技术、数据库技术以及检索技术，智能电网中的电力大数据处理则囊括了内存计算、流处理、分布式计算等计算技术。其中内存计算指的是能够对数据信息进行快速的读取与处理，对数据计算的问题实时予以解决。流处理的计算技术主要可以不受计算速度与计算规模的控制，这种计算方式满足实时计算的需求。分布式计算则主要针对较大规模的存储问题所使用的处理方式，分布式具有高效迅速的特征。其作为新兴的数据计算方法，在对部分问题进行计算的过程中，能够将小部分问题分配给计算机进行处理，然后再将这些小部分问题的处理结构予以综合，最终形成结果。所以分布式的计算方法在面对较大规模的计算时，其运算性能也较为突出。对于需要以待处理的部分，分布式处理可以先对其展开分块，然后将这些所分部分再交由不同任务区域完成处理。接着将数据信息结果储存至本地硬盘，从而为电力企业之后的数据采集和数据分析提供依据。（四）安全防范相关技术

智能电网中的电力大数据应用

智能电网中的电力大数据应用 随着智能电网的快速发展，智能电表的大规模部署和传感、量测技术的广泛应用，电力工业产生了大量结构多样、来源复杂的数据。如何利用这些数据为电网的发展和运行控制提供科学的决策，是智能电网发展的迫切需求，也是实现智能电网坚强、自愈、兼容、经济、集成、优化特征的必由之路。可以說，大数据是实现智能电网“智能化”的重要工具。 标签：智能电网;大数据技术;应用 1 导言 电力能源作为一种不能大量存储的能源，其特点是“发电-输电-配电”同时完成，发电的多少要依据用电侧的符合进行调配，维持发电和用电的均衡，这对电网频率和电压的稳定起到了至关重要的作用。传统电网中，此项工作主要由各电力公司的电力调度负责，通过对输配电的控制使电网的频率和电压运行在允许的范围内。 2 智能电网大数据的特点 （1）电网数据规模大。智能电网不断发展，电网发电机节点及负荷节点数量不断增加，负荷与电网双向交互等因素，使得电网数据量迅速增加，数据存储大小已达到了PB量级[3]。 （2）电网数据高速性。该性能决定于电网最重要的属性，即实时保持电力电量平衡，但由于负荷波动的随机性，因此发电侧出力必须实时跟踪负荷变化。同时电网故障也具有随机性，为了保障电网可靠的运行必须立即处理，这要求电网必须快速传输，及时处理电网数据。 （3）电网数据的多样性。电网数据的多样性主要表现为来源多样性、存储类型多样性、采集周期多样性。数据来源多样性如图1所示，其数据来源渠道众多，不只是网内的数据，还有大量的网外数据;数据存储类型多样，除了传统的结构化数据，如用电信息采集系统、广域测量系统采集的大量有关负荷、发电机及线路的数据，同时营销系统、调度系统会产生大量的语音数据，变电站值班机器人及用于高压线路巡线直升机也会产生大量的图像等非结构化数据。采集周期多样性，不同的数据采样周期有较大的差别如保护系统监测周期为毫秒级，广域测量系统及大型负荷数据采集一般为分钟级，普通居民用户数据每天传输一次。 总之，智能电网中数据具有数据来源多，数据量大，数据结构复杂，数据增长速度快等特点。当前大数据技术在国内刚刚起步，利用相关技术对电网数据研究较少，智能电网采集到的数据涵盖信息广，不但可以反应电网内部的规律，而且在一定程度上可以折射出当前社会发展的状况。

如何利用大数据技术做好智能电网规划

如何利用大数据技术做好智能电网规划 发表时间：2020-01-03T17:16:01.217Z 来源：《河南电力》2019年7期作者：普颖[导读] 很多数据都具有高速性、规模性以及多样性的特点，一些数据关键技术的发展对于不同的领域都产生了非常关键的影响，应用大数据技术，能够给应用领域的发展提供更有价值信息的数据。（玉溪元江供电局云南省玉溪市 653300）摘要：很多数据都具有高速性、规模性以及多样性的特点，一些数据关键技术的发展对于不同的领域都产生了非常关键的影响，应用大数据技术，能够给应用领域的发展提供更有价值信息的数据。如今，在智能电网发展的过程中，电力系统逐渐朝着数字化、信息化以及 智能化的方向发展，在此发展过程中，对大数据技术的使用需求也在不断提升。鉴于此，本文就如何利用大数据技术做好智能电网规划展开探讨，以期为相关工作起到参考作用。 关键词：电力大数据；智能电网；关键技术 1.智能电网和大数据及云计算关系辨析 1.1电力大数据技术的发展需求 如今，在智能电网不断发展的过程中，电力系统逐渐朝着智能化以及信息化的方向发展，从而伴随越来越多的数据源出现。电力设备状态监测系统以及智能电表的应用，能够产生出大量的数据源。传统的数据处理技术在新形势的发展之下，已经无法发挥出相应的作用，这就需要大力推广使用新的数据，因此，电力大数据关键技术的使用需求也逐渐增加。如今，电力大数据已经贯穿在变电以及输配电等各个生产领域，并且也成为了能源变革过程中电力工业技术创新发展的关键。 1.2智能电网及大数据和云计算关系 大数据与智能电网的发展过程之间的关系越来越密切，智能电网的发展主要是将信息技术、计算机技术以及通信技术结合起来加以应用，以此来达到提升能源使用效率的目的，这样一来也能够有效确保供电安全，从而最大限度降低电能的损耗。智能电网是借助多用户用电信息来对电的生产进行消耗以及分配，使用现代化的信息技术以及网络通信技术，可以实现信息交互，从而最大限度地保障电网设备中的信息交换。此外，云计算和大数据之间也有着密切的联系，主要表现在大数据是根植于云计算的，云计算数据的管理分析以及存储都需要立足于大数据技术，借助云计算技术的超强计算功能，可以起到提升数据处理质量的目的，这样一来也能够便于提供大量的服务信息。大数据和云计算之间是相辅相成的关系，二者之间有着不同的侧重点，云计算可以整合内部计算处理与存储资源，以此来强化电网的交互能力以及处理能力。大数据、智能电网以及云计算之间的关联性比较强，云计算技术是在传统的数据分析技术以及挖掘技术上延续而来的，并且也是数据量级增长到一定阶段之后的业务需求以及知识挖掘的产物。 2新型电网规划数据获取方式通过全面系统科学的信息数据可以为新型电网规划工作提供更好的信息支撑。你以前所用的信息数据获取方法进行对比，大数据技术在获取数据方面的效率以及质量有着更加强大的优势。在当下新型电网数据信息采集的过程中，为了切实保证数据的全面性和准确性，必须有效应用遥感采集技术和数据辨识技术来实现对当下信息数据的高效高效获取。在现阶段数据获取中，最为重要的就是通过合理科学的预处理手段来有效帮助信息获取工作的开展。通过利用遥感和航拍技术，可以直观、直接准确的实现对相关图像信息数据的采集，但是该方法在应用过程中相对比较复杂，而且储存难度也相对较高，所以并不能直接应用到规划方案设计工作中。在具体工作中，对于数据可以分为数据辨识和整理两部分。 3.智能电网应用的电力大数据关键技术 3.1电气大数据的集成管理技术 所谓的电力企业数据集成管理技术主要是将不同的格式、来源以及性质的数据在逻辑上综合体现出来，并且给系统存储一些比较稳定而且可以反映出历史变化的数据。电气企业通过应用集成管理技术，可以有效解决一些电力企业内部系统中信息孤岛以及数据冗余的问题。除此之外，大数据还应该体现出多样化的特点，这也就说明数据来源的广泛性，并且加剧了数据处理工作的困难程度。为了能够获取大数据的处理效果，就需要抽取数据源并且做到集成处理，之后再在数据源中取得与实体相关的一系列关系，将其经过一定的关联聚合之后，使用统一的结构完成对这些数据的存储，从而有效确保未来数据的可靠性。 3.2复杂数据处理技术 3.2.1数字化监测技术 运用数字化监测技术，可以很好地满足大数据精细化管理工作的需求，并且从不同时间以及各个方位出发落实监测工作。在运用智能电网的基础之上，使用大数据技术可以确保电力系统处于良好的运行状态，并且还可以起到提升设备运行安全性以及可靠性的目的。与此同时，电脑终端的使用可以很好地确保电气大数据编程以及继电保护器的有效运行，便于不同节点的数据能够顺利发送以及接收，将数字化监测技术的效能充分发挥出来。除此之外，使用数字化监测技术，可以实现对电力系统的综合操控，推动电力系统的健康快速发展。 3.2.2智能化数据监控技术 智能化数据监控技术在21世纪已经得到了广泛应用，并且逐渐被应用到了智能电网控制系统中，在确保系统的安全调控方面发挥了非常关键的作用。通常情况下来说，组成智能化数据监控技术的元件有电缆、摄像头以及监视器，实现对电力系统运行状况的实施监控。摄像头在智能化数据监控系统中可以作为前端设备使用，主要用来完成信息的采集工作，电缆作为传输设备，可以实现数据的传输，监视器不仅能够发挥出记录以及显示的作用，同时还可以对智能电网进行处理以及控制。 3.2.3关系型数据库系统 结构化数据在智能电网中依然处于主体地位，这就要求做好结构化数据的存储以及管理工作。借助Oracle这一关系可以有效运用数据库管理系统，并且还具备功能强大以及使用方便的优势，能够在多种数据环境中很好地运行。除此之外，运用智能化电网，具有数据繁杂的特点，面对这种情况，应该结合电网实际特征，合理选择数据存储方式。 3.3数据分析技术

电力大数据下管理课程大纲

大数据电力系统管理课程大纲内容 第1章大数据简介 1.大数据产生的历史背景 2.大数据的定义 3.数据的内涵 4.数据价值链 5.大数据的4V特征 第2章大数据带来的思维变革 1.随机样本与全体数据 2.更杂：不是精确性，而是混杂性 3.不是因果关系，而是相关关系 第3章大数据时代的商业变革 1.数据化：一切皆可“量化” 2.数据创新 3.移动运营商与数据再利用 4.微软与谷歌的拼写检查 5.大数据决定企业竞争力 第4章电力大数据技术体系 1．电力大数据技术架构 2．电力大数据关键技术 3．数据集成管理技术 4．数据存储管理技术 5．高性能计算技术 6．分析挖掘技术 第5章电力大数据的应用场景 1．配电网低电压实时监测 2．配电设备负载估算及重过载预警 3．线损计算与分析 4．实际案例：基于大数据的短期负荷预测 5.客服语音记录数据辅助提升服务质量 6.视频及红外数据辅助电网输变电设备检修 7.案例：基于大数据技术的电气设备红外图像处理 第6章提升企业价值的电力大数据

1数据作为资产驱动公司运营 2量化企业决策，提升决策能力和决策效率2.1物资物料采购计划的定量分析 2.2战略指标关联分析与战略决策优化制订3基于数据的电力增值业务服务 4创新现有业务模式 4.1营业厅人流量统计与服务行为分析 4.2综合信息分析解决电能分配不均衡 5实现部门间的业务数据共享，促进业务融合 6. 精益思想与营业厅排班 7.大数据时代的线损分析 7.1线损预测 7.2查窃电 8综合利用外部数据，提升公司业务的能力8.1舆情监测与分析 8.2极端天气与自然灾害监测预警 8.3配网状态的全面监测与设备故障预警