智能电网大数据平台及其关键技术研究_孟祥君

特别策划

S p e c i a l F e a t u r e

摘　要：智能电网是大数据的重要技术应用领域之一。智能电网大数据平台是大数据挖掘的基础，首先分析智能电网大数据特征及业务需求，然后结合业务详细分析大数据的关键技术，最后给出了大数据平台架构和业务应用架构。智能电网大数据平台实现了智能电网全数据共享，并为业务应用开发和运行提供支撑平台。关键词：智能电网；大数据技术；平台技术

智能电网大数据平台及其关键技术研究

孟祥君1，季知祥2，杨祎3

（1.国网山东省电力公司，山东 济南 250001；2.中国电力科学研究院，北京 100192；

3.国网山东省电力公司电力科学研究院，山东 济南 250002）

0 引言

智能电网是以物理电网为基础，将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网［1］，见图1。它涵盖发电、输电、变电、配电、用电和调度等各个环节，对电

力市场中各利益方的需求和功能进行协调，在保证系统各部分高效运行、降低运营成本和环境影响的同时，尽可能提高系统的可靠性、自愈性和稳定性。随着智能电网的发展，电网在电力系统运行、设备状态监测、用电信息采集、营销业务系统等各个方面产生和沉淀了大量数据，充分挖掘这些数据的价值具有重要的意义。

大数据是近年来受到广泛关注的新概念，一般是指无法在可容忍的时间内用传统的IT 技术、软硬件工具和数学分析方法，对其进行感知、获取、管理、处理和分析的数据集合［2］。智能电网被看作是大数据应用的重要技术领域之一。目前许多学者正在进行智能电网大数据研究，包括发展战略研究［3］、大数据技术研究［4］、应用研究［5-7］等。

智能电网大数据应用众多，涉及电网安全稳定运行、节能经济调度、供电可靠性、经济社会发展分析等诸多方面，进行智能电网大数据分析需要统一智能电网大数据，并且由于应

用众多，对计算、存储、网络等性能提出了较高要求，因此需要构建面向智能电网应用的统一大数据处理平台。本文首先分析智能电网大数据特点以及业务应用需求，接着结合业务应用介绍大数据关键技术，进而提出智能电网大数据平台和应用框架。

基金项目：国家电网公司科技项目（XX71-14-036）。

Project Supported by State Grid Corporation of China （XX71-14-036）.

图1　智能电网示意图

Fig.1　Schematic diagram of smart grid

3

特别策划

S p e c i a l F 会经济状况分析与预测、政府决策支持与相关政策评估，如电价政策、新能源补贴政策等是否合理等。这些需求需要综合电网运行状态信息、用户用电信息、客服系统信息、气象数据、经济社会数据和互联网数据等。

2 智能电网大数据关键技术

根据信息处理流程，大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用6个环节，其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。2.1 数据集成技术

智能电网大数据具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据，首先就需要对众多数据源的数据进行集成，通过数据抽取、转换、剔除、修正等处理，建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。

ETL 是企业数据集成的主要解决方案。ETL 指Extract 、Transform 、Load ，即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数

据；数据转换是将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载是将转换后的数据加载到目的数据源。ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能，各个ETL 工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统，这些系统类型和特征复杂，在实时性要求、数据规模、数据类型等方面存在较大的差异，在智能电网大数据集成中需要综合考虑各种因素，在集成技术上单一技术可能很难实现，需要结合多种技术来实现智能电网大数据的集成。2.2 数据存储技术

在智能电网大数据中，绝大多数数据为结构化数据，同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式

1智能电网大数据概述

1.1 智能电网大数据特点

根据数据来源的不同，可以将智能电网大数据分为电力企业内部数据和电力企业外部数据。电力企业内部数据源主要包括广域量测系统（WAMS ）、数据采集与监控系统（SCADA ）、在线监测系统、用电信息采集系统、生产管理系统、能量管理系统、配电管理系统、客户服务系统、财务管理系统等；电力企业外部数据源包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据分散放置在不同地方，由不同单位/部门管理，具有分散放置、分布管理的特性。

智能电网大数据结构复杂、种类繁多，除传统的结构化数据外，还包含大量的半结构化、非结构化数据，如客户服务中心信息系统的语音数据，设备在线监测系统中的视频数据与图像数据等。这些数据的采样频率与生命周期也各不同，从微秒级、分钟级、小时级，一直到年度级，见图2。

图2　智能电网数据采样频率和生命周期

［8］

Fig.2　Sampling frequency and life cycle of smart grid data

1.2 大数据业务需求分析

智能电网大数据业务应用根据对象不同可分为面向电力公司运行管理、面向电力用户服务、面向政府部门辅助决策等3类。面向电力公司运行管理类应用包括电力系统稳定性分析与控制、输变电设备故障诊断与状态检修、配电网运行状态评估与预警、配电网故障定位、负荷预测、城市电网规划等；面向电力用户服务类应用包括用户用电行为分析、需求侧管理、能效分析、供电服务舆情分析等；面向政府部门辅助决策类应用包括社

特别策划

S p e c i a l F e a t u r e

理也是智能电网大数据的重要功能，从整体上对存储在不同系统上的数据进行统一管理，并提供数据索引和查询功能。综合以上分析，数据存储对比见表1。

表1　数据存储技术应用场景

Tab.1　Application scenarios of data storage technology 分布式文件系统存储海量的非结构化数据音频、视频、文本HDFS 、GFS

分布式数据库存储海量无模式的半结构化

数据电网监控数据HBase

关系型数据库存储海量的结构化数据电网模型数据Oracle 、MySQL 内存数据库

存储实时性要求高的数据

SCADA 监控数据

MemSQL 、Altibase

2.3 数据处理技术

智能电网大数据的应用类型多，需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求，大数据处理技术分流处理、批处理、内存计算、图计算等。2.3.1 流处理

流处理的处理模式将数据视为流，源源不断的数据组成了数据流，当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点，因此通常不会对所有的数据进行永久化存储，而且数据环境处在不断的变化之中，系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有Twitter Storm 和Yahoo S4。

Storm 是分布式实时计算系统，主要用于流数据处理，可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息，处理之后将结果写入到某个存储中去。Storm 的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以Storm 的速度较快。Storm 弥补了Hadoop 批处理所不能满足的实时要求，经常用于实时分析、在线机器学习、持续计算、分布式远程调用和ETL 等领域。2.3.2 批处理

Google 公司在2004年提出的Map-Reduce 是最具代表性的批处理模式。Map-Reduce 是一个使用简易的软件框架，用于大规模数据集的并行运算，主要用来进

数据库，对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。2.2.1 分布式文件系统

分布式文件系统适合存储海量的非结构化数据，将数据存储在物理上分散的多个存储节点上，对这些节点的资源进行统一管理和分配，并向用户提供文件系统访问接口，主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。

Hadoop 是大数据的一个解决方案，可以实现大数据的存储、分析和管理

［9］

。HDFS （Hadoop

Distributed File System ）是一个分布式文件系统，它是开源项目Hadoop 的家族成员。HDFS 将大规模数据分割为大小为64兆字节的数据块，存储在多个数据节点组成的分布式集群中，当数据规模增加时，只需要在集群中增加更多的数据节点，具有很强的可扩展性；同时每个数据块会在不同的节点中存储多个副本，具有高容错性；由于数据是分布存储的，具有高吞吐量的数据访问能力。

2.2.2 分布式数据库

大数据环境下对数据的存储、管理、查询和分析需要采用新的技术，传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性，在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。

HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它不同于一般的有模式的关系型数据库，HBase 存储的数据表是无模式的，特别适合结构复杂多样的半结构化数据存储。HBase 利用HDFS 作为其文件存储系统，可利用Map-Reduce 技术来处理HBase 中的海量数据。2.2.3 关系型数据库系统

智能电网中很大一部分数据是结构化数据，针对一些数据和业务应用，传统关系型数据库可能更适合，因此在大数据环境下，传统关系型数据库也具有一定的应用。基于传统数据库如Oracle 等构建数据仓库，开展智能电网业务的分析挖掘。

智能电网大数据结构复杂、种类繁多，其数据存储需要根据数据的特点选用适合的数据存储方式。数据管

3

特别策划

S p e c i a l F 2.4 数据分析技术

数据分析是智能电网大数据处理的核心，由于大数据的海量、复杂多样、变化快等特性，大数据环境下的传统小数据分析算法很多已不再适用，需要采用新的数据分析方法或对现有数据分析方法进行改进。

数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等，其中每一类包括众多的算法［10］。分类包括支持向量机、决策树、贝叶斯、神经网络等技术；关联分析包括Apriori 、FP-growth 等算法；聚类分析分为划分法、层次法、密度法、图论法、模型法等，具体算法如k-means 算法、K-MEDOIDS 算法、Clara 算法、Clarans 算法、SOM 神经网络、FCM 聚类算法等；异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进，实现分布式处理。

机器学习是面向任务解决的基于经验提炼模型实现最优解设计的计算机程序，通过经验学习规律，一般应用在缺少理论模型指导但存在经验观测的领域中。机器学习分为归纳学习、分析学习、类比学习、遗传算法、联接学习、增强学习等。深度学习是机器学习研究中的一个新的领域，2006年由Hinton 等提出，其目的在于建立模拟人脑进行分析学习的神经网络，目前深度学习在语音识别、图像识别、机器翻译等领域进行了应用，并取得了较好的效果［11］。

智能电网大数据挖掘主要为结构化数据，同时也存在文本、图像、音频、视频等数据，在智能电网大数据应用中需要针对具体的业务采用合适的数据分析方法。

3 智能电网大数据平台

3.1 核心平台框架

智能电网大数据应用需要构建在大数

行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上，并以一种可靠容错的并行处理大规模数据集。Map-Reduce 的核心思想是将问题分而治之，并把计算推到数据所在的服务器，有效地避免数据传输过程中产生的大量通信开销。

Map-Reduce 的优点主要有2个方面：①不仅能用于处理大规模数据，而且能将很多繁琐的细节隐藏起来，如自动并行化、负荷均衡和灾备管理等，这将极大简化开发工作；②伸缩性非常好，集群能够方便的扩展。而Map-Reduce 的不足是其不适应实时应用的需求，只能进行大规模离线数据分析。2.3.3 内存计算

随着内存价格的不断下降，服务器配置的内存容量不断增大，用内存计算来完成大规模数据处理成为可能。与Hadoop Map-Reduce 批处理相比，内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法，它可以和各种不同的计算模式相结合，包括批处理、流处理、图计算等。比如Spark 是分布式内存计算的一个典型并行计算框架，Spark 基于Map-Reduce 算法实现的分布式计算，拥有Hadoop Map-Reduce 所具有的优点；但不同于Map-Reduce 的是Job 中间输出结果可以保存在内存中，从而不再需要读写HDFS ，因此Spark 具有更好的性能，适用于数据挖掘与机器学习等需要迭代的Map-Reduce 的算法。

智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式，针对电网安全在线分析、电网运行监控等业务，数据实时性要求高、需要作出迅速响应，可以采用流处理内存计算；而对于用户用电行为分析等业务，实时性和响应时间要求低，可以采用批处理方式。综合以上分析，数据处理方式对比见表2。

表2　数据处理技术应用场景

Tab.2　Application scenarios of data processing technology

流处理实时性要求高的数据分析处理

智能电网运行实时监测Storm 批处理进行大规模离线数据分析处理

用户用电行为

分析Map-Reduce 流处理批处理结合

整合流处理和批处理，实现数据的实时分析和长期挖掘（深度挖掘）

智能告警分析

Pipeline 、Summingbird

内存计算

提供高性能的大数据分析处理能力，可与批处理、流处理、图计算等计算模式相结合

电网安全稳定

分析

Spark

特别策划

S p e c i a l F e a t u r e

环节数据。

数据集成与交互主要实现与智能电网各业务系统的数据交互，实现数据的实时采集。智能电网大数据核心平台实现智能电网数据的统一管理、数据存储、数据处理、数据分析、可视化展现等功能。

图4　智能电网大数据应用框架

Fig.4　Application framework of big data in smart grid

4 结语

1）智能电网大数据数据量大、类型多样、数据特征复杂，同时业务应用需求场景多，且存在交叉融合，

对现有数据处理方式和平台提出了很高的要求，需要采用新的大数据处理技术来支撑。

2）智能电网大数据关键技术包括数据集成、数据存储、数据处理、数据分析等技术，需要结合具体业务的特点和需求选择相应的技术。

3）智能电网大数据平台需要构建统一数据模型来实现智能电网各类数据的融合和共享，基于全数据进行业务的开发和应用，智能电网大数据平台具有数据共享、应用开发和业务运行3方面功能。

4）随着智能电网的发展，数据将成为核心资源，大数据平台将承载智能电网众多各类型应用，其基础作用将越来越重要。

洗、存储、管理、分析计算等功能。大数据核心平台由基础资源、数据存储、数据分析与处理、台服务和平台管控等组成，见图3图3　智能电网大数据核心平台框架图

Fig.3　Framework of big data core platformin smart grid

基础资源层主要包括计算资源池、存储资源池、网络资源池，为虚拟化的资源，能够实现弹性的资源供给和扩展。基于存储资源池实现大数据平台的各种数据存储功能，包括分布式文件系统、分布式数据库、传统数据库和数据仓库。数据管理实现大数据平台的接入管理、数据清洗、数据统一建模、数据检索、数据服务等功能。数据分析与处理是大数据平台的核心，大数据平台根据具体业务需求能够提供批处理、流处理等功能，同时平台能够提供通用的数据分析算法包或工具，包括数据挖掘、统计分析、机器学习等。平台管控包括资源调度、集群管控、安全管控、用户管理等，实现对平台的监控、调度和管理。3.2 应用框架

结合智能电网的应用需求，在大数据核心平台之上构建各类大数据应用。面向智能电网大数据的应用框架见图4。应用整体框架分数据集成与交互层、大数据核心平台层、应用层。

目前电力公司各个业务部门分别建有各自的信息化系统，各个业务系统采集了电网对象在不同时间断面的不同数据，记录的是电网对象在特定时间断面的数据断面，反映的是电网对象的部分属性，另外不同系统之间在数据共享方面还存在一定的困难，在智能电网大数据平台中需要构建统一数据模型来存储和管理智能电网各

3

特别策划

S p e c i a l F 参考文献

[1] 刘振亚．智能电网技术[M]．北京：中国电力出版社，2010．

[2] 李国杰，程学旗．大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J]．中国科学院院刊，2012，27(6)：647-657．[3] 张东霞，苗新，刘丽平，等．智能电网大数据技术发展研究[J]．中国电机工程学报，2015，35(1)：2-12．[4] 宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战[J]．电网技术，2013，37(4)：51-51．[5] 史梦洁，韩笑，程志艳，等．面向电力需求侧的大数据应用研究分析[J]．供用电，2014，31(12)：20-23．[6] 刘科研，盛万兴，张东霞，等．智能配电网大数据应用需求和场景分析研究[J]．中国电机工程学报，

2015，35(2)：287-293．

[7] 闫湖，狄方春，袁荣昌，等．电网智能调度中的大数据及应用场景研究[J]．电力信息与通信技术，2014，(10)：7-12．

[8] E PRI ．The Whys ，whats and hows of managing data as an asset[R]．2014．

[9] 陈吉荣，乐嘉锦．基于Hadoop 生态系统的大数据解决方案综述[J]．计算机工程与科学，2013，35(10)：25-35．

[10] 王光宏，蒋平．数据挖掘综述[J]．同济大学学报：自

然科学版，2004，32(2)：246-252．

[11] 尹宝才，王文通，王立春．深度学习研究综述[J]．北

京工业大学学报，2015，(1)：48-59．

Research on Big Data Platform and Its Key Technologies in Smart Grid

MENG Xiangjun 1，JI Zhixiang 2，YANG Yi 3

（1.State Grid Shandong Electric Power Company ，Jinan 250001，China ；2.China Electric Power Research Institute ，Beijing 100192，China ；3.Shandong Electric Power Research Institute ，Jinan 250002，China ）Abstract ：Smart grid is one of the key big data technology applications ．Big data platform is the basis for big data mining ．Firstly ，the characteristics and business requirements of big data in smart grid are analyzed ．Then ，key technologies of big data is analyzed in detail combined with business ．Finally ，the overall architecture and business application architecture of big data platform are proposed ．The proposed big data platform realizes full data sharing and provides support platform for business application development and operation ．Key words ：smart grid ；big data technology ；platform technology

作者简介：

孟祥君（1975—），男，本科，高级工程师，研究方向为数据资产管理、大数据挖掘应用等。

季知祥（1984—），男，硕士，工程师，研究方向为电

收稿日期：2015-05-25网调度自动化、大数据、云计算等。

杨祎（1986—），女，硕士，工程师，研究方向为信息与通信相关专业、电力大数据应用。

智能电网 大数据

智能电网和大数据 1 智能电网 智能电网(smart power grids)，就是电网的智能化，也被称为“电网2.0”，它是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用，实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，其主要特征包括自愈、激励和包括用户、抵御攻击、提供满足21世纪用户需求的电育濒量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。 在现代电网的发展过程中，各国结合其电力工业发展的具体清况，通过不同领域的研究和实践，形成了各自的发展方向和技术路线，也反映出各国对未来电网发展模式的不同理解。近年来，随着各种先进技术在电网中的广泛应用，智能化已经成为电网发展的必然趋势，发展智能电网已在世界范围内形成共识。 从技术发展和应用的角度看，世界各国、各领域的专家、学者普遍认同以下观点:智能电网是将先进的传感测量技术、信息通信技术、分析决策技术、自动控制技术和能源电力技术相结合，并与电网基础设施高度集成而形成的新型现代化电网。 2 智能电网的发展 2.1 美国 2.1.1 电网2030规划 2003年2月，美国时任总统布什提出“电网2030规划”，指出要建设现代化电力系统，以确保经济安全，同时促进电力系统自身的安全运行。该规划的主要内容有:为所有用户提供高度安全、可靠、数字化的供电服务，在全国实现成本合理、生产过程无污染、低碳排放的供电，经济实用的储能设备，建成超导材料的骨干网架。为有效促进智能电网建设，美国于2007年12月颁布“能源独立与安全法案2007"，确立了国家层面的电网现代化政策，设立新的专责联邦委员会，并界定其职责与作用，建立问责机制，同时建立激励机制，促进股东投资。 2.1.3 奥巴马政府施政计划 美国总统奥巴马为振兴经济，从节能减排、降低污染角度提出绿色能源环境

智能电网大数据技术发展研究

智能电网大数据技术发展研究 随着我国科学技术的迅猛发展，智能电网大数据逐步成为了我国电力发展的重要技术。智能电网的发展不仅仅是最新科学技术的研究成果，更是当前电力行业的主要发展趋势。在电力领域使用智能电网大数据技术，除了能够提高其在我国的电力行业影响力之外，还对电力行业的可持续发展起到了巨大的推动作用。不仅如此，我国在智能电网大数据方面的研究上，已经取得了非常显著的成果。这就预示着我国在电力行业的已经取得了极大的进步。 标签：智能电网;大数据;技术 1电力大数据 1.1电力大数据内涵 电力大数据指的是智能电网在电力生产、电力传输、电力消费等各个环节所产生的不同类型的数据，是电力系统运行中信息的高度融合。电力大数据的表达方式很多，除了一般的数字、符号外，还可以通过图片、视频等媒体形式展现出来。 1.2电力大数据与智能电网之间的联系 当下随着我国智能电网技术高速发展，也加强了对信息通信技术以及电子技术等应用，促进了信息间的交互。智能电网可以将客户的用电信息进行详细的收集起来，通过对电量的耗损情况进行分析从而获取相应的电力大数据，运用现代数据分析处理技术分析获得的数据，并提取出有效的信息。这些信息可以帮助运行人员对不同区域的电网展开宏观调控，以更好的满足各个地区的用电需要。但就目前来看，我国电网大数据的发展还存在一定的不足，大数据平台构建还需进一步完善，这样才能更好的促进智能电网的发展，保证大数据分析技术的有效利用。 2智能电网领域中大数据技术的应用 2.1智能电网大数据挖掘与采集技术 在智能电网的管理工作当中，数据内容上和传统的电网建设工作相比，数据更加庞大和复杂，同时在运行安全以及管理等工作当中都存在明显的差异。智能电网在工作过程当中，会受到其他数据的干扰和影响，因此在数据的管理和控制工作当中，运用大数据收集和挖掘技术可以大大提高智能电网数据处理的有效性，这也是当前大数据处理技术当中重要的工作内容。在大数据处理工作当中，通过大数据的挖掘和信息采集技术，主要表现为以下几个方面的特性：第一，在全面的数据挖掘工作当中，智能化管理工作所涉及到的管理数据，不但集中在电网企业和一些重点的变电设备当中，同时也直接表现在一些和电网相关的电力用

智能电网大数据的核心技术

智能电网大数据的核心技术 发表时间：2017-11-16T20:34:47.230Z 来源：《电力设备》2017年第20期作者：王辉 [导读] 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。 （国网江苏省电力公司检修分公司南通分部江苏） 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。智能电网在建设过程中，最为主要应用领域为大数据。 关键词：智能电网；大数据技术；研究 引言 智能电网在建设过程中，实际上就是将先进科学技术应用到电网体系内，进而有效满足电力市场发展实际需求。智能电网所应用的技术主要分为三种，分别为控制技术、计算机技术、信息通信技术，可以有效对电力市场有关利益方之间的矛盾，最大程度提高电力系统运行效率及质量，有效降低电力企业运营成本，降低电力系统对生态环境所造成的不良影响。特别是智能电网内应用大数据技术，已经成为电力系统发展建设必然趋势。所以，有关人员正在积极对智能电网采取针对性手段，对智能电网大数据应用情况进行完善，有效提升电力系统稳定性，为人们提供更加优质服务。 1电网大数据概述 智能电网大数据主要表示电力信息化建设过程中，借助电力实时检测系统、智能变电站及智能电表等数据类别，推动电网智能化发展建设。电网建设规模在逐渐增加过程中，智能电网大数据主要可以分为两种类别，分别为外部大数据与内部大数据。智能电网大数据主要具有三个显著特征，分别为大规模、高速性及多样性。 智能电网大规模主要表示电网在运营过程中，所产生的数据数量不断增加。在这种情况下，电网负荷也显著提升；高速性主要表示智能电网在实际运行过程中，容易受到外部环境因素影响，智能电网可以对不良影响进行高速反应。主要原因是由于电网所产生的负荷运动较为随机，电网运行在出现问题情况下，为了能够保证电网可以稳定高效运行，智能电网可以在最短时间内对电网负荷运动进行处理；多样性主要表示智能电网所产生的数据类别较多，不仅仅包含智能电网所产生的数据，同样还包含网外所产生的数据。 简而言之，智能电网大数据所具有的特征主要为：智能电网所产生的数据全部为分布式管理数据源，产生大量数据信息，数据包含多个维度，类别也较多，在实际应用过程中，可以为用户及经济带来较大经济价值。智能电网所产生的数据积累数量在不断增加过程中，数据来源也开始越加广泛，数据类别也逐渐增加，数据结构越加繁琐。在这种情况下，研究人员需要对大数据技术进行深入分析研究，我国主要对大数据核心技术进行分析。 2智能电网大数据的核心技术 2.1数据存储技术 （1）分布式存储技术。分布式存储技术是指利用网络共享每一台计算机上的磁盘空间，从而将所有分散的存储资源整合成为一个虚拟的存储设备，最终实现数据分散进行存储的技术。 （2）非关系型数据存储技术。其没有固定的表结构，一般也不需要连接操作。因此，针对大数据的存取，该技术具有传统的关系型数据库技术所不具备的优异性能。 （3）内存存储技术。内存数据库是一种直接把数据存放在内存中，从而实现快速存储、读取操作的数据库。内存进行存储、读取操作的速度要大幅提升，因此将数据存储在内存中能够显著地增强数据库的性能。内存数据库不再使用传统的磁盘数据管理的方法，而是运用新的体系结构从而实现在内存中存储全部数据，同时改善了并行操作、数据缓存以及快速算法等内容，因此数据的处理速度要比传统数据库快10倍之多。 2.2数据管理技术 数据管理技术是指将来自不同数据源的、具有不同结构(结构化、半结构化、非结构化)的大数据进行收集、整理、清洗、转换以后加载到一个新的数据源之中，从而对这些数据源实行集中管理、对外部访问提供统一服务的数据集成技术。由于智能电网大数据具有多样性的特征，因此对智能电网大数据进行分析和处理之前，首先需要对数据源的数据进行清洗和过滤以确保数据的质量以及可靠性；然后将清洗和过滤之后的数据通过抽取和集成以便获得实体和关系；最后再对数据实施关联和聚合并且采用统一的数据结构进行存储。 2.3数据分析技术 数据分析技术是指从海量的数据中自动搜索出隐藏于其中有着特殊关系性(模态与规律)的信息，从而为决策人员提供决策支持的技术。与其他行业相比，电力行业对于电力系统的安全、持续、稳定运行以及电力发输变配用的实时性等要求更加严格，因此智能电网大数据对数据处理和分析结果的精确度要求也更高。而传统的数据挖掘技术面对智能电网中高速增长的、海量的、半结构化和非结构化的大数据已经很难适用，因此需要拓展新的面向海量数据进行挖掘的智能电网大数据分析技术。智能电网大数据的数据分析技术包括：模式识别技术、图像处理技术和机器学习技术等核心技术，具体有智能电网安全在线分析技术、间歇性电源发电预测技术、设施线路运行状态分析技术等。 （1）模式识别。模式识别是指处理和分析用以表征事物或现象的多种形式的信息(数值、文字、逻辑关系等)，从而实现对事物或现象进行描述、识别、分类以及解释、说明的一种技术，它是信息科学和人工智能科学的必不可少的组成部分。 （2）图像处理。图像处理是运用计算机开展图像分析，从而获得所需结果的一种技术。 （3）机器学习。机器学习是指专门研究如何让计算机能够模仿或实现人类的学习行为，进而有效地获取新知识或新技能，以便重新组织已经存在的知识框架以持续提升计算机性能的一种技术。 2.4数据处理技术 （1）实时计算。实时计算是指根据计算需求从海量数据中实时进行排重、排名、汇总等运算，并为用户提供实时响应，主要针对海量数据且无法预算的情况。 （2）批量计算。批量计算是指针对静态海量数据的批量处理，即当开始计算之前数据应准备到位，重点用于数据挖掘和验证业务模型。

智能电网大数据技术发展研究 张格琳

智能电网大数据技术发展研究张格琳 发表时间：2018-08-20T11:03:03.030Z 来源：《电力设备》2018年第15期作者：张格琳程思远程芬任国卉 [导读] 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。 （国网山西省电力公司运城供电公司山西运城 044000） 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。本文就针对智能电网大数据技术的概念及技术发展进行深入的探讨。 关键词：智能电网；大数据；技术；发展 计算机信息技术的发展将人类带入了数据社会，带动了互联网、物联网、智能电网、新能源、智能城市、网络金融等现代服务业发展，数据的充分利用和挖掘正成为各行各业运营和发展的引擎。但这个引擎正面临着数据量大而复杂等巨大的挑战。各种业务数据正以几何级数的形式爆发，其格式、收集、储存、检索、分析、应用等中存在诸多问题，不再能以传统的信息处理技术加以解决。数据的格式也由传统的结构化数据转化为非结构化数据，数据处理的实时效应要求也更高。大数据技术经过几年的发展，已经形成了一个完整的生态技术圈，包括海量数据的的存储及分析技术。 1、智能电网中大数据与云计算的基本概念 大数据是指海量、异构、多态的数据集合，不但包括传统的符号、数字等结构化数据，也包括图像、声音、手写字体等非结构化数据。但不是数据多就能够称为大数据，必须要同时满足体量巨大、类型多样、价值密度低以及处理速度快这四个特点，才能够被称为大数据。在电力行业内，电网运行的情况及日常的监测数据等、电力企业的营销数据，以及企业的管理数据信息等可以被称为是大数据。随着智能电网的不断发展，这些数据都在以指数级的速度增长。智能电网中的数据以传统的关系型数据库中存储的结构化数据为主，包括业务数据、表单数据等。而非结构化数据主要是视频监控数据以及一些图像数据等。随着电力行业的发展和自身的特点，智能电网中的非结构化数据的比重越来越重，但分析和处理的难度却较大。另外，电力行业数据还在气象预测、能源分析等行业中有着应用意义，对智能电网的大数据分析就显得格外重要。最后，在智能电网的调动工作中，业务管理数据要求是实时数据，对实时数据的处理难度更大。云计算（CloudComputing）是指在网络技术高速发展的基础上，通过网络存储、负载均衡、虚拟化、分布式计算等现代计算机处理技术，将网络中多个计算机实体融合起来，建立一套具有强大计算能力的系统，为用户提供方便、可靠、强大的计算能力。通过不断提高云平台能力，减少用户在本地实体中投资的资金。随着云计算的不断发展，传统的依靠个人终端的存储和计算模式将逐步被为新的信息存储、处理模式所替代，数据、资源及应用程序将被保存在云平台服务器中。用户不但可以从云平台中获取数据，还可以完成应用程序的二次开发。因此，近年来云计算技术得到了飞速发展。云计算是通过云端的服务器集群提供计算、存储和处理服务，用户通过网络或其他工具直接访问。 2、发展动力和存在障碍研究 2.1智能电网大数据的发展动力 近年来，大数据来势汹汹，对传统数据商业分析模式带来了毁灭性的冲击。电力公司往往资产巨大，对于资产的监控测量和运用会产生大量复杂的数据，通过数据分析可以有效提高电网资产的设备管理水平。通过数据分析，还可以在实现数据一体化的基础上，提高电能质量，对于特殊情况进行有效的停电管理，从而减少线路损失，有效预防用于窃电，以及其他一些因素造成的损失。并且从智能电网大数据中分析出用户的用电行为，电力公司可以依照这些数据设置合适的鼓励机制和需求管理机制。以智能家居产品为例子，智能家居产品在为居民用户提供节能减少花销的同时，而且还对电力企业改善用户侧需求管理，减少二次装机中发挥了重要作用。电网作为能源与用能的载体，受到国家的重视与长期保护，尽管对于智能电网大数据以往的发展中起了限制作用，但随着国家对于智能电网大数据的重视，相关政策依旧会为电力公司发展智能电网大数据提供强而有力的支持。 2.2智能电网大数据的障碍 电力系统作为我国的一个传统行业，深受国家政策的保护，因而在发展中逐渐出现了跟不上时代脚步的现象。经验足的大都是些老一辈的技术员工，他们对于大数据的基本理念以及大数据在智能网络中的价值缺乏正确的理解。国内智能电网大数据技术起步晚，相交于国外技术有所欠缺，并且国外没有向中国这样庞大的人口，因而即便有先进的技术也不能直接照搬照抄，智能电网大数据技术仍需要进行探索。智能电网大数据技术的研发与实验都需要大量的资金投入，现今智能电网大数据缺乏明确的收益，因而很难引起投资人的兴趣与青睐。最后就是数据的隐私与安全问题，有些数据电力公司需要保证其隐秘性，因而意思保护与客户资料安全成为了发展与推广智能电网大数据技术的首要问题。 3、智能电网大数据技术的发展 3.1源网荷协同调度 根据可持续发展理念的要求，应将新能源应用到各个领域当中，以实现人与自然的和谐发展。本着上述原则，电力领域对新能源的使用水平也开始逐渐提高，如何对新能源进行准确的预测，成为了电力领域关注的重点问题。对调度方法的合理应用是解决该问题的途径。在过去很长一段时间内，电力领域一直采取传统的调度方法，通过增加系统的旋转备用解决问题，即从供给侧入手，提高电力资源应用的平衡性。但随着社会的不断发展，目前调度出发点已经从供给侧转为了需求侧，即通过市场调节的手段，从电力用户的角度出发，以调节其用电负荷的方法，达到提高电力资源应用平衡性的目的，实现网源荷协同调度。上述目的的达成要求电力领域必须保证具有大量的信息作为辅助，其中新能源出力波动便属于非常重要的一点信息。智能电网大数据技术的应用能够实现对数据的存储、出力以及调度，因此也就能够为电力领域提供所需要的辅助信息使得电力资源的优化调度能够更加顺利的实现。这是该技术发展的主要体现。 3.2负荷波动与新能源出力预测 电力用户的用电量会影响到电力负荷，而电力负荷的波动，则会影响到电力系统的运行情况。目前，对负荷波动的预测已经得到了重视。减小预测波动值与实际波动值之间的误差，能够使作出的电网管理决策更加合理，反之，则极容易导致电网运行产生风险。当前我国电力领域负荷预测主要采用的是通过对历史负荷数据的观察，以相似日法为基础，实现预测的方法。上述方法的实现所需要的历史数据量

银行,大数据,解决方案

银行,大数据,解决方案 篇一：商业银行-大数据建设规划 XX银行大数据建设规划 一、项目背景 随着信息化程度的加深，以及移动互联网、物联网的崛起，人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。在20XX年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度

挖掘数据内含的巨大价值，探索银行业务创新，实现数据资源的综合应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。 二、建设目标 以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据 资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程，建设智慧银行，提升核心竞争力。 （一）建设大数据基础设施，完善全行数据体系架构 构建大数据平台，实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。 （二）开发大数据资源，支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、

智能电网中的电力大数据应用

智能电网中的电力大数据应用 随着智能电网的快速发展，智能电表的大规模部署和传感、量测技术的广泛应用，电力工业产生了大量结构多样、来源复杂的数据。如何利用这些数据为电网的发展和运行控制提供科学的决策，是智能电网发展的迫切需求，也是实现智能电网坚强、自愈、兼容、经济、集成、优化特征的必由之路。可以說，大数据是实现智能电网“智能化”的重要工具。 标签：智能电网;大数据技术;应用 1 导言 电力能源作为一种不能大量存储的能源，其特点是“发电-输电-配电”同时完成，发电的多少要依据用电侧的符合进行调配，维持发电和用电的均衡，这对电网频率和电压的稳定起到了至关重要的作用。传统电网中，此项工作主要由各电力公司的电力调度负责，通过对输配电的控制使电网的频率和电压运行在允许的范围内。 2 智能电网大数据的特点 （1）电网数据规模大。智能电网不断发展，电网发电机节点及负荷节点数量不断增加，负荷与电网双向交互等因素，使得电网数据量迅速增加，数据存储大小已达到了PB量级[3]。 （2）电网数据高速性。该性能决定于电网最重要的属性，即实时保持电力电量平衡，但由于负荷波动的随机性，因此发电侧出力必须实时跟踪负荷变化。同时电网故障也具有随机性，为了保障电网可靠的运行必须立即处理，这要求电网必须快速传输，及时处理电网数据。 （3）电网数据的多样性。电网数据的多样性主要表现为来源多样性、存储类型多样性、采集周期多样性。数据来源多样性如图1所示，其数据来源渠道众多，不只是网内的数据，还有大量的网外数据;数据存储类型多样，除了传统的结构化数据，如用电信息采集系统、广域测量系统采集的大量有关负荷、发电机及线路的数据，同时营销系统、调度系统会产生大量的语音数据，变电站值班机器人及用于高压线路巡线直升机也会产生大量的图像等非结构化数据。采集周期多样性，不同的数据采样周期有较大的差别如保护系统监测周期为毫秒级，广域测量系统及大型负荷数据采集一般为分钟级，普通居民用户数据每天传输一次。 总之，智能电网中数据具有数据来源多，数据量大，数据结构复杂，数据增长速度快等特点。当前大数据技术在国内刚刚起步，利用相关技术对电网数据研究较少，智能电网采集到的数据涵盖信息广，不但可以反应电网内部的规律，而且在一定程度上可以折射出当前社会发展的状况。

基于大数据的智能电网信息调度算法分析与改进

基于大数据的智能电网信息调度算法分析与改进 摘要：随着电力需求的增长，智能电网建设也越发完善，大数据时代影响下， 智能电网信息调度算法也有了多样化发展。下面文章主要从大数据的基本概念出发，探讨大数据智能电网信息调度算法并提出具体的改进策略。 关键词：大数据；智能电网；信息调度；电网调度 引言 随着计算机网络时代快速发展,物理融合系统,结合了计算机系统和物理系统两者之间相互协作融合,对当今时代人们的生活方式产生了重要的影响。利用信息快 速调度是为了避免系统中信息与信息之间发生冲突,提高物理融合系统的服务性能。但现阶段客户请求信息快速调度的过程中存在用户效用指标量化不全面,导致任务 完成时间和系统信息请求时间较长、成本消耗较高等问题。在这种情况下,如何有 效的提出减短任务完成时间和系统信息请求时间、降低成本消耗的信息快速调度 方法成为当今社会亟待解决的问题。 1大数据的基本概念及关键技术 无法通过普通软件工具进行信息数据的管理和数据集合,通常称为大数据。在 企业制定长远发展战略的过程中,大数据起着至关重要的作用,大数据的特点是大量、多样且传播速度快。在海量数据中提取有效信息,并进行分析与处理,是实现 大数据利用效率提升的重要途径。在现代化电网建设过程中,社会对于数据收集、 整理和分析能力的要求逐步提升,只有通过大数据技术与电力信息技术的结合,才 能完善电力行业的发展模式,促进电力企业长远发展。数据分析技术包括机器学习 和数据挖掘等,应用于电力信息技术中能够实现电网安全在线分析、线路运行状态 分析和间歇性电源发电预测等功能,能够提升电力数据分析精确性。数据管理技术 包括数据抽取技术、数据融合技术、数据库技术等。数据处理技术包括流处理技术、分布式计算机技术和内存计算机技术,能够满足电力行业对电力数据处理的要求。 2大数据的智能电网信息调度算法分析 常见任务调度算法包括先进先出调度算法、公平调度算法、计算能力调度算 法等，其各自优缺点如下：第一，先进先出调度算法。在通常情况下，可以保证 算法有序性，然而也有着显著缺点，主要体现为，当部分任务持续时间较长时， 其它任务需要等待，可能导致响应时间被延长，降低系统处理效率。第二，公平 调度算法。该算法优点体现为，在资源配置过程中，不同任务所需资源类型和数 量基本相同，从而实现“公平性”。同时，这也会导致其存在如下缺点：对于部分 配置偏高的任务，可能存在资源不足情形，而对于配置偏低的任务，则可能导致 资源浪费，不利于提升资源整体利用效率。第三，计算能力调度算法。该算优点 体现为可以根据任务计算能力来调配资源。其缺点则体现为，在选择资源配置队 列时，不能够灵活设置队列组合；当任务较多是，预先设置的Sub Task Tracker可能不符合实际情况，导致系统效率降低。在大数据背景下，智能电网运行面临更 加复杂的情况，对系统处理能力、调度合理性有更高要求。相应地，就需要提出 更加适当的信息系统调度算法。 3大数据的智能电网信息调度的改进策略 3.1三层分析架构 对电网大数据关键技术进行分析,要了解大数据的分析架构,在行业中认为大数据分析架构主要结构为三层分析架构。其涵盖了数据访问、计算、数据隐私以及

探索大数据和人工智能最全试题

探索大数据和人工智能最全试题 1、2012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立()一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台。 A首席数据官 B.首席科学家 C.首席执行官 D.首席架构师 2、整个MapReduce的过程大致分为Map、Shuffle、Combine、()? A. Reduce B.Hash C. Clean D. Loading 3、在Spak的软件栈中,用于交互式查询的是 A. SparkSQL B.Mllib C.GraphX D. Spark Streaming 4、在数据量一定的情况下, MapReduce是一个线性可扩展模型,请问服务器数量与处( )理时间是什么关系? A数量越多处理时间越长

B.数量越多处理时间越短 C.数量越小处理时间越短 D.没什么关系 5、下列选项中,不是kafka适合的应用场景是? A.日志收集 B.消息系统 C.业务系统 D.流式处理 6、大数据的多样性使得数据被分为三种数据结构,那么以下不是三种数据结构之一的是 A.结构化数据 B.非结构化数据 C.半结构化数据 D.全结构化数据 7、下列选项中,不是人工智能的算法中的学习方法的是? A.重复学习 B.深度学习 C.迁移学习 D.对抗学习

8、自然语言处理难点目前有四大类,下列选项中不是其中之一的是 A.机器性能 B.语言歧义性 C.知识依赖 D.语境 9、传統的机器学习方法包括监督学习、无监督学习和半监督学习,其中监督学习是学习给定标签的数据集。请问标签为离散的类型,称为分类,标签为连续的类型,称为什么? A.给定标签 B.离散 C.分类 D.回归 10、中国移动自主研发、发布的首个人工智能平台叫做() A.九天 B. OneNET C.移娃 D.大云 11、HDFS中Namenodef的Metadata的作用是? A.描述数据的存储位置等属性 B.存储数据

智能电网大数据处理技术现状与挑战 项滦

智能电网大数据处理技术现状与挑战项滦 发表时间：2018-07-09T15:16:50.990Z 来源：《基层建设》2018年第14期作者：项滦[导读] 摘要：随着我国科学技术的不断进步和我国社会经济的快速发展，给人们带来了方便，使我国资源利用问题日益严重。 广东卓维网络有限公司广东省佛山市 528200 摘要：随着我国科学技术的不断进步和我国社会经济的快速发展，给人们带来了方便，使我国资源利用问题日益严重。经过长时间的研究，我国智能电网数据处理技术取得了前所未有的研究成果。然而，在我国智能电网大数据处理的应用中仍存在着一些不好的因素，还有很大的发展空间。本文论述了智能电网大数据处理技术的特点，论述了智能电网大数据处理技术的现状和挑战。 关键词：智能电网；大数据状态；技术随着我国智能电网建设的不断深入，电网运行监测数据不断增加，电力行业进入大数据时代。如今，智能电网大数据已成为一个热点话题，各界主要是因为云计算的使用会产生大量的，丰富的异构数据，为了能够有效地处理这些数据，社会各界投资更努力。根据新华社的数据，2016年，中国的百度在中国的大数据业务上投资了1000多亿元人民币。为了能够更好地应用和处理智能电网产生的数据，我国智能电网在数据处理、智能电网、大数据处理技术等方面的研究已逐步步入成熟阶段。不可否认的是，中国的电网大数据处理技术仍有很大的发展空间和长期的发展道路。因此，我们需要了解智能电网大数据处理技术的发展现状和面临的挑战，从而进一步完善智能电网数据处理的相关技术。 1 智能电网大数据处理技术发展现状 1.1 智能电网中的大数据 智能电网主要由电力企业管理数据、电力企业营销数据、电网运行和设备检测数据三部分组成。其一，电力企业管理数据在整个智能电网数据处理内容中是十分重要的，但程序和内容方面较为复杂。其二，电力企业营销数据在智能电网数据中也是最为关键的一部分，为此，诸多企业都投入大量的研发资金。人们一般都将智能电网大数据划分为结构化数据和非结构化数据，随着智能电网建设和互联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性：数据量大、处理速度快、数据类型多、价值大、精确性高。第一部分结构化数据是如今电力系统主要的数据形式，也是关系数据库中的数据；第二部分非结构化数据，是通过数据库二维逻辑呈现的数据。这也是人们越来越重视非结构化数据处理的重要原因。 1.2 处理技术复杂性 智能电网大数据处理成为社会各界热议的话题，可以说成为科学技术界所密切关注和研究的问题。智能电网大数据处理与社会经济的发展密切相关。我国如百度、阿里巴巴等都投入了大量的资金进行研发和改进，促进了我国智能电网大数据处理技术的发展。智能电网大数据处理技术自身存在着复杂性，可以说，现今我们使用的智能电网大数据处理技术有喜也有忧。可喜之处是，随着我国社会各界投入大量的研发资金，智能电网大数据处理技术取得了巨大的研发成果，促进了相关技术进一步发展，在智能电网联网方面得到了一定的改善和提升。但智能电网大数据处理技术存在的复杂性决定了相关方面的发展还远远不够，据调查显示，我国数据处理能力还尚未很好地解决数据大幅度增长的问题。我们以阿里巴巴集团旗下的支付宝为例，支付宝每日交易的数量达到了15TB；而平台每日处理的数据高达200PB，这一数据是十分巨大的，为了能够更好地处理这些数据，阿里巴巴集团在相关方面投入了大量的资金，并且也取得了巨大的研究进展和成果，获得了相应的回报。但在如今数据多样化增多的情况下，依然造成了智能电网大数据处理技术更为复杂的现状。 2 智能电网大数据处理技术面临的挑战 2.1 数据处理时效性 对于智能电网大数据处理技术而言，数据处理的速度十分重要。通常情况下，数据规模越大、量越多，数据处理的时间就会越长。传统的数据处理存储方法是根据数据量的大小而设计系统，在设计数据量范围内的数据处理非常快，但是对于超过了设计数据处理量时，就会造成处理系统瘫痪的可能，未能够实现处理大数据的功能要求。在未来智能电网大数据时代下，需要从发电、输电、用电等各方面进行实时数据处理。 2.2 数据可视化技术 如何在有限的空间下，把海量的智能电网数据以一种容易理解、直观的方式呈现给用户是一项非常具有挑战性的工作。数据可视化技术已被证明为一种最有效的处理大规模数据的方法，在实践中也得到了很好的应用。数据可视化技术通过将数据绘制成高分辨率、高精度的图片，并通过交互工具，有效地利用人的视觉，还可以实时修改数据处理，实现数据进行定性和观察及定量分析的功能。 2.3 异构数据处理技术 未来智能电网大数据存在调度、用电、配电、变电、输电、发电等多个环节数据，需要实现信息高效处理、流畅传输、全面采集等技术，支撑业务流、信息流、电力流的一体化。因此，需要实现大数据多元化异构数据信息的整合，并且建设智能电网大数据集约化配置数据中心。针对海量的异构数据构建一个模型，如何实现数据融合及有效存储和高效查询成为智能电网大数据处理异构数据亟待解决的问题。 2.4 大数据传输存储技术 随着智能电网大数据发展，电力系统在设备监测和运行过程中的全部数据都被记录下来，数据量越来越大，给电网运行传输设备及存储系统造成了巨大的负担，对我国智能电网大数据处理发展形成了一定的影响。在智能电网数据存储方面，采用分布文件保存的形式，能够实现对大量数据进行存储，但对电力数据实时处理存在一定的限制。因此要对电网中大数据进行实时分析和分类存储在电网非结构化数据处理中占比非常大。目前智能电网大数据处理技术面临最大的问题就是将海量的非结构化数据转换成结构化数据。 结语 综上所述，通过以上的智能电网数据处理技术发展现状的研究表明，智能电网数据和非结构化数据和结构化数据两个部分，也有智能电网的特点，大数据处理技术负责性。对于智能电网，分析了大数据处理技术的挑战，我们知道智能电网面临数据处理时效性、可视化、异构处理和大数据存储技术挑战的数据处理技术。在相关方面，各界已经取得了巨大的投入和努力，也有很大的提升，但是不可否认，我们仍然存在不足，今后加快智能电网的发展，大型数据处理在中国，我们需要认识到当前形势发展的挑战和机遇，以促进智能电网的发展，大型数据处理相关的技术在中国。

电力大数据与智能电网的发展与分析

电力大数据与智能电网的发展与分析 发表时间：2019-01-16T10:00:43.787Z 来源：《电力设备》2018年第26期作者：蒋南寇娟王艳辉常舒华马广郑杰李泽燃[导读] 摘要：智能电网随着信息化技术的发展不断进步。 （国网辽宁省电力有限公司盘锦供电公司辽宁盘锦 124010） 摘要：智能电网随着信息化技术的发展不断进步。在大数据环境下，为了可以更好的完善智能电网，提高智能电网的工作效率，提升智能电网的数据信息处理能力，提升智能电网的工作效率，提高智能电网的数据信息处理能力，提高整体运营的经济性，需要不断的完善智能电网的相关大数据平台。本文就针对电力大数据与智能电网的发展进行深入探讨。 关键词：电力；大数据；智能电网；发展 在电力体制改革的大背景下，智能电网能将发电出力、输电成本、电压变换、配网服务、用电需求和统筹调度等各个环节中各利益方进行协调，在保证系统各环节高效运行、减少运营成本以及环境影响的同时，尽最大能力提高系统的安全可靠和稳定运行，这是大量人力不可能实现的。自国家提出“互联网+”以来，大数据这个概念也慢慢浮出水面。互联网是大数据的纽带，而电力大数据是支撑电网安全运行的基础，同时也是减少人力资源投入的根本，因此，未来的电网发展，必须向着智能化与资源合理配置的方向发展。 1、智能电网电力大数据概述 新阶段电网基础设置很难满足信息资源日益增长的技术性要求，其中智能电网的应运而生能让数据信息的搜集、分析和存储等得到发展，但是要想让信息资源的利用效率增大，构建大数据平台能是实现其科学合理决策的关键。在这方面具十分成功的案例是Hadoop服务平台的系统构建情况，需要将大数据与这一平台进行更为有效的融合和对接，进而能更为大数据的关键新技术的作用发挥起到良好的保障作用。例如，在进行海量的信息搜集与处理的时候，能够提供电子表格数据，并利用信息分类技术，将其实用性更好的发挥出来，进而能在用户信息出来效率方面有所提升。另外，智能电网大数据平台主要是以分布式的文件处理方式为主，为能更好的实现Pb和Zb级别的数据存储功能，可以在分布式计算机技术实现的过程中，实现P6和Zb的数据查询功能。现阶段的大数据平台涵盖的内容十分广阔，其中有功能性的模块数据，包括大数据访问与调度框架、商业智能应用模块、数据仓库等相关的数据模块。因此，大数据平台的构建需要在数据关键技术运行效果持续升高的情况下对电力领域内企业的智能化电网的实现提供有效的保障，用以提升企业的自身结构发展也能让营销服务模式的优化创新能力得到极大的提升，进而能让电力企业持续稳健的发展下去。 2、智能电网中电力大数据关键技术的运用 2.1ETL关键技术 在电力领域的智能电网中，其大数据在分布上具有比较分散的特点，其数据也具有量大与种类多的特点，因此在数据处理方面具有一定难度。而在这基础上，智能电网大数据处理要遵循“数据集成—抽取—转换—剔除—修正”这一标准流程。在电力企业的数据集成方面，一般广泛采用ETL技术（数据仓库技术）。ETL技术可以包括三个部分，首先是数据抽取（Extract），即是将目的数据源系统需要的相关数据从数据源系统中抽取；其次是数据转换技术（Transform），即是将上一部分中抽取获得的数据根据一定要求而进行转换，变成另一种形式，与此同时，对存在偏差或错误的相关数据进行清洗或者加工；最后是数据加载技术（Load），即是前面所转换获得的数据进行加载，保存到目的数据源系统内。ETL关键技术是面向智能电网的电力大数据应用中的重要数据集成技术，因此，电力企业还需要对各项因素进行合理的综合考虑，与多种先进技术相融合而实现科学的数据集成化，促进电力企业发展。 2.2数据分析关键技术 对于大数据技术而言，其根本驱动力即是将信号向数据转化，进而通过数据分析能力转换为信息，再将信息进行提炼而形成知识，最后通过知识为决策与行动提供推动力。因此，在大数据背景下，电力数据分析技术能够在海量的信息数据中找到其隐藏的模态及规律，从而为决策者提供有效信息支持。针对电力企业而言，科学的决策能够为其生产经营服务的实施提供指导性力量，进而促进竞争能力的提高，创造更理想的经济效益。比如德国采用这项技术为其太阳能推广应用决策的制定提供了科学合理的支持，而且太阳能的广泛运用利于电力用户把多余的电能向电网中输入，这也是企业经济效益提升的新方法。 2.3数据处理关键技术 而在电力大数据中，其数据处理技术即是对采集的庞大数据进行分库、分区与分表的合理处理。首先，分库处理就是基于一定处理原则对不同数据库中进行利用率低下数据的输入，进而实现其数据库相关数据利用率提高的目的。其次，对数据进行分区处理，即是对不同文件进行通表数据的合理载入，进而较好地减少大型表压力，使得数据访问性能运行更佳。而对数据进行分表处理，即是基于一定数据处理原则进行不同数据表的建造，降低单表压力。另外，构建并行式和纵列式数据库，利于强化数据的加载性能，利于实时查询功能的实现。比如，结构化查询语言（SQL）和Map Reduce（映射与归约）的有效结合，利于强化数据库的数据处理性能，增强其抗压弹性。 3、电力大数据应用前景分析 3.1电网状态监测 目前，电网监测与诊断主要侧重单台独立设备，不同设备的测试数据无法共享，这无法满足电力企业和电力用户对电网状态监测的信息需求。电力大数据条件下的智能监测技术可以实时给出电网的状态数据，如设备信息、测试数据、传输数据、误差分析数据、定期巡检数据等。面对海量、分布、异构的状态数据，传统的数据存储和分析方法会遇到很大的困难，但大数据云计算技术为解决这些问题提供了可能。不同于其他网络大数据，电网大数据的特点表现为实时性、易失性、无序性以及无限性，并且数据的价值会随着时间的推移而逐渐减小。笔者结合电网大数据的特点以及自身工作。 3.2电网损耗监测 电力系统是一个复杂的电能损耗网络，对电力系统电能损耗的分析是非常困难的。现阶段对电力系统网络损耗的分析均是离线进行的，存在诸多问题，例如仪表数据不完整、仪表数据误差等。随着智能电网普及不断深化，各类电子元器件的类型和数量都呈现指数增长趋势，极大地增加了电力系统电能损耗分析的难度。而利用大数据云计算技术有望实现实时或者准实时的网络损耗计算。基于电力大数据进行精确的电网损耗监测，需要对所有电网结构内的电表数据进行科学合理的建模，并基于EMS完成电力损耗计量，这需要进行海量计算，目前的计算能力远不能满足实际需求。利用大数据的高速云计算功能可以显著提高电网损耗数据的计算速度。实际测试结果表明，基于大数据的电网损耗计算基本可以实现实时或者准实时输出电网损耗监测结果。

2019年基于大数据和人工智能的视频云平台项目可行性研究报告

2019年基于大数据和人工智能的视频云平台项目可行性研究报告

目录 一、大数据和人工智能的视频云平台项目概况 (3) 二、项目实施的必要性 (3) （1）行业发展与新技术融合的现实需求 (3) （2）顺应市场发展趋势，增强企业竞争力的需要 (4) ①提升资源使用效率 (4) ②为数据的融通提供可能 (5) ③解决海量视频图像信息大数据和人工智能处理的算力问题 (5) ④开放的云模式构建繁荣生态 (5) ⑤更为强大的智能化功能 (6) 三、项目实施对企业未来盈利能力的影响 (6) 四、项目实施对偿债能力和资本结构的影响 (6) 五、项目投资概算 (6) 六、项目建设期及实施进度 (7)

一、大数据和人工智能的视频云平台项目概况 企业计划在现有智能视频产品研发中心基础上组建基于大数据和人工智能的视频云平台开发团队，开发新一代视频云平台产品，提供对结构化、非结构化数据的统一存储、查询、分析和二次加工能力。 新一代视频云平台将利用云计算、大数据、智能视频等新技术升级改造现有视频图像监控系统，有效解决视频图像数据采集整合、价值信息提取、数据结构化处理及存储应用模式变革等问题，建设云架构下视频信息应用平台，为安防实战应用提供服务支撑。通过本项目的开发，企业将进一步提升服务于平安城市、雪亮工程和智慧城市项目的能力，满足市场发展需求，新一代视频云平台的具体建设内容包括：视频云基础设施平台、SVAC视音频数据解析平台、SVAC结构化大数据平台以及丰富多样的业务应用系统。 二、项目实施的必要性 新一代视频云平台产品有助于进一步提升中星技术的技术领先地位，保持企业在行业中的竞争力。 同时可以为政府、公安用户实现从网络监控向智能监控的迁移，扩大企业在平安城市、雪亮工程和智慧城市的市场份额，带动企业收入和利润的不断增长。 （1）行业发展与新技术融合的现实需求 云计算、物联网、大数据以及人工智能等创新技术的不断发展，推动着安防行业与IT技术愈发紧密的融合，云安防时代即将到来。

大数据智能分析软件

现在，公众安全的配置，网络系统的安全、信息中心，信息安全系统持续不断的发展和改革的扩展，迫切需要各种信息应用系统，灵活，高效的资源和云计算平台，以有效整合公共安全的各种信息资源，提高公安系统的稳定性、可扩展的，安全性。本文就为大家介绍一下大数据智能分析软件。 目前，互联网正在经历新一轮的信息技术变革，如物联网、移动互联网、云计算等。新技术往往是信息技术安全性的方法和推动变革的重要引擎，已成为公安信息资源战役的重要组成部分，也带给了整个社会管理创新显著变化。 “警务大数据分析系统”是一项非常具有创新性的公安管理建设，“警务”的改变在推动变为由“管制型”往“服务型公安”。这是经过近几年的发展，它变得越来越明显的特点是数字信息网络，提高了人、警、事的一个互动力，警务功能相互作用的能力随着智能化程度的提高和工作负荷传递的智能化程度的提高，“公安大数据分析系统”的建设已成为现代信息技术革命的时代潮流。 公安部正在推动的“扁平化指挥模式”是尽量降低指挥水平。现有的智能信息管理的优化，减少了中间环节，提高了快速反应能力，提高教学和减少战斗中，响应时间缩小一线部门和时空机制之间的距离。 并基于电信运营商、交管部门、数据中心融合空间采集、公安部门、社会公众的移动位

置等数据形成大数据环境，建立大数据分析平台，支持警情处理、宏观决策、情报分析等大数据专题应用。 大数据系统项目的信息分析的主要目标：建立密集的信息技术支持系统；建立专业的警察命令和战斗团队；建立扁平、快速的指挥调度体系等。 南京西三艾电子系统工程有限公司被评选为2012年度“中国100家具发展潜力品牌企业”、“中国杰出创新企业”等荣誉称号。公司96%的员工为大学本科或以上学历，还有多名离退休的高级工程师做为本公司的技术顾问。

试述智能电网大数据处理技术现状与挑战

试述智能电网大数据处理技术现状与挑战 随着科学与电力技术的推动与发展，人们对于电力资源的需求越来越高，娱乐、教育、交通等各行各业对电力需求高，智能电网作为新型电力技术手段，同时也要保证在经济、安全的同时，降低输电环节的风险。在电力的运输过程中系统将产生海量的电力数据。随着大数据技术的兴起，这些电力数据将被应用于电力系统的数据挖掘分析，以便更好的应对智能电网在现实中遇到的各种难题。本文主要对现智能电网建设的技术现状与技术挑战进行试述。 标签：智能电网、大数据处理技术、现状、挑战 随着科技的进步与发展，如今每家每户都安装上了智能电表，作为智能电网中高效、便捷、安全管理终端，智能电表为电力公司与用户建立起信息传输的桥梁，而在智能电表的实际运用过程中将不断的产生TB级甚至更多的离散大数据，这些数据来源不统一，分布较散，来自不同部门的数据又具有一定的相似性，可聚类，同时也能直观的反映出目前城市的社会经济水平，说到底，智慧电力与每一位城市用户生活息息相关，并且具有内在联系。 1.智能电网大数据处理技术现状 1.1电网中的大数据 大数据技术的兴起带领着传统行业迈上了智能化的步伐，如今，大數据技术已被应用于零售、传统媒体、交通、安防等各行各业。在此基础上，智能电网大数据技术得到了广泛的应用，其中智能电表作为智能电网中的数据指导，依靠着先进的传感技术与实时在线检测技术走进家家户户，方便电力数据收集，智能电网中的大数据具备以下几项特点： 分布广泛且数据量大。智能电网大数据处理技术面对的首要问题就是数据规模庞大，随着我国供电网络的持续发展，各个网络分配节点与负荷节点与日俱增，同时供电网络与各负荷节点又相互影响制约着，这表明整个电网的数据量正在大规模增长，与之对应的，数据处理与存储的工作量也在加大。 类型众多且处理速度快。智能电网数据类型结构复杂且类型繁多，涵盖了结构化、非结构化与半结构化数据，且不同类型的数据，采样的频率和要求的性能指标也是不一样的。例如，设备终端的运行状态检测数据中的绝缘放电数据，其查询频率要大于上百kHz或者GHz，而普通的数据采样频率只需半小时一次即可。速度快表现在智能电网的对数据的处理要求必须要达到毫秒级的响应，超短时间内完成对海量数据的分析能力，并且提供决策辅助。这与传统的数据挖掘分析不同，对实时性、在线的数据流分析要求较高。 1.2数据传输与存储技术