文档库 最新最全的文档下载
当前位置:文档库 › 智能电网大数据平台及其关键技术研究

智能电网大数据平台及其关键技术研究

智能电网大数据平台及其关键技术研究
智能电网大数据平台及其关键技术研究

智能电网大数据平台及其关键技术研究

智能电网是大数据的重要技术应用领域之一。智能电网大数据结构复杂、种类繁多,具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。智能电网大数据平台是大数据挖掘的基础,通过智能电网大数据平台可实现智能电网全数据共享,为业务应用开发和运行提供支撑。

引言

智能电网是以物理电网为基础,将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网,见图1。它涵盖发电、输电、变电、配电、用电和调度等各个环节,对电力市场中各利益方的需求和功能进行协调,在保证系统各部分高效运行、降低运营成本和环境影响的同时,尽可能提高系统的可靠性、自愈性和稳定性。随着智能电网的发展,电网在电力系统运行、设备状态监测、用电信息采集、营销业务系统等各个方面产生和沉淀了大量数据,充分挖掘这些数据的价值具有重要的意义。

图1 智能电网示意图

大数据是近年来受到广泛关注的新概念,一般是指无法在可容忍的时间内用传统的IT技术、软硬件工具和数学分析方法,对其进行感知、获取、管理、处理和分析的数据集合。智能电网被看作是大数据应用的重要技术领域之一。目前许多学者正在进行智能电网大数据研究,包括发展战略研究、大数据技术研究、应用研究等。

智能电网大数据应用众多,涉及电网安全稳定运行、节能经济调度、供电可靠性、经济社会发展分析等诸多方面,进行智能电网大数据分析需要统一智能电网大数据,并且由于应用众多,对计算、存储、网络等性能提出了较高要求,因此需要构建面向智能电网应用的统一大数据处理平台。本文首先分析智能电网大数据特点以及业务应用需求,接着结合业务应用介绍大数据关键技术,进而提出智能电网大数据平台和应用框架。

1智能电网大数据概述

1.1智能电网大数据特点

根据数据来源的不同,可以将智能电网大数据分为电力企业内部数据和电力企业外部数据。电力企业内部数据源主要包括广域量测系统(WAMS)、数据采集与监控系统(SCADA)、在线监测系统、用电信息采集系统、生产管理系统、能量管理系统、配电管理系统、客户服务系统、财务管理系统等;电力企业外部数据源包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据分散放置在不同地方,由不同单位/部门管理,具有分散放置、分布管理的特性。

智能电网大数据结构复杂、种类繁多,除传统的结构化数据外,还包含大量的半结构化、非结构化数据,如客户服务中心信息系统的语音数据,设备在线监测系统中的视频数据与图像数据等。这些数据的采样频率与生命周期也各不同,从微秒级、分钟级、小时级,一直到年度级,见图2。

图2 智能电网数据采用频率和生命周期

1.2大数据业务需求分析

智能电网大数据业务应用根据对象不同可分为面向电力公司运行管理、面向电力用户服务、面向政府部门辅助决策等3类。面向电力公司运行管理类应用包括电力系统稳定性分析与控制、输变电设备故障诊断与状态检修、配电网运行状

态评估与预警、配电网故障定位、负荷预测、城市电网规划等;面向电力用户服务类应用包括用户用电行为分析、需求侧管理、能效分析、供电服务舆情分析等;面向政府部门辅助决策类应用包括社会经济状况分析与预测、政府决策支持与相关政策评估,如电价政策、新能源补贴政策等是否合理等。这些需求需要综合电网运行状态信息、用户用电信息、客服系统信息、气象数据、经济社会数据和互联网数据等。

2智能电网大数据关键技术

根据信息处理流程,大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用6个环节,其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。

2.1数据集成技术

智能电网大数据具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据,首先就需要对众多数据源的数据进行集成,通过数据抽取、转换、剔除、修正等处理,建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。

ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load,即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能,各个 ETL工具一般会进行一些功能上的扩充,例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统,这些系统类型和特征复杂,在实时性要求、数据规模、数据类型等方面存在较大的差异,在智能电网大数据集成中需要综合考虑各种因素,在集成技术上单一技术可能很难实现,需要结合多种技术来实现智能电网大数据的集成。

2.2数据存储技术

在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。

2.2.1 分布式文件系统

分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。

Hadoop 是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。

2.2.2 分布式数据库

大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用 HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。

2.2.3 关系型数据库系统

智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。

智能电网大数据结构复杂、种类繁多,其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能,从整体上对存储在不同系统上的数据进行统一管理,并提供数据索引和查询功能。综合以上分析,数据存储对比见表1。

2.3数据处理技术

智能电网大数据的应用类型多,需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求,大数据处理技术分流处理、批处理、内存计算、图计算等。

2.3.1 流处理

流处理的处理模式将数据视为流,源源不断的数据组成了数据流,当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点,因此通常不会对所有的数据进行永久化存储,而且数据环境处在不断的变化之中,系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有 Twitter Storm和Yahoo S4。

Storm是分布式实时计算系统,主要用于流数据处理,可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息,处理之后将结果写入到某个存储中去。Storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以 Storm的速度较快。Storm弥补了Hadoop批处理所不能满足的实时要求,经常用于实时分析、在线机器学习、持续计算、分布式远程调用和ETL 等领域。

2.3.2 批处理

Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map- Reduce是一个使用简易的软件框架,用于大规模数据集的并行运算,主要用来

进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上,并以一种可靠容错的并行处理大规模数据集。Map-Reduce 的核心思想是将问题分而治之,并把计算推到数据所在的服务器,有效地避免数据传输过程中产生的大量通信开销。

Map-Reduce的优点主要有2个方面:①不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,如自动并行化、负荷均衡和灾备管理等,这将极大简化开发工作;②伸缩性非常好,集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求,只能进行大规模离线数据分析。

2.3.3 内存计算

随着内存价格的不断下降,服务器配置的内存容量不断增大,用内存计算来完成大规模数据处理成为可能。与 Hadoop Map-Reduce批处理相比,内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法,它可以和各种不同的计算模式相结合,包括批处理、流处理、图计算等。比如Spark 是分布式内存计算的一个典型并行计算框架,Spark基于Map-Reduce算法实现的分布式计算,拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce 的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark 具有更好的性能,适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。

智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式,针对电网安全在线分析、电网运行监控等业务,数据实时性要求高、需要作出迅速响应,可以采用流处理内存计算;而对于用户用电行为分析等业务,实时性和响应时间要求低,可以采用批处理方式。综合以上分析,数据处理方式对比见表2。

2.4数据分析技术

数据分析是智能电网大数据处理的核心,由于大数据的海量、复杂多样、变化快等特性,大数据环境下的传统小数据分析算法很多已不再适用,需要采用新的数据分析方法或对现有数据分析方法进行改进。

数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等,其中每一类包括众多的算法。分类包括支持向量机、决策树、贝叶斯、神经网络等技术;关联分析包括Apriori、FP-growth等算法;聚类分析分为划分法、层次法、密度法、图论法、模型法等,具体算法如k-means 算法、K-MEDOIDS算法、Clara 算法、Clarans算法、SOM神经网络、FCM聚类算法等;异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进,实现分布式处理。

机器学习是面向任务解决的基于经验提炼模型实现最优解设计的计算机程序,通过经验学习规律,一般应用在缺少理论模型指导但存在经验观测的领域中。机器学习分为归纳学习、分析学习、类比学习、遗传算法、联接学习、增强学习等。深度学习是机器学习研究中的一个新的领域,2006年由Hinton等提出,其目的在于建立模拟人脑进行分析学习的神经网络,目前深度学习在语音识别、图像识别、机器翻译等领域进行了应用,并取得了较好的效果。

智能电网大数据挖掘主要为结构化数据,同时也存在文本、图像、音频、视频等数据,在智能电网大数据应用中需要针对具体的业务采用合适的数据分析方法。

3智能电网大数据平台

3.1核心平台框架

智能电网大数据应用需要构建在大数据平台之上,大数据平台为应用提供统一数据接入、清洗、存储、管理、分析计算等功能。大数据核心平台由基础资源、数据存储、数据分析与处理、数据管理、平台服务和平台管控等组成,见图3。

图3 智能电网大数据核心平台框架图

基础资源层主要包括计算资源池、存储资源池、网络资源池,为虚拟化的资源,能够实现弹性的资源供给和扩展。基于存储资源池实现大数据平台的各种数据存储功能,包括分布式文件系统、分布式数据库、传统数据库和数据仓库。数据管理实现大数据平台的接入管理、数据清洗、数据统一建模、数据检索、数据服务等功能。数据分析与处理是大数据平台的核心,大数据平台根据具体业务需求能够提供批处理、流处理等功能,同时平台能够提供通用的数据分析算法包或工具,包括数据挖掘、统计分析、机器学习等。平台管控包括资源调度、集群管控、安全管控、用户管理等,实现对平台的监控、调度和管理。

3.2应用框架

结合智能电网的应用需求,在大数据核心平台之上构建各类大数据应用。面向智能电网大数据的应用框架见图4。应用整体框架分数据集成与交互层、大数据核心平台层、应用层。

图4 智能电网大数据应用框架

4结语

1)智能电网大数据数据量大、类型多样、数据特征复杂,同时业务应用需求场景多,且存在交叉融合,对现有数据处理方式和平台提出了很高的要求,需要采用新的大数据处理技术来支撑。

2)智能电网大数据关键技术包括数据集成、数据存储、数据处理、数据分析等技术,需要结合具体业务的特点和需求选择相应的技术。

3)智能电网大数据平台需要构建统一数据模型来实现智能电网各类数据的融合和共享,基于全数据进行业务的开发和应用,智能电网大数据平台具有数据共享、应用开发和业务运行3方面功能。

4)随着智能电网的发展,数据将成为核心资源,大数据平台将承载智能电网众多各类型应用,其基础作用将越来越重要。

原标题:智能电网大数据平台及其关键技术研究

智能电网 大数据

智能电网和大数据 1 智能电网 智能电网(smart power grids),就是电网的智能化,也被称为“电网2.0”,它是建立在集成的、高速双向通信网络的基础上,通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用,实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标,其主要特征包括自愈、激励和包括用户、抵御攻击、提供满足21世纪用户需求的电育濒量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。 在现代电网的发展过程中,各国结合其电力工业发展的具体清况,通过不同领域的研究和实践,形成了各自的发展方向和技术路线,也反映出各国对未来电网发展模式的不同理解。近年来,随着各种先进技术在电网中的广泛应用,智能化已经成为电网发展的必然趋势,发展智能电网已在世界范围内形成共识。 从技术发展和应用的角度看,世界各国、各领域的专家、学者普遍认同以下观点:智能电网是将先进的传感测量技术、信息通信技术、分析决策技术、自动控制技术和能源电力技术相结合,并与电网基础设施高度集成而形成的新型现代化电网。 2 智能电网的发展 2.1 美国 2.1.1 电网2030规划 2003年2月,美国时任总统布什提出“电网2030规划”,指出要建设现代化电力系统,以确保经济安全,同时促进电力系统自身的安全运行。该规划的主要内容有:为所有用户提供高度安全、可靠、数字化的供电服务,在全国实现成本合理、生产过程无污染、低碳排放的供电,经济实用的储能设备,建成超导材料的骨干网架。为有效促进智能电网建设,美国于2007年12月颁布“能源独立与安全法案2007",确立了国家层面的电网现代化政策,设立新的专责联邦委员会,并界定其职责与作用,建立问责机制,同时建立激励机制,促进股东投资。 2.1.3 奥巴马政府施政计划 美国总统奥巴马为振兴经济,从节能减排、降低污染角度提出绿色能源环境

智能电网大数据技术发展研究

智能电网大数据技术发展研究 随着我国科学技术的迅猛发展,智能电网大数据逐步成为了我国电力发展的重要技术。智能电网的发展不仅仅是最新科学技术的研究成果,更是当前电力行业的主要发展趋势。在电力领域使用智能电网大数据技术,除了能够提高其在我国的电力行业影响力之外,还对电力行业的可持续发展起到了巨大的推动作用。不仅如此,我国在智能电网大数据方面的研究上,已经取得了非常显著的成果。这就预示着我国在电力行业的已经取得了极大的进步。 标签:智能电网;大数据;技术 1电力大数据 1.1电力大数据内涵 电力大数据指的是智能电网在电力生产、电力传输、电力消费等各个环节所产生的不同类型的数据,是电力系统运行中信息的高度融合。电力大数据的表达方式很多,除了一般的数字、符号外,还可以通过图片、视频等媒体形式展现出来。 1.2电力大数据与智能电网之间的联系 当下随着我国智能电网技术高速发展,也加强了对信息通信技术以及电子技术等应用,促进了信息间的交互。智能电网可以将客户的用电信息进行详细的收集起来,通过对电量的耗损情况进行分析从而获取相应的电力大数据,运用现代数据分析处理技术分析获得的数据,并提取出有效的信息。这些信息可以帮助运行人员对不同区域的电网展开宏观调控,以更好的满足各个地区的用电需要。但就目前来看,我国电网大数据的发展还存在一定的不足,大数据平台构建还需进一步完善,这样才能更好的促进智能电网的发展,保证大数据分析技术的有效利用。 2智能电网领域中大数据技术的应用 2.1智能电网大数据挖掘与采集技术 在智能电网的管理工作当中,数据内容上和传统的电网建设工作相比,数据更加庞大和复杂,同时在运行安全以及管理等工作当中都存在明显的差异。智能电网在工作过程当中,会受到其他数据的干扰和影响,因此在数据的管理和控制工作当中,运用大数据收集和挖掘技术可以大大提高智能电网数据处理的有效性,这也是当前大数据处理技术当中重要的工作内容。在大数据处理工作当中,通过大数据的挖掘和信息采集技术,主要表现为以下几个方面的特性:第一,在全面的数据挖掘工作当中,智能化管理工作所涉及到的管理数据,不但集中在电网企业和一些重点的变电设备当中,同时也直接表现在一些和电网相关的电力用

大数据技术在智能电网中的应用研究

大数据技术在智能电网中的应用研究 发表时间:2019-07-05T12:29:35.697Z 来源:《电力设备》2019年第4期作者:张瑜 [导读] 摘要:大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用,它取代了传统的数据处理技术,使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。 (内蒙古电力(集团)有限责任公司信息通信中心内蒙古呼和浩特 010010) 摘要:大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用,它取代了传统的数据处理技术,使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。大量的数据给智能电网建设带来了机遇与挑战,电力企业在发展中要顺应这一时代潮流,积极的实现管理工作的信息化,促进电力企业在电网管理方面工作质量的提升,保证社会生产活动的有效进行。 关键词:大数据;智能电网;应用;高效 引言 在整个智能电网系统中都有大数据的应用,电网运用及设备、数据的检测、企业营销数据、企业管理数据等是智能电网系统应用的表现。随着社会经济的不断进步,电网规模也随之扩大。逐渐提升接受、处理数据量在输电线路中的状态。因此,需要更加专业的技术人员进行数据处理以及设备维护,同时增强处理输电线路中大数据的力度,着力剖析输电线路系统的检测性能,逐渐顺应智能电网发展的需求。 1大数据技术在智能电网中的应用存在的问题 1.1 电力系统本身的发展情况制约 它是一个规模宏大、牵连甚广的传统行业,在引入新技术、新理念的过程中必然经历较长时期的磨合和研发,现有的电力信息系统要想适应大数据技术就要做到从上至下全面的技术匹配,这显然是一个庞大的工程;另一方面是大数据技术的发展并不成熟,它的理论架构和应用案例都还处于探索和研发的阶段,由于规模的原因,大数据平台往往意味着巨大的建设投资,给建设主体部门带来了巨大的投资风险。 1.2 数据收集和处理障碍 智能电网大数据平台的建设在数据获取上也存在着很大的障碍,不仅有硬件技术上的不足,而且各部门之间的沟通不足和独立运行也和大数据技术的集中管理存在一定的共享矛盾。但也不是意味着全面的开放信息共享就是好的方法,相反,如果这样做的话,我们必须充分考虑到数据的安全问题,如何设定适用范围,如何注重隐私保护,如何合法合规地公开使用,这是智能电网大数据发展中必须考虑的问题。各个部门之间的信息传递较为缓慢,尤其是各个部门在工作中所形成的独立信息库,因为技术和资金的双重制约,使得大数据时代下的信息共享难以实现。虽然现在的信息处理和数据挖掘技术已经非常的完善,但是因为很多信息属于半结构和非结构数据,这些数据如果不纳入大数据库中,就会使得数据库中的样本数据较少,但是如果放入数据库中,就会因为不能够迅速的转化为多维数据表,出现数据无效的现象,其中图像就是这一数据类型的典型代表。 2 大数据的关键技术 大数据技术在智能电网中运用的关键技术就是数据融合技术,在现在的国家电网中,无论是输配电的使用信息,还是用户用电的具体信息,都会因为办公的计算机化,使得这些信息能够被收入到大数据的信息库中,使用数据挖掘以及数据处理处理技术,就能够很快的将这些技术进行完成,最大限度的推进电网正常运转。同时,由于大数据技术在使用中存在着多维度的特性,所以为了强化这一数据分析的能力,保证数据分析所产生的结果,能够给大数据的使用带来便利,就需要从三个维度去对电力舍不得当前状态进行分析。大量的实践数据表明,这三个维度在电力设备是否能够正常工作的判定条件,分别为关键参量、气象、地理位置。但是这三个维度的信息在来源和储存方式都不尽相同,所以在进行数据分析工作时,需要将这些数据按照一定的逻辑进行储存,保证后续进行的数据分析工作能够有效进行。 3 智能电网大数据技术的发展措施 3.1 大数据传输和存储技术 电力系统、智能电网发展变革的趋势中,记录具体的数据运行和设备状态,可以发现大量的数据存储问题,在监控装置中具有较大的压力,因此,电力系统智能化的发挥受到一定限制。增强网络数据传输的关注量,就是有效利用数据压缩来实现。依据数据存储的具体情况,利用分布式的文件系统完成存储工作是智能电网数据运行的方式,针对大数据进行存储,不能很好的提升电力系统的实时性。所以需要根据大数据的性能、分析要求,具体分类对其进行存储,针对实时数据的要求,运用数据库系统进行相关工作。采用传统的方式进行数据存储,这是核心业务数据的处理方式,数量较大的非结构化数据,主要采用分布式的文件系统。 电网检测数据的实时性在国内的云平台还不能得到有效的保障,所以,设置出前置机在数据接入和信息集成前段,将报警信息以及检修数据实时接受,在不能准确回应的时候,电网检测将取代云平台的作用,其负责暂时存储数据。比较智能电网格式和传统商业数据的关系,二者区别明显,都有自身的特征,能够产生较大的生成速度在检测故障以及输变电设备的过程中。当前有效提升后续数据分析和计算的方式就是着力研究智能电网存储格式的细节技术。 3.2 实时数据的处理技术 随着社会大众提升关注数据库内存的关注度,相关技术人员更加重视数据内存技术的提升,将研发重点放在内存中。相比较内存的数据以及磁盘,区别就是速度比较快。可以提高应用的性能,依据目前电力系统的发展现状,运用内存数据库的形式比较广泛,能够有效提升数据的实时性。智能电网会整合以及集成各个环节和用户的数据信息,从而分析各地的电能消费状况,及时采取整改措施。状态监测具有相对严格的要求,在数据存储以及处理平台方面。运用云计算技术,能够处理大数据,但是能够进一步提升监测数据存取性的是云平台,同时满足实时性的具体要求。如果新型绿色能源发电功率不稳定,就会影响电网的正常工作,这对于电网调度来说是不小的压力。根据目前国家电网调度以及控制模型的分析,不可预测性是小型发电系统的特征,因此,需要创建新型的电网状态监控系统,详细跟踪电网的实时状态。 3.3 面向电力用户服务的需求 电力用户是用电的消费者,具有主体的地位,随着当前经济社会的不断发展,用电用户对于电力的需求呈现出更高水平的发展趋势,通过技术的不断创新和发展,能够有效的满足于电力用户的服务需求,并为之提供更加优质的供电服务,这也是电力行业向服务型行业转

智能电网大数据的核心技术

智能电网大数据的核心技术 发表时间:2017-11-16T20:34:47.230Z 来源:《电力设备》2017年第20期作者:王辉 [导读] 摘要:我国电网在快速发展建设过程中,智能电网已经成为电网发展必然趋势。 (国网江苏省电力公司检修分公司南通分部江苏) 摘要:我国电网在快速发展建设过程中,智能电网已经成为电网发展必然趋势。智能电网在建设过程中,最为主要应用领域为大数据。 关键词:智能电网;大数据技术;研究 引言 智能电网在建设过程中,实际上就是将先进科学技术应用到电网体系内,进而有效满足电力市场发展实际需求。智能电网所应用的技术主要分为三种,分别为控制技术、计算机技术、信息通信技术,可以有效对电力市场有关利益方之间的矛盾,最大程度提高电力系统运行效率及质量,有效降低电力企业运营成本,降低电力系统对生态环境所造成的不良影响。特别是智能电网内应用大数据技术,已经成为电力系统发展建设必然趋势。所以,有关人员正在积极对智能电网采取针对性手段,对智能电网大数据应用情况进行完善,有效提升电力系统稳定性,为人们提供更加优质服务。 1电网大数据概述 智能电网大数据主要表示电力信息化建设过程中,借助电力实时检测系统、智能变电站及智能电表等数据类别,推动电网智能化发展建设。电网建设规模在逐渐增加过程中,智能电网大数据主要可以分为两种类别,分别为外部大数据与内部大数据。智能电网大数据主要具有三个显著特征,分别为大规模、高速性及多样性。 智能电网大规模主要表示电网在运营过程中,所产生的数据数量不断增加。在这种情况下,电网负荷也显著提升;高速性主要表示智能电网在实际运行过程中,容易受到外部环境因素影响,智能电网可以对不良影响进行高速反应。主要原因是由于电网所产生的负荷运动较为随机,电网运行在出现问题情况下,为了能够保证电网可以稳定高效运行,智能电网可以在最短时间内对电网负荷运动进行处理;多样性主要表示智能电网所产生的数据类别较多,不仅仅包含智能电网所产生的数据,同样还包含网外所产生的数据。 简而言之,智能电网大数据所具有的特征主要为:智能电网所产生的数据全部为分布式管理数据源,产生大量数据信息,数据包含多个维度,类别也较多,在实际应用过程中,可以为用户及经济带来较大经济价值。智能电网所产生的数据积累数量在不断增加过程中,数据来源也开始越加广泛,数据类别也逐渐增加,数据结构越加繁琐。在这种情况下,研究人员需要对大数据技术进行深入分析研究,我国主要对大数据核心技术进行分析。 2智能电网大数据的核心技术 2.1数据存储技术 (1)分布式存储技术。分布式存储技术是指利用网络共享每一台计算机上的磁盘空间,从而将所有分散的存储资源整合成为一个虚拟的存储设备,最终实现数据分散进行存储的技术。 (2)非关系型数据存储技术。其没有固定的表结构,一般也不需要连接操作。因此,针对大数据的存取,该技术具有传统的关系型数据库技术所不具备的优异性能。 (3)内存存储技术。内存数据库是一种直接把数据存放在内存中,从而实现快速存储、读取操作的数据库。内存进行存储、读取操作的速度要大幅提升,因此将数据存储在内存中能够显著地增强数据库的性能。内存数据库不再使用传统的磁盘数据管理的方法,而是运用新的体系结构从而实现在内存中存储全部数据,同时改善了并行操作、数据缓存以及快速算法等内容,因此数据的处理速度要比传统数据库快10倍之多。 2.2数据管理技术 数据管理技术是指将来自不同数据源的、具有不同结构(结构化、半结构化、非结构化)的大数据进行收集、整理、清洗、转换以后加载到一个新的数据源之中,从而对这些数据源实行集中管理、对外部访问提供统一服务的数据集成技术。由于智能电网大数据具有多样性的特征,因此对智能电网大数据进行分析和处理之前,首先需要对数据源的数据进行清洗和过滤以确保数据的质量以及可靠性;然后将清洗和过滤之后的数据通过抽取和集成以便获得实体和关系;最后再对数据实施关联和聚合并且采用统一的数据结构进行存储。 2.3数据分析技术 数据分析技术是指从海量的数据中自动搜索出隐藏于其中有着特殊关系性(模态与规律)的信息,从而为决策人员提供决策支持的技术。与其他行业相比,电力行业对于电力系统的安全、持续、稳定运行以及电力发输变配用的实时性等要求更加严格,因此智能电网大数据对数据处理和分析结果的精确度要求也更高。而传统的数据挖掘技术面对智能电网中高速增长的、海量的、半结构化和非结构化的大数据已经很难适用,因此需要拓展新的面向海量数据进行挖掘的智能电网大数据分析技术。智能电网大数据的数据分析技术包括:模式识别技术、图像处理技术和机器学习技术等核心技术,具体有智能电网安全在线分析技术、间歇性电源发电预测技术、设施线路运行状态分析技术等。 (1)模式识别。模式识别是指处理和分析用以表征事物或现象的多种形式的信息(数值、文字、逻辑关系等),从而实现对事物或现象进行描述、识别、分类以及解释、说明的一种技术,它是信息科学和人工智能科学的必不可少的组成部分。 (2)图像处理。图像处理是运用计算机开展图像分析,从而获得所需结果的一种技术。 (3)机器学习。机器学习是指专门研究如何让计算机能够模仿或实现人类的学习行为,进而有效地获取新知识或新技能,以便重新组织已经存在的知识框架以持续提升计算机性能的一种技术。 2.4数据处理技术 (1)实时计算。实时计算是指根据计算需求从海量数据中实时进行排重、排名、汇总等运算,并为用户提供实时响应,主要针对海量数据且无法预算的情况。 (2)批量计算。批量计算是指针对静态海量数据的批量处理,即当开始计算之前数据应准备到位,重点用于数据挖掘和验证业务模型。

智能电网大数据技术发展研究 张格琳

智能电网大数据技术发展研究张格琳 发表时间:2018-08-20T11:03:03.030Z 来源:《电力设备》2018年第15期作者:张格琳程思远程芬任国卉 [导读] 摘要:随着科学技术的飞速发展,智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术,智能电网大数据技术对我国电力行业有着极大的影响,同时对我国电力行业的可持续发展提供巨大的作用。 (国网山西省电力公司运城供电公司山西运城 044000) 摘要:随着科学技术的飞速发展,智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术,智能电网大数据技术对我国电力行业有着极大的影响,同时对我国电力行业的可持续发展提供巨大的作用。本文就针对智能电网大数据技术的概念及技术发展进行深入的探讨。 关键词:智能电网;大数据;技术;发展 计算机信息技术的发展将人类带入了数据社会,带动了互联网、物联网、智能电网、新能源、智能城市、网络金融等现代服务业发展,数据的充分利用和挖掘正成为各行各业运营和发展的引擎。但这个引擎正面临着数据量大而复杂等巨大的挑战。各种业务数据正以几何级数的形式爆发,其格式、收集、储存、检索、分析、应用等中存在诸多问题,不再能以传统的信息处理技术加以解决。数据的格式也由传统的结构化数据转化为非结构化数据,数据处理的实时效应要求也更高。大数据技术经过几年的发展,已经形成了一个完整的生态技术圈,包括海量数据的的存储及分析技术。 1、智能电网中大数据与云计算的基本概念 大数据是指海量、异构、多态的数据集合,不但包括传统的符号、数字等结构化数据,也包括图像、声音、手写字体等非结构化数据。但不是数据多就能够称为大数据,必须要同时满足体量巨大、类型多样、价值密度低以及处理速度快这四个特点,才能够被称为大数据。在电力行业内,电网运行的情况及日常的监测数据等、电力企业的营销数据,以及企业的管理数据信息等可以被称为是大数据。随着智能电网的不断发展,这些数据都在以指数级的速度增长。智能电网中的数据以传统的关系型数据库中存储的结构化数据为主,包括业务数据、表单数据等。而非结构化数据主要是视频监控数据以及一些图像数据等。随着电力行业的发展和自身的特点,智能电网中的非结构化数据的比重越来越重,但分析和处理的难度却较大。另外,电力行业数据还在气象预测、能源分析等行业中有着应用意义,对智能电网的大数据分析就显得格外重要。最后,在智能电网的调动工作中,业务管理数据要求是实时数据,对实时数据的处理难度更大。云计算(CloudComputing)是指在网络技术高速发展的基础上,通过网络存储、负载均衡、虚拟化、分布式计算等现代计算机处理技术,将网络中多个计算机实体融合起来,建立一套具有强大计算能力的系统,为用户提供方便、可靠、强大的计算能力。通过不断提高云平台能力,减少用户在本地实体中投资的资金。随着云计算的不断发展,传统的依靠个人终端的存储和计算模式将逐步被为新的信息存储、处理模式所替代,数据、资源及应用程序将被保存在云平台服务器中。用户不但可以从云平台中获取数据,还可以完成应用程序的二次开发。因此,近年来云计算技术得到了飞速发展。云计算是通过云端的服务器集群提供计算、存储和处理服务,用户通过网络或其他工具直接访问。 2、发展动力和存在障碍研究 2.1智能电网大数据的发展动力 近年来,大数据来势汹汹,对传统数据商业分析模式带来了毁灭性的冲击。电力公司往往资产巨大,对于资产的监控测量和运用会产生大量复杂的数据,通过数据分析可以有效提高电网资产的设备管理水平。通过数据分析,还可以在实现数据一体化的基础上,提高电能质量,对于特殊情况进行有效的停电管理,从而减少线路损失,有效预防用于窃电,以及其他一些因素造成的损失。并且从智能电网大数据中分析出用户的用电行为,电力公司可以依照这些数据设置合适的鼓励机制和需求管理机制。以智能家居产品为例子,智能家居产品在为居民用户提供节能减少花销的同时,而且还对电力企业改善用户侧需求管理,减少二次装机中发挥了重要作用。电网作为能源与用能的载体,受到国家的重视与长期保护,尽管对于智能电网大数据以往的发展中起了限制作用,但随着国家对于智能电网大数据的重视,相关政策依旧会为电力公司发展智能电网大数据提供强而有力的支持。 2.2智能电网大数据的障碍 电力系统作为我国的一个传统行业,深受国家政策的保护,因而在发展中逐渐出现了跟不上时代脚步的现象。经验足的大都是些老一辈的技术员工,他们对于大数据的基本理念以及大数据在智能网络中的价值缺乏正确的理解。国内智能电网大数据技术起步晚,相交于国外技术有所欠缺,并且国外没有向中国这样庞大的人口,因而即便有先进的技术也不能直接照搬照抄,智能电网大数据技术仍需要进行探索。智能电网大数据技术的研发与实验都需要大量的资金投入,现今智能电网大数据缺乏明确的收益,因而很难引起投资人的兴趣与青睐。最后就是数据的隐私与安全问题,有些数据电力公司需要保证其隐秘性,因而意思保护与客户资料安全成为了发展与推广智能电网大数据技术的首要问题。 3、智能电网大数据技术的发展 3.1源网荷协同调度 根据可持续发展理念的要求,应将新能源应用到各个领域当中,以实现人与自然的和谐发展。本着上述原则,电力领域对新能源的使用水平也开始逐渐提高,如何对新能源进行准确的预测,成为了电力领域关注的重点问题。对调度方法的合理应用是解决该问题的途径。在过去很长一段时间内,电力领域一直采取传统的调度方法,通过增加系统的旋转备用解决问题,即从供给侧入手,提高电力资源应用的平衡性。但随着社会的不断发展,目前调度出发点已经从供给侧转为了需求侧,即通过市场调节的手段,从电力用户的角度出发,以调节其用电负荷的方法,达到提高电力资源应用平衡性的目的,实现网源荷协同调度。上述目的的达成要求电力领域必须保证具有大量的信息作为辅助,其中新能源出力波动便属于非常重要的一点信息。智能电网大数据技术的应用能够实现对数据的存储、出力以及调度,因此也就能够为电力领域提供所需要的辅助信息使得电力资源的优化调度能够更加顺利的实现。这是该技术发展的主要体现。 3.2负荷波动与新能源出力预测 电力用户的用电量会影响到电力负荷,而电力负荷的波动,则会影响到电力系统的运行情况。目前,对负荷波动的预测已经得到了重视。减小预测波动值与实际波动值之间的误差,能够使作出的电网管理决策更加合理,反之,则极容易导致电网运行产生风险。当前我国电力领域负荷预测主要采用的是通过对历史负荷数据的观察,以相似日法为基础,实现预测的方法。上述方法的实现所需要的历史数据量

银行,大数据,解决方案

银行,大数据,解决方案 篇一:商业银行-大数据建设规划 XX银行大数据建设规划 一、项目背景 随着信息化程度的加深,以及移动互联网、物联网的崛起,人们产生的数据急剧膨胀,传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展,大数据技术逐步成熟,可以帮助企业整合更多的数据,从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”,逐步进入实施验证阶段。人们越来越期望能实现海量数据的处理,从数据中发现价值。数据越来越成为一种重要的资产。在20XX年Gartner技术炒作曲线的报告中也体现了大数据技术将走向实际应用。 我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融,核心是数据,载体是平台,关键是客户体验,发展趋势是互联网与金融的深度融合,要提升大数据贡献度。因此,要深化互联网思维理念,稳步推进互联网金融产品和服务模式创新,积极利用移动互联网、大数据等新技术新手段,沉着应对冲击和挑战,实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理,深度

挖掘数据内含的巨大价值,探索银行业务创新,实现数据资源的综合应用、深度应用,已成为提升企业核心竞争力,实现企业信息化可持续发展的关键途径。按照行领导部署,信息科技部组织力量对大数据技术进行研究,完成对市场上主流的大数据平台及应用技术预研,征求业务部门建议,提出项目建设要求。 二、建设目标 以大数据项目建设作为契机,凝聚我行优势力量,全面梳理数据 资源,完善数据体系架构,自主掌握大数据关键技术,加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程,建设智慧银行,提升核心竞争力。 (一)建设大数据基础设施,完善全行数据体系架构 构建大数据平台,实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用,极大地丰富我行的信息资源,同现有的企业级数据仓库和历史数据存储系统一起,形成基础数据体系,提供支撑经营管理的各类数据应用。 (二)开发大数据资源,支撑全行经营管理创新 建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市,提供高性能可扩展的分布式计算引擎,通过数据挖掘、计量分析和机器学习等手段,对丰富的大数据资源进行开发使用,并将数据决策化过程结合到风控、营销、

智能电网中的电力大数据应用

智能电网中的电力大数据应用 随着智能电网的快速发展,智能电表的大规模部署和传感、量测技术的广泛应用,电力工业产生了大量结构多样、来源复杂的数据。如何利用这些数据为电网的发展和运行控制提供科学的决策,是智能电网发展的迫切需求,也是实现智能电网坚强、自愈、兼容、经济、集成、优化特征的必由之路。可以說,大数据是实现智能电网“智能化”的重要工具。 标签:智能电网;大数据技术;应用 1 导言 电力能源作为一种不能大量存储的能源,其特点是“发电-输电-配电”同时完成,发电的多少要依据用电侧的符合进行调配,维持发电和用电的均衡,这对电网频率和电压的稳定起到了至关重要的作用。传统电网中,此项工作主要由各电力公司的电力调度负责,通过对输配电的控制使电网的频率和电压运行在允许的范围内。 2 智能电网大数据的特点 (1)电网数据规模大。智能电网不断发展,电网发电机节点及负荷节点数量不断增加,负荷与电网双向交互等因素,使得电网数据量迅速增加,数据存储大小已达到了PB量级[3]。 (2)电网数据高速性。该性能决定于电网最重要的属性,即实时保持电力电量平衡,但由于负荷波动的随机性,因此发电侧出力必须实时跟踪负荷变化。同时电网故障也具有随机性,为了保障电网可靠的运行必须立即处理,这要求电网必须快速传输,及时处理电网数据。 (3)电网数据的多样性。电网数据的多样性主要表现为来源多样性、存储类型多样性、采集周期多样性。数据来源多样性如图1所示,其数据来源渠道众多,不只是网内的数据,还有大量的网外数据;数据存储类型多样,除了传统的结构化数据,如用电信息采集系统、广域测量系统采集的大量有关负荷、发电机及线路的数据,同时营销系统、调度系统会产生大量的语音数据,变电站值班机器人及用于高压线路巡线直升机也会产生大量的图像等非结构化数据。采集周期多样性,不同的数据采样周期有较大的差别如保护系统监测周期为毫秒级,广域测量系统及大型负荷数据采集一般为分钟级,普通居民用户数据每天传输一次。 总之,智能电网中数据具有数据来源多,数据量大,数据结构复杂,数据增长速度快等特点。当前大数据技术在国内刚刚起步,利用相关技术对电网数据研究较少,智能电网采集到的数据涵盖信息广,不但可以反应电网内部的规律,而且在一定程度上可以折射出当前社会发展的状况。

如何利用大数据技术做好智能电网规划

如何利用大数据技术做好智能电网规划 发表时间:2020-01-03T17:16:01.217Z 来源:《河南电力》2019年7期作者:普颖[导读] 很多数据都具有高速性、规模性以及多样性的特点,一些数据关键技术的发展对于不同的领域都产生了非常关键的影响,应用大数据技术,能够给应用领域的发展提供更有价值信息的数据。(玉溪元江供电局云南省玉溪市 653300)摘要:很多数据都具有高速性、规模性以及多样性的特点,一些数据关键技术的发展对于不同的领域都产生了非常关键的影响,应用大数据技术,能够给应用领域的发展提供更有价值信息的数据。如今,在智能电网发展的过程中,电力系统逐渐朝着数字化、信息化以及 智能化的方向发展,在此发展过程中,对大数据技术的使用需求也在不断提升。鉴于此,本文就如何利用大数据技术做好智能电网规划展开探讨,以期为相关工作起到参考作用。 关键词:电力大数据;智能电网;关键技术 1.智能电网和大数据及云计算关系辨析 1.1电力大数据技术的发展需求 如今,在智能电网不断发展的过程中,电力系统逐渐朝着智能化以及信息化的方向发展,从而伴随越来越多的数据源出现。电力设备状态监测系统以及智能电表的应用,能够产生出大量的数据源。传统的数据处理技术在新形势的发展之下,已经无法发挥出相应的作用,这就需要大力推广使用新的数据,因此,电力大数据关键技术的使用需求也逐渐增加。如今,电力大数据已经贯穿在变电以及输配电等各个生产领域,并且也成为了能源变革过程中电力工业技术创新发展的关键。 1.2智能电网及大数据和云计算关系 大数据与智能电网的发展过程之间的关系越来越密切,智能电网的发展主要是将信息技术、计算机技术以及通信技术结合起来加以应用,以此来达到提升能源使用效率的目的,这样一来也能够有效确保供电安全,从而最大限度降低电能的损耗。智能电网是借助多用户用电信息来对电的生产进行消耗以及分配,使用现代化的信息技术以及网络通信技术,可以实现信息交互,从而最大限度地保障电网设备中的信息交换。此外,云计算和大数据之间也有着密切的联系,主要表现在大数据是根植于云计算的,云计算数据的管理分析以及存储都需要立足于大数据技术,借助云计算技术的超强计算功能,可以起到提升数据处理质量的目的,这样一来也能够便于提供大量的服务信息。大数据和云计算之间是相辅相成的关系,二者之间有着不同的侧重点,云计算可以整合内部计算处理与存储资源,以此来强化电网的交互能力以及处理能力。大数据、智能电网以及云计算之间的关联性比较强,云计算技术是在传统的数据分析技术以及挖掘技术上延续而来的,并且也是数据量级增长到一定阶段之后的业务需求以及知识挖掘的产物。 2新型电网规划数据获取方式通过全面系统科学的信息数据可以为新型电网规划工作提供更好的信息支撑。你以前所用的信息数据获取方法进行对比,大数据技术在获取数据方面的效率以及质量有着更加强大的优势。在当下新型电网数据信息采集的过程中,为了切实保证数据的全面性和准确性,必须有效应用遥感采集技术和数据辨识技术来实现对当下信息数据的高效高效获取。在现阶段数据获取中,最为重要的就是通过合理科学的预处理手段来有效帮助信息获取工作的开展。通过利用遥感和航拍技术,可以直观、直接准确的实现对相关图像信息数据的采集,但是该方法在应用过程中相对比较复杂,而且储存难度也相对较高,所以并不能直接应用到规划方案设计工作中。在具体工作中,对于数据可以分为数据辨识和整理两部分。 3.智能电网应用的电力大数据关键技术 3.1电气大数据的集成管理技术 所谓的电力企业数据集成管理技术主要是将不同的格式、来源以及性质的数据在逻辑上综合体现出来,并且给系统存储一些比较稳定而且可以反映出历史变化的数据。电气企业通过应用集成管理技术,可以有效解决一些电力企业内部系统中信息孤岛以及数据冗余的问题。除此之外,大数据还应该体现出多样化的特点,这也就说明数据来源的广泛性,并且加剧了数据处理工作的困难程度。为了能够获取大数据的处理效果,就需要抽取数据源并且做到集成处理,之后再在数据源中取得与实体相关的一系列关系,将其经过一定的关联聚合之后,使用统一的结构完成对这些数据的存储,从而有效确保未来数据的可靠性。 3.2复杂数据处理技术 3.2.1数字化监测技术 运用数字化监测技术,可以很好地满足大数据精细化管理工作的需求,并且从不同时间以及各个方位出发落实监测工作。在运用智能电网的基础之上,使用大数据技术可以确保电力系统处于良好的运行状态,并且还可以起到提升设备运行安全性以及可靠性的目的。与此同时,电脑终端的使用可以很好地确保电气大数据编程以及继电保护器的有效运行,便于不同节点的数据能够顺利发送以及接收,将数字化监测技术的效能充分发挥出来。除此之外,使用数字化监测技术,可以实现对电力系统的综合操控,推动电力系统的健康快速发展。 3.2.2智能化数据监控技术 智能化数据监控技术在21世纪已经得到了广泛应用,并且逐渐被应用到了智能电网控制系统中,在确保系统的安全调控方面发挥了非常关键的作用。通常情况下来说,组成智能化数据监控技术的元件有电缆、摄像头以及监视器,实现对电力系统运行状况的实施监控。摄像头在智能化数据监控系统中可以作为前端设备使用,主要用来完成信息的采集工作,电缆作为传输设备,可以实现数据的传输,监视器不仅能够发挥出记录以及显示的作用,同时还可以对智能电网进行处理以及控制。 3.2.3关系型数据库系统 结构化数据在智能电网中依然处于主体地位,这就要求做好结构化数据的存储以及管理工作。借助Oracle这一关系可以有效运用数据库管理系统,并且还具备功能强大以及使用方便的优势,能够在多种数据环境中很好地运行。除此之外,运用智能化电网,具有数据繁杂的特点,面对这种情况,应该结合电网实际特征,合理选择数据存储方式。 3.3数据分析技术

基于大数据的智能电网信息调度算法分析与改进

基于大数据的智能电网信息调度算法分析与改进 摘要:随着电力需求的增长,智能电网建设也越发完善,大数据时代影响下, 智能电网信息调度算法也有了多样化发展。下面文章主要从大数据的基本概念出发,探讨大数据智能电网信息调度算法并提出具体的改进策略。 关键词:大数据;智能电网;信息调度;电网调度 引言 随着计算机网络时代快速发展,物理融合系统,结合了计算机系统和物理系统两者之间相互协作融合,对当今时代人们的生活方式产生了重要的影响。利用信息快 速调度是为了避免系统中信息与信息之间发生冲突,提高物理融合系统的服务性能。但现阶段客户请求信息快速调度的过程中存在用户效用指标量化不全面,导致任务 完成时间和系统信息请求时间较长、成本消耗较高等问题。在这种情况下,如何有 效的提出减短任务完成时间和系统信息请求时间、降低成本消耗的信息快速调度 方法成为当今社会亟待解决的问题。 1大数据的基本概念及关键技术 无法通过普通软件工具进行信息数据的管理和数据集合,通常称为大数据。在 企业制定长远发展战略的过程中,大数据起着至关重要的作用,大数据的特点是大量、多样且传播速度快。在海量数据中提取有效信息,并进行分析与处理,是实现 大数据利用效率提升的重要途径。在现代化电网建设过程中,社会对于数据收集、 整理和分析能力的要求逐步提升,只有通过大数据技术与电力信息技术的结合,才 能完善电力行业的发展模式,促进电力企业长远发展。数据分析技术包括机器学习 和数据挖掘等,应用于电力信息技术中能够实现电网安全在线分析、线路运行状态 分析和间歇性电源发电预测等功能,能够提升电力数据分析精确性。数据管理技术 包括数据抽取技术、数据融合技术、数据库技术等。数据处理技术包括流处理技术、分布式计算机技术和内存计算机技术,能够满足电力行业对电力数据处理的要求。 2大数据的智能电网信息调度算法分析 常见任务调度算法包括先进先出调度算法、公平调度算法、计算能力调度算 法等,其各自优缺点如下:第一,先进先出调度算法。在通常情况下,可以保证 算法有序性,然而也有着显著缺点,主要体现为,当部分任务持续时间较长时, 其它任务需要等待,可能导致响应时间被延长,降低系统处理效率。第二,公平 调度算法。该算法优点体现为,在资源配置过程中,不同任务所需资源类型和数 量基本相同,从而实现“公平性”。同时,这也会导致其存在如下缺点:对于部分 配置偏高的任务,可能存在资源不足情形,而对于配置偏低的任务,则可能导致 资源浪费,不利于提升资源整体利用效率。第三,计算能力调度算法。该算优点 体现为可以根据任务计算能力来调配资源。其缺点则体现为,在选择资源配置队 列时,不能够灵活设置队列组合;当任务较多是,预先设置的Sub Task Tracker可能不符合实际情况,导致系统效率降低。在大数据背景下,智能电网运行面临更 加复杂的情况,对系统处理能力、调度合理性有更高要求。相应地,就需要提出 更加适当的信息系统调度算法。 3大数据的智能电网信息调度的改进策略 3.1三层分析架构 对电网大数据关键技术进行分析,要了解大数据的分析架构,在行业中认为大数据分析架构主要结构为三层分析架构。其涵盖了数据访问、计算、数据隐私以及

大数据技术在智能电网的运用分析

大数据技术在智能电网的运用分析 摘要:在电力行业中,智能电网的建设正逐渐步入成熟阶段,且建设的步伐非 常快。其中,大数据技术的应用提高了电网日常管理的工作质量,实现了电网安 全监控的目的。为此,本文主要探析大数据技术在智能电网中的运用。 关键词:智能电网;大数据;云计算;应用 前言 智能电网是指电网的智能化(或电网2.0),其主张利用双向数字技术来控制发电厂向用户供电,从而实现节约能源、降低损耗和增强电网可靠性的目的。大 数据是指无法用常规工具在一定时间内抓取、管理和处理数据的数据集合。大数 据技术是指从不同类型的数据中,快速获取高价值的信息的能力。目前,智能电 网建设仍是一个比较新的话题,其中大数据技术的应用非常普遍。下面,笔者首 先分析智能电网建设的制约因素,然后再重点探讨如何实现大数据技术在智能电 网中的高效应用,最后展望大数据技术的应用发展。 一、智能电网建设的制约因素 与其他行业不同的是,智能电网是在既有电网基础上,以既有电力工程项目 为依托而建设的,所以说智能电网建设的制约因素众多,如:我国电力行业具有 自然垄断的属性,其经济增长空间有限,所以运用现代信息技术实现的经济增长 效应、市场扩张非常有限,从而大大降低了电力企业投资智能电网项目的积极性;电力产品的形态固定,且兼具提供公众服务的功能,所以很难运用现代信息技术 实现创新增值;由于上游原材料价格的影响,电力产品很难大幅度压缩成本和降 低费用,所以在降低成本方面现代信息技术的作用有限;大数据等现代化技术的 应用要求充分考虑到技术的可实施性,外加工程实践与理论研究不能划等号,所 以智能电网的建设应处理好成本与效益的关系。 在智能电网中,大数据技术支持基建决策,能为用户提供针对性的服务,且 提高了电网智能控制能力和实现了电网协调管理,所以说大数据技术在智能电网 中的运用具有现实价值。 二、大数据技术在智能电网中的运用 (一)智能调度 在智能电网中,大数据技术的应用实现了电网的智能调度,从而推动着电网 运行向高效化、一体化方向发展。目前,在一定区域范围中,通常用1台监测设 备负责监测整个区域电网的运行状态,且不同监测设备不能共享数据,所以无法 统筹分析监测设备的运行状况。同时,监测设备的监测数据包含一、二次设备的 基本信息、运行信息、缺陷记录、巡检记录等,可见其数据量异常庞大,且数据 的类型包含非结构化、结构化数据。对于以上问题,大数据分析技术提供了很好 的解决办法。 (二)电能损耗分析 目前,电力部门通常通过测量变压器端的电能表来分析电网的电能损耗,其 是一种基于离线数据的统计分析法。但是,电能表本就存有误差,外加数据采集 过程深受不确定性因素的影响,所以要求先对电能表数据予以后处理,再剔除其 中的缺陷数据,然后再进行数据分析。为了降低电力企业的经营成本和高效分析 电能损耗,大数据技术的运用变得至关重要,即:先就电能表的数据建立精确的 模型,再运用云计算技术实时收集和分析数据。其中,云计算是一种资源交付和 使用模式,即指通过网络获得应用需要的资源。

探索大数据和人工智能最全试题

探索大数据和人工智能最全试题 1、2012年7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立()一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台。 A首席数据官 B.首席科学家 C.首席执行官 D.首席架构师 2、整个MapReduce的过程大致分为Map、Shuffle、Combine、()? A. Reduce B.Hash C. Clean D. Loading 3、在Spak的软件栈中,用于交互式查询的是 A. SparkSQL B.Mllib C.GraphX D. Spark Streaming 4、在数据量一定的情况下, MapReduce是一个线性可扩展模型,请问服务器数量与处( )理时间是什么关系? A数量越多处理时间越长

B.数量越多处理时间越短 C.数量越小处理时间越短 D.没什么关系 5、下列选项中,不是kafka适合的应用场景是? A.日志收集 B.消息系统 C.业务系统 D.流式处理 6、大数据的多样性使得数据被分为三种数据结构,那么以下不是三种数据结构之一的是 A.结构化数据 B.非结构化数据 C.半结构化数据 D.全结构化数据 7、下列选项中,不是人工智能的算法中的学习方法的是? A.重复学习 B.深度学习 C.迁移学习 D.对抗学习

8、自然语言处理难点目前有四大类,下列选项中不是其中之一的是 A.机器性能 B.语言歧义性 C.知识依赖 D.语境 9、传統的机器学习方法包括监督学习、无监督学习和半监督学习,其中监督学习是学习给定标签的数据集。请问标签为离散的类型,称为分类,标签为连续的类型,称为什么? A.给定标签 B.离散 C.分类 D.回归 10、中国移动自主研发、发布的首个人工智能平台叫做() A.九天 B. OneNET C.移娃 D.大云 11、HDFS中Namenodef的Metadata的作用是? A.描述数据的存储位置等属性 B.存储数据

智能电网大数据处理技术现状与挑战 项滦

智能电网大数据处理技术现状与挑战项滦 发表时间:2018-07-09T15:16:50.990Z 来源:《基层建设》2018年第14期作者:项滦[导读] 摘要:随着我国科学技术的不断进步和我国社会经济的快速发展,给人们带来了方便,使我国资源利用问题日益严重。 广东卓维网络有限公司广东省佛山市 528200 摘要:随着我国科学技术的不断进步和我国社会经济的快速发展,给人们带来了方便,使我国资源利用问题日益严重。经过长时间的研究,我国智能电网数据处理技术取得了前所未有的研究成果。然而,在我国智能电网大数据处理的应用中仍存在着一些不好的因素,还有很大的发展空间。本文论述了智能电网大数据处理技术的特点,论述了智能电网大数据处理技术的现状和挑战。 关键词:智能电网;大数据状态;技术随着我国智能电网建设的不断深入,电网运行监测数据不断增加,电力行业进入大数据时代。如今,智能电网大数据已成为一个热点话题,各界主要是因为云计算的使用会产生大量的,丰富的异构数据,为了能够有效地处理这些数据,社会各界投资更努力。根据新华社的数据,2016年,中国的百度在中国的大数据业务上投资了1000多亿元人民币。为了能够更好地应用和处理智能电网产生的数据,我国智能电网在数据处理、智能电网、大数据处理技术等方面的研究已逐步步入成熟阶段。不可否认的是,中国的电网大数据处理技术仍有很大的发展空间和长期的发展道路。因此,我们需要了解智能电网大数据处理技术的发展现状和面临的挑战,从而进一步完善智能电网数据处理的相关技术。 1 智能电网大数据处理技术发展现状 1.1 智能电网中的大数据 智能电网主要由电力企业管理数据、电力企业营销数据、电网运行和设备检测数据三部分组成。其一,电力企业管理数据在整个智能电网数据处理内容中是十分重要的,但程序和内容方面较为复杂。其二,电力企业营销数据在智能电网数据中也是最为关键的一部分,为此,诸多企业都投入大量的研发资金。人们一般都将智能电网大数据划分为结构化数据和非结构化数据,随着智能电网建设和互联网的应用,非结构化数据呈现出快速增长的势头,其数量将大大超过结构化数据。电力大数据的特性满足大数据的五个特性:数据量大、处理速度快、数据类型多、价值大、精确性高。第一部分结构化数据是如今电力系统主要的数据形式,也是关系数据库中的数据;第二部分非结构化数据,是通过数据库二维逻辑呈现的数据。这也是人们越来越重视非结构化数据处理的重要原因。 1.2 处理技术复杂性 智能电网大数据处理成为社会各界热议的话题,可以说成为科学技术界所密切关注和研究的问题。智能电网大数据处理与社会经济的发展密切相关。我国如百度、阿里巴巴等都投入了大量的资金进行研发和改进,促进了我国智能电网大数据处理技术的发展。智能电网大数据处理技术自身存在着复杂性,可以说,现今我们使用的智能电网大数据处理技术有喜也有忧。可喜之处是,随着我国社会各界投入大量的研发资金,智能电网大数据处理技术取得了巨大的研发成果,促进了相关技术进一步发展,在智能电网联网方面得到了一定的改善和提升。但智能电网大数据处理技术存在的复杂性决定了相关方面的发展还远远不够,据调查显示,我国数据处理能力还尚未很好地解决数据大幅度增长的问题。我们以阿里巴巴集团旗下的支付宝为例,支付宝每日交易的数量达到了15TB;而平台每日处理的数据高达200PB,这一数据是十分巨大的,为了能够更好地处理这些数据,阿里巴巴集团在相关方面投入了大量的资金,并且也取得了巨大的研究进展和成果,获得了相应的回报。但在如今数据多样化增多的情况下,依然造成了智能电网大数据处理技术更为复杂的现状。 2 智能电网大数据处理技术面临的挑战 2.1 数据处理时效性 对于智能电网大数据处理技术而言,数据处理的速度十分重要。通常情况下,数据规模越大、量越多,数据处理的时间就会越长。传统的数据处理存储方法是根据数据量的大小而设计系统,在设计数据量范围内的数据处理非常快,但是对于超过了设计数据处理量时,就会造成处理系统瘫痪的可能,未能够实现处理大数据的功能要求。在未来智能电网大数据时代下,需要从发电、输电、用电等各方面进行实时数据处理。 2.2 数据可视化技术 如何在有限的空间下,把海量的智能电网数据以一种容易理解、直观的方式呈现给用户是一项非常具有挑战性的工作。数据可视化技术已被证明为一种最有效的处理大规模数据的方法,在实践中也得到了很好的应用。数据可视化技术通过将数据绘制成高分辨率、高精度的图片,并通过交互工具,有效地利用人的视觉,还可以实时修改数据处理,实现数据进行定性和观察及定量分析的功能。 2.3 异构数据处理技术 未来智能电网大数据存在调度、用电、配电、变电、输电、发电等多个环节数据,需要实现信息高效处理、流畅传输、全面采集等技术,支撑业务流、信息流、电力流的一体化。因此,需要实现大数据多元化异构数据信息的整合,并且建设智能电网大数据集约化配置数据中心。针对海量的异构数据构建一个模型,如何实现数据融合及有效存储和高效查询成为智能电网大数据处理异构数据亟待解决的问题。 2.4 大数据传输存储技术 随着智能电网大数据发展,电力系统在设备监测和运行过程中的全部数据都被记录下来,数据量越来越大,给电网运行传输设备及存储系统造成了巨大的负担,对我国智能电网大数据处理发展形成了一定的影响。在智能电网数据存储方面,采用分布文件保存的形式,能够实现对大量数据进行存储,但对电力数据实时处理存在一定的限制。因此要对电网中大数据进行实时分析和分类存储在电网非结构化数据处理中占比非常大。目前智能电网大数据处理技术面临最大的问题就是将海量的非结构化数据转换成结构化数据。 结语 综上所述,通过以上的智能电网数据处理技术发展现状的研究表明,智能电网数据和非结构化数据和结构化数据两个部分,也有智能电网的特点,大数据处理技术负责性。对于智能电网,分析了大数据处理技术的挑战,我们知道智能电网面临数据处理时效性、可视化、异构处理和大数据存储技术挑战的数据处理技术。在相关方面,各界已经取得了巨大的投入和努力,也有很大的提升,但是不可否认,我们仍然存在不足,今后加快智能电网的发展,大型数据处理在中国,我们需要认识到当前形势发展的挑战和机遇,以促进智能电网的发展,大型数据处理相关的技术在中国。

相关文档
相关文档 最新文档