智能电网大数据处理技术应用现状及困境探讨

龙源期刊网 https://www.wendangku.net/doc/7417377831.html,

智能电网大数据处理技术应用现状及困境探讨

作者：李杨

来源：《硅谷》2014年第14期

摘要随着我国社会经济的快速发展，电力事业得到了长足的发展，特别是科技的进步，使得智能电网取得了一定程度的发展。智能电网的建立，有利于将电力系统发电、输电、配电、用电实现全系统管理，随着越来越多的新型技术应用到电力网络中，特别是云计算平台的应用，大量的异构数据积累，大数据处理技术的研究也应运而生。在新的时期，智能电网大数据处理面临着新的机遇与挑战，文章就分析智能电网大数据处理技术应用现状，并探讨在新时期大数据处理技术面临的机遇与挑战。

关键词智能电网；大数据处理技术；应用现状；困境

中图分类号：TM743 文献标识码：A 文章编号：1671-7597（2014）14-0091-01

在智能电网系统中，系统运行的各个环节都会产生大量的数据，如智能电表安装、电力运行等环节。电力企业在一定时间间隔内对用电客户的用电数据信息进行收集，从而构成电网客户端大数据，根据对这些数据的分析更好的了解用电用户的实际情况，以便科学合理的设置大数据处理系统。

1 智能电网大数据概述

1.1 智能电网系统中的大数据

电网系统中的数据可以分为三种类型，包括电网运行中设备监测数据、电网运营数据以及电网管理数据。

根据电网数据内在结构，可以将其分为结构数据以及非结构数据。其中结构数据包括关系库中储存的数据，随着我国科技的进步，结构数据不断的增长。跟结构数据不同的是，非结构数据不方便用二维逻辑表现，主要包括图形处理数据以及视频监控产生的数据。由于智能化的发展，非结构数据每年以60%的指数上涨，逐渐成为智能电网中重要的组成部分。

与传统电网不同的是，智能电网具有很强的智能化，这就需要能够对电网运行实时数据及时的获取，目前智能电网大数据表现在以下几个方面。

1）为了能够实现对电网运行中实时数据的获取，就必须设置越来越多的采集点，监测设备应用也越来越多，每一秒都会产生大量的数据。

智能电网 大数据

智能电网和大数据 1 智能电网 智能电网(smart power grids)，就是电网的智能化，也被称为“电网2.0”，它是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用，实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，其主要特征包括自愈、激励和包括用户、抵御攻击、提供满足21世纪用户需求的电育濒量、容许各种不同发电形式的接入、启动电力市场以及资产的优化高效运行。 在现代电网的发展过程中，各国结合其电力工业发展的具体清况，通过不同领域的研究和实践，形成了各自的发展方向和技术路线，也反映出各国对未来电网发展模式的不同理解。近年来，随着各种先进技术在电网中的广泛应用，智能化已经成为电网发展的必然趋势，发展智能电网已在世界范围内形成共识。 从技术发展和应用的角度看，世界各国、各领域的专家、学者普遍认同以下观点:智能电网是将先进的传感测量技术、信息通信技术、分析决策技术、自动控制技术和能源电力技术相结合，并与电网基础设施高度集成而形成的新型现代化电网。 2 智能电网的发展 2.1 美国 2.1.1 电网2030规划 2003年2月，美国时任总统布什提出“电网2030规划”，指出要建设现代化电力系统，以确保经济安全，同时促进电力系统自身的安全运行。该规划的主要内容有:为所有用户提供高度安全、可靠、数字化的供电服务，在全国实现成本合理、生产过程无污染、低碳排放的供电，经济实用的储能设备，建成超导材料的骨干网架。为有效促进智能电网建设，美国于2007年12月颁布“能源独立与安全法案2007"，确立了国家层面的电网现代化政策，设立新的专责联邦委员会，并界定其职责与作用，建立问责机制，同时建立激励机制，促进股东投资。 2.1.3 奥巴马政府施政计划 美国总统奥巴马为振兴经济，从节能减排、降低污染角度提出绿色能源环境

电力大数据时代

浅谈风电产业如何应对数据大时代 甄剑峰（恒泰风电场） 摘要：近年来，大数据来势汹汹，对传统数据商业分析模式产生了重大地影响，对电力企业的数据驾驭能力提出了新的挑战与机遇。从人才培养、技术储备、数据驾驭、数据价值挖掘等方面剖析电力企业如何应对大数据的挑战，让电力企业在大数据来临时更加从容地选择适合的技术、方法论、解决方案和发展战略。 关键词：大数据电力企业海量价值 1 引言 随着数字信息化时代的迅猛发展，信息量也呈爆炸性增长态势。在人类充分享受信息化带来的资讯、方便和快捷时，也使得全球的数字信息资源正进入到一个前所未有的快速增长期。据IDC统计，2011年全球数据量已达到1.8ZB，相当于全世界人均产生200GB以上的数据，并且还将以每年50%的速度继续增长。在这汹涌来袭的数据浪潮下，社会各个领域也将开始其数据化进程。无论学术界、商界还是政府，都将不可避免的进入“大数据时代”。作为全球第二大经济体的基础能源支撑体系，中国电力工业概莫能外。 2 电力大数据的定义及特征 2.1 大数据的定义 目前业界还未对大数据有一个统一的定义，但是有两个关于大数据的定义很好地诠释了大数据的本质。第一个定义来自Gartner公司的Merv Adrian在2011年第一季度刊登在《Teradata Magazine》上的一篇文章：“大数据超出了常用硬件和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力。”另一个定义来自于麦肯锡全球数据分析研究所（Mckinsey Global Institute）在2011年5月发表的一篇论文：“大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。” 2.2大数据的特征 概括来讲，大数据有三个特征，可总结归纳为“3V”，即量(Volume)、类(Variety)、时(Velocity)。量，数据容量大，现在数据单位已经跃升至ZB级别。类，数据种类多，主要来自业务系统，例如社交网络、电子商务和物联网应用。时，处理速度快，时效性要求高，从传统的事务性数据到实时或准实时数据。大数据主要包括以下几个特征：大容量：企业数据量大规模增长，单一数据集的规模范围从几十TB到数PB不等。电力数据涵盖发电、输电、变电、配电、用电、调度的各个环节，数据量庞大。随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数据量大大超过结构化数据。

基于大数据的智能电网信息调度算法分析与改进

基于大数据的智能电网信息调度算法分析与改进 摘要：随着电力需求的增长，智能电网建设也越发完善，大数据时代影响下， 智能电网信息调度算法也有了多样化发展。下面文章主要从大数据的基本概念出发，探讨大数据智能电网信息调度算法并提出具体的改进策略。 关键词：大数据；智能电网；信息调度；电网调度 引言 随着计算机网络时代快速发展,物理融合系统,结合了计算机系统和物理系统两者之间相互协作融合,对当今时代人们的生活方式产生了重要的影响。利用信息快 速调度是为了避免系统中信息与信息之间发生冲突,提高物理融合系统的服务性能。但现阶段客户请求信息快速调度的过程中存在用户效用指标量化不全面,导致任务 完成时间和系统信息请求时间较长、成本消耗较高等问题。在这种情况下,如何有 效的提出减短任务完成时间和系统信息请求时间、降低成本消耗的信息快速调度 方法成为当今社会亟待解决的问题。 1大数据的基本概念及关键技术 无法通过普通软件工具进行信息数据的管理和数据集合,通常称为大数据。在 企业制定长远发展战略的过程中,大数据起着至关重要的作用,大数据的特点是大量、多样且传播速度快。在海量数据中提取有效信息,并进行分析与处理,是实现 大数据利用效率提升的重要途径。在现代化电网建设过程中,社会对于数据收集、 整理和分析能力的要求逐步提升,只有通过大数据技术与电力信息技术的结合,才 能完善电力行业的发展模式,促进电力企业长远发展。数据分析技术包括机器学习 和数据挖掘等,应用于电力信息技术中能够实现电网安全在线分析、线路运行状态 分析和间歇性电源发电预测等功能,能够提升电力数据分析精确性。数据管理技术 包括数据抽取技术、数据融合技术、数据库技术等。数据处理技术包括流处理技术、分布式计算机技术和内存计算机技术,能够满足电力行业对电力数据处理的要求。 2大数据的智能电网信息调度算法分析 常见任务调度算法包括先进先出调度算法、公平调度算法、计算能力调度算 法等，其各自优缺点如下：第一，先进先出调度算法。在通常情况下，可以保证 算法有序性，然而也有着显著缺点，主要体现为，当部分任务持续时间较长时， 其它任务需要等待，可能导致响应时间被延长，降低系统处理效率。第二，公平 调度算法。该算法优点体现为，在资源配置过程中，不同任务所需资源类型和数 量基本相同，从而实现“公平性”。同时，这也会导致其存在如下缺点：对于部分 配置偏高的任务，可能存在资源不足情形，而对于配置偏低的任务，则可能导致 资源浪费，不利于提升资源整体利用效率。第三，计算能力调度算法。该算优点 体现为可以根据任务计算能力来调配资源。其缺点则体现为，在选择资源配置队 列时，不能够灵活设置队列组合；当任务较多是，预先设置的Sub Task Tracker可能不符合实际情况，导致系统效率降低。在大数据背景下，智能电网运行面临更 加复杂的情况，对系统处理能力、调度合理性有更高要求。相应地，就需要提出 更加适当的信息系统调度算法。 3大数据的智能电网信息调度的改进策略 3.1三层分析架构 对电网大数据关键技术进行分析,要了解大数据的分析架构,在行业中认为大数据分析架构主要结构为三层分析架构。其涵盖了数据访问、计算、数据隐私以及

智能电网大数据技术发展研究

智能电网大数据技术发展研究 随着我国科学技术的迅猛发展，智能电网大数据逐步成为了我国电力发展的重要技术。智能电网的发展不仅仅是最新科学技术的研究成果，更是当前电力行业的主要发展趋势。在电力领域使用智能电网大数据技术，除了能够提高其在我国的电力行业影响力之外，还对电力行业的可持续发展起到了巨大的推动作用。不仅如此，我国在智能电网大数据方面的研究上，已经取得了非常显著的成果。这就预示着我国在电力行业的已经取得了极大的进步。 标签：智能电网;大数据;技术 1电力大数据 1.1电力大数据内涵 电力大数据指的是智能电网在电力生产、电力传输、电力消费等各个环节所产生的不同类型的数据，是电力系统运行中信息的高度融合。电力大数据的表达方式很多，除了一般的数字、符号外，还可以通过图片、视频等媒体形式展现出来。 1.2电力大数据与智能电网之间的联系 当下随着我国智能电网技术高速发展，也加强了对信息通信技术以及电子技术等应用，促进了信息间的交互。智能电网可以将客户的用电信息进行详细的收集起来，通过对电量的耗损情况进行分析从而获取相应的电力大数据，运用现代数据分析处理技术分析获得的数据，并提取出有效的信息。这些信息可以帮助运行人员对不同区域的电网展开宏观调控，以更好的满足各个地区的用电需要。但就目前来看，我国电网大数据的发展还存在一定的不足，大数据平台构建还需进一步完善，这样才能更好的促进智能电网的发展，保证大数据分析技术的有效利用。 2智能电网领域中大数据技术的应用 2.1智能电网大数据挖掘与采集技术 在智能电网的管理工作当中，数据内容上和传统的电网建设工作相比，数据更加庞大和复杂，同时在运行安全以及管理等工作当中都存在明显的差异。智能电网在工作过程当中，会受到其他数据的干扰和影响，因此在数据的管理和控制工作当中，运用大数据收集和挖掘技术可以大大提高智能电网数据处理的有效性，这也是当前大数据处理技术当中重要的工作内容。在大数据处理工作当中，通过大数据的挖掘和信息采集技术，主要表现为以下几个方面的特性：第一，在全面的数据挖掘工作当中，智能化管理工作所涉及到的管理数据，不但集中在电网企业和一些重点的变电设备当中，同时也直接表现在一些和电网相关的电力用

大数据技术在智能电网中的应用研究

大数据技术在智能电网中的应用研究 发表时间：2019-07-05T12:29:35.697Z 来源：《电力设备》2019年第4期作者：张瑜 [导读] 摘要：大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用，它取代了传统的数据处理技术，使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。 （内蒙古电力（集团）有限责任公司信息通信中心内蒙古呼和浩特 010010） 摘要：大数据技术的应用在分析处理智能电网的大规模数据中正发挥着越来越重要的作用，它取代了传统的数据处理技术，使得规模更大的数据集合和种类更复杂的数据结构得到高效率的处理。大量的数据给智能电网建设带来了机遇与挑战，电力企业在发展中要顺应这一时代潮流，积极的实现管理工作的信息化，促进电力企业在电网管理方面工作质量的提升，保证社会生产活动的有效进行。 关键词：大数据；智能电网；应用；高效 引言 在整个智能电网系统中都有大数据的应用，电网运用及设备、数据的检测、企业营销数据、企业管理数据等是智能电网系统应用的表现。随着社会经济的不断进步，电网规模也随之扩大。逐渐提升接受、处理数据量在输电线路中的状态。因此，需要更加专业的技术人员进行数据处理以及设备维护，同时增强处理输电线路中大数据的力度，着力剖析输电线路系统的检测性能，逐渐顺应智能电网发展的需求。 1大数据技术在智能电网中的应用存在的问题 1.1 电力系统本身的发展情况制约 它是一个规模宏大、牵连甚广的传统行业，在引入新技术、新理念的过程中必然经历较长时期的磨合和研发，现有的电力信息系统要想适应大数据技术就要做到从上至下全面的技术匹配，这显然是一个庞大的工程；另一方面是大数据技术的发展并不成熟，它的理论架构和应用案例都还处于探索和研发的阶段，由于规模的原因，大数据平台往往意味着巨大的建设投资，给建设主体部门带来了巨大的投资风险。 1.2 数据收集和处理障碍 智能电网大数据平台的建设在数据获取上也存在着很大的障碍，不仅有硬件技术上的不足，而且各部门之间的沟通不足和独立运行也和大数据技术的集中管理存在一定的共享矛盾。但也不是意味着全面的开放信息共享就是好的方法，相反，如果这样做的话，我们必须充分考虑到数据的安全问题，如何设定适用范围，如何注重隐私保护，如何合法合规地公开使用，这是智能电网大数据发展中必须考虑的问题。各个部门之间的信息传递较为缓慢，尤其是各个部门在工作中所形成的独立信息库，因为技术和资金的双重制约，使得大数据时代下的信息共享难以实现。虽然现在的信息处理和数据挖掘技术已经非常的完善，但是因为很多信息属于半结构和非结构数据，这些数据如果不纳入大数据库中，就会使得数据库中的样本数据较少，但是如果放入数据库中，就会因为不能够迅速的转化为多维数据表，出现数据无效的现象，其中图像就是这一数据类型的典型代表。 2 大数据的关键技术 大数据技术在智能电网中运用的关键技术就是数据融合技术，在现在的国家电网中，无论是输配电的使用信息，还是用户用电的具体信息，都会因为办公的计算机化，使得这些信息能够被收入到大数据的信息库中，使用数据挖掘以及数据处理处理技术，就能够很快的将这些技术进行完成，最大限度的推进电网正常运转。同时，由于大数据技术在使用中存在着多维度的特性，所以为了强化这一数据分析的能力，保证数据分析所产生的结果，能够给大数据的使用带来便利，就需要从三个维度去对电力舍不得当前状态进行分析。大量的实践数据表明，这三个维度在电力设备是否能够正常工作的判定条件，分别为关键参量、气象、地理位置。但是这三个维度的信息在来源和储存方式都不尽相同，所以在进行数据分析工作时，需要将这些数据按照一定的逻辑进行储存，保证后续进行的数据分析工作能够有效进行。 3 智能电网大数据技术的发展措施 3.1 大数据传输和存储技术 电力系统、智能电网发展变革的趋势中，记录具体的数据运行和设备状态，可以发现大量的数据存储问题，在监控装置中具有较大的压力，因此，电力系统智能化的发挥受到一定限制。增强网络数据传输的关注量，就是有效利用数据压缩来实现。依据数据存储的具体情况，利用分布式的文件系统完成存储工作是智能电网数据运行的方式，针对大数据进行存储，不能很好的提升电力系统的实时性。所以需要根据大数据的性能、分析要求，具体分类对其进行存储，针对实时数据的要求，运用数据库系统进行相关工作。采用传统的方式进行数据存储，这是核心业务数据的处理方式，数量较大的非结构化数据，主要采用分布式的文件系统。 电网检测数据的实时性在国内的云平台还不能得到有效的保障，所以，设置出前置机在数据接入和信息集成前段，将报警信息以及检修数据实时接受，在不能准确回应的时候，电网检测将取代云平台的作用，其负责暂时存储数据。比较智能电网格式和传统商业数据的关系，二者区别明显，都有自身的特征，能够产生较大的生成速度在检测故障以及输变电设备的过程中。当前有效提升后续数据分析和计算的方式就是着力研究智能电网存储格式的细节技术。 3.2 实时数据的处理技术 随着社会大众提升关注数据库内存的关注度，相关技术人员更加重视数据内存技术的提升，将研发重点放在内存中。相比较内存的数据以及磁盘，区别就是速度比较快。可以提高应用的性能，依据目前电力系统的发展现状，运用内存数据库的形式比较广泛，能够有效提升数据的实时性。智能电网会整合以及集成各个环节和用户的数据信息，从而分析各地的电能消费状况，及时采取整改措施。状态监测具有相对严格的要求，在数据存储以及处理平台方面。运用云计算技术，能够处理大数据，但是能够进一步提升监测数据存取性的是云平台，同时满足实时性的具体要求。如果新型绿色能源发电功率不稳定，就会影响电网的正常工作，这对于电网调度来说是不小的压力。根据目前国家电网调度以及控制模型的分析，不可预测性是小型发电系统的特征，因此，需要创建新型的电网状态监控系统，详细跟踪电网的实时状态。 3.3 面向电力用户服务的需求 电力用户是用电的消费者，具有主体的地位，随着当前经济社会的不断发展，用电用户对于电力的需求呈现出更高水平的发展趋势，通过技术的不断创新和发展，能够有效的满足于电力用户的服务需求，并为之提供更加优质的供电服务，这也是电力行业向服务型行业转

化探数据处理方法

内蒙古扎赉特旗东芒合矿和哈拉街吐矿 化探数据处理及图件编制方法 1 化探数据质量评价的数据处理(分矿区) ⑴统计重采样和重分析抽查样所占样品总数的比例 比例 = （重采样和重分析抽查样数/工作样总数）100% ⑵作出SSPS数据文件 将重采样和重分析样分别作成SSPS数据文件。文件中列出项目为： ①重采抽查样重采样号元素含量相应的工作样号元素含量 ②重分析抽查样重分析样号元素含量相应的工作样号元素含量 ⑶计算各元素相对误差 重采样和重分析抽查样相对误差均按RE(%) = |C1-C2|/0.5×(C1+C2)×100%计算。 C1为重采样或重分析抽查样的分析含量 C2为重采样或重分析抽查样的相应的工作样的分析含量 | |为绝对值 RE(%)≤30%为合格，＞30为超差（不合格）；（Au：RE(%)≤50%为合格，＞50为超差） ⑷计算各元素的合格率 η= （抽查样品中合格的样品数/抽查样品的总数）100% 合格率（η）应＞80%，即这批样品的分析结果是可信的。 ⑸列表表示检查或分析质量结果 表××化探重采样抽查各元素的合格率(%) Cu Pb Zn Cr Ni Co Sn V Ag Ti 2 矿区地球化学特征研究的数据处理(以哈拉街吐为例) ⑴作出SSPS数据文件 作出下列SSPS数据文件： ①文件1：整个矿区数据文件； ②文件2：矿区地层数据文件； ③文件3：矿区岩浆岩数据文件； ④文件4 ：下二叠统大石寨组（P1d）数据文件； ⑤文件5 ：下白垩统大磨拐河含煤组（K1d）数据文件；

⑥文件6 ：华力西晚期侵入岩数据文件； ⑦文件7 ：燕山期早期侵入岩数据文件； ⑧文件8 ：燕山期晚期侵入岩数据文件； ⑨文件9：已知矿附近一定范围数据文件 每一数据文件的内容项目包括： 序号野外号 X坐标 Y坐标各元素的含量 ⑵整个矿区和各地质单元（各地层、各岩浆岩）样品各元素含量特征统计 统计的参数包括： ①元素含量平均值； ②最大值； ③最小值； ④标准离差； ⑤变化系数（标准离差/含量平均值）； ⑥浓度克拉克值（元素含量平均值/该元素的克拉克值） 整个矿区和各地质单元统计结果含量平均值、最小值、最大值用表表示。 ⑶整个矿区和各地质单元样品各元素的概率分布特征统计 ①标准离差 ②峰度 ③偏度 ④概率分布曲线特征 ⑷矿区各地层样品各元素的局域丰度和蚀变-矿化叠加系数特征统计 根据地球化学过程的基本定律(A.B.Vstelius,1960),一个矿区地层中元素的“丰度”应该是沉积岩沉积成岩时的初始平均含量，而不应包括后期岩浆、蚀变、矿化作用等地质作用造成的元素含量的增赢或亏损。而矿区内局部地区地层中元素的“局域丰度”，至少应排除最后蚀变-成矿作用叠加的那一部分元素的含量。若本区各地层中元素概率分布及其偏度和峰度特征表明元素呈偏对数正态分布。这说明地层中多数元素都受到了后期不同程度的蚀变-成矿作用的叠加。据此，剔除了不服从正态分布的超差样品(即含量大

智能电网大数据的核心技术

智能电网大数据的核心技术 发表时间：2017-11-16T20:34:47.230Z 来源：《电力设备》2017年第20期作者：王辉 [导读] 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。 （国网江苏省电力公司检修分公司南通分部江苏） 摘要：我国电网在快速发展建设过程中，智能电网已经成为电网发展必然趋势。智能电网在建设过程中，最为主要应用领域为大数据。 关键词：智能电网；大数据技术；研究 引言 智能电网在建设过程中，实际上就是将先进科学技术应用到电网体系内，进而有效满足电力市场发展实际需求。智能电网所应用的技术主要分为三种，分别为控制技术、计算机技术、信息通信技术，可以有效对电力市场有关利益方之间的矛盾，最大程度提高电力系统运行效率及质量，有效降低电力企业运营成本，降低电力系统对生态环境所造成的不良影响。特别是智能电网内应用大数据技术，已经成为电力系统发展建设必然趋势。所以，有关人员正在积极对智能电网采取针对性手段，对智能电网大数据应用情况进行完善，有效提升电力系统稳定性，为人们提供更加优质服务。 1电网大数据概述 智能电网大数据主要表示电力信息化建设过程中，借助电力实时检测系统、智能变电站及智能电表等数据类别，推动电网智能化发展建设。电网建设规模在逐渐增加过程中，智能电网大数据主要可以分为两种类别，分别为外部大数据与内部大数据。智能电网大数据主要具有三个显著特征，分别为大规模、高速性及多样性。 智能电网大规模主要表示电网在运营过程中，所产生的数据数量不断增加。在这种情况下，电网负荷也显著提升；高速性主要表示智能电网在实际运行过程中，容易受到外部环境因素影响，智能电网可以对不良影响进行高速反应。主要原因是由于电网所产生的负荷运动较为随机，电网运行在出现问题情况下，为了能够保证电网可以稳定高效运行，智能电网可以在最短时间内对电网负荷运动进行处理；多样性主要表示智能电网所产生的数据类别较多，不仅仅包含智能电网所产生的数据，同样还包含网外所产生的数据。 简而言之，智能电网大数据所具有的特征主要为：智能电网所产生的数据全部为分布式管理数据源，产生大量数据信息，数据包含多个维度，类别也较多，在实际应用过程中，可以为用户及经济带来较大经济价值。智能电网所产生的数据积累数量在不断增加过程中，数据来源也开始越加广泛，数据类别也逐渐增加，数据结构越加繁琐。在这种情况下，研究人员需要对大数据技术进行深入分析研究，我国主要对大数据核心技术进行分析。 2智能电网大数据的核心技术 2.1数据存储技术 （1）分布式存储技术。分布式存储技术是指利用网络共享每一台计算机上的磁盘空间，从而将所有分散的存储资源整合成为一个虚拟的存储设备，最终实现数据分散进行存储的技术。 （2）非关系型数据存储技术。其没有固定的表结构，一般也不需要连接操作。因此，针对大数据的存取，该技术具有传统的关系型数据库技术所不具备的优异性能。 （3）内存存储技术。内存数据库是一种直接把数据存放在内存中，从而实现快速存储、读取操作的数据库。内存进行存储、读取操作的速度要大幅提升，因此将数据存储在内存中能够显著地增强数据库的性能。内存数据库不再使用传统的磁盘数据管理的方法，而是运用新的体系结构从而实现在内存中存储全部数据，同时改善了并行操作、数据缓存以及快速算法等内容，因此数据的处理速度要比传统数据库快10倍之多。 2.2数据管理技术 数据管理技术是指将来自不同数据源的、具有不同结构(结构化、半结构化、非结构化)的大数据进行收集、整理、清洗、转换以后加载到一个新的数据源之中，从而对这些数据源实行集中管理、对外部访问提供统一服务的数据集成技术。由于智能电网大数据具有多样性的特征，因此对智能电网大数据进行分析和处理之前，首先需要对数据源的数据进行清洗和过滤以确保数据的质量以及可靠性；然后将清洗和过滤之后的数据通过抽取和集成以便获得实体和关系；最后再对数据实施关联和聚合并且采用统一的数据结构进行存储。 2.3数据分析技术 数据分析技术是指从海量的数据中自动搜索出隐藏于其中有着特殊关系性(模态与规律)的信息，从而为决策人员提供决策支持的技术。与其他行业相比，电力行业对于电力系统的安全、持续、稳定运行以及电力发输变配用的实时性等要求更加严格，因此智能电网大数据对数据处理和分析结果的精确度要求也更高。而传统的数据挖掘技术面对智能电网中高速增长的、海量的、半结构化和非结构化的大数据已经很难适用，因此需要拓展新的面向海量数据进行挖掘的智能电网大数据分析技术。智能电网大数据的数据分析技术包括：模式识别技术、图像处理技术和机器学习技术等核心技术，具体有智能电网安全在线分析技术、间歇性电源发电预测技术、设施线路运行状态分析技术等。 （1）模式识别。模式识别是指处理和分析用以表征事物或现象的多种形式的信息(数值、文字、逻辑关系等)，从而实现对事物或现象进行描述、识别、分类以及解释、说明的一种技术，它是信息科学和人工智能科学的必不可少的组成部分。 （2）图像处理。图像处理是运用计算机开展图像分析，从而获得所需结果的一种技术。 （3）机器学习。机器学习是指专门研究如何让计算机能够模仿或实现人类的学习行为，进而有效地获取新知识或新技能，以便重新组织已经存在的知识框架以持续提升计算机性能的一种技术。 2.4数据处理技术 （1）实时计算。实时计算是指根据计算需求从海量数据中实时进行排重、排名、汇总等运算，并为用户提供实时响应，主要针对海量数据且无法预算的情况。 （2）批量计算。批量计算是指针对静态海量数据的批量处理，即当开始计算之前数据应准备到位，重点用于数据挖掘和验证业务模型。

智能电网大数据技术发展研究 张格琳

智能电网大数据技术发展研究张格琳 发表时间：2018-08-20T11:03:03.030Z 来源：《电力设备》2018年第15期作者：张格琳程思远程芬任国卉 [导读] 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。 （国网山西省电力公司运城供电公司山西运城 044000） 摘要：随着科学技术的飞速发展，智能电网大数据技术已经成为了目前电力企业发展的主要依靠技术，智能电网大数据技术对我国电力行业有着极大的影响，同时对我国电力行业的可持续发展提供巨大的作用。本文就针对智能电网大数据技术的概念及技术发展进行深入的探讨。 关键词：智能电网；大数据；技术；发展 计算机信息技术的发展将人类带入了数据社会，带动了互联网、物联网、智能电网、新能源、智能城市、网络金融等现代服务业发展，数据的充分利用和挖掘正成为各行各业运营和发展的引擎。但这个引擎正面临着数据量大而复杂等巨大的挑战。各种业务数据正以几何级数的形式爆发，其格式、收集、储存、检索、分析、应用等中存在诸多问题，不再能以传统的信息处理技术加以解决。数据的格式也由传统的结构化数据转化为非结构化数据，数据处理的实时效应要求也更高。大数据技术经过几年的发展，已经形成了一个完整的生态技术圈，包括海量数据的的存储及分析技术。 1、智能电网中大数据与云计算的基本概念 大数据是指海量、异构、多态的数据集合，不但包括传统的符号、数字等结构化数据，也包括图像、声音、手写字体等非结构化数据。但不是数据多就能够称为大数据，必须要同时满足体量巨大、类型多样、价值密度低以及处理速度快这四个特点，才能够被称为大数据。在电力行业内，电网运行的情况及日常的监测数据等、电力企业的营销数据，以及企业的管理数据信息等可以被称为是大数据。随着智能电网的不断发展，这些数据都在以指数级的速度增长。智能电网中的数据以传统的关系型数据库中存储的结构化数据为主，包括业务数据、表单数据等。而非结构化数据主要是视频监控数据以及一些图像数据等。随着电力行业的发展和自身的特点，智能电网中的非结构化数据的比重越来越重，但分析和处理的难度却较大。另外，电力行业数据还在气象预测、能源分析等行业中有着应用意义，对智能电网的大数据分析就显得格外重要。最后，在智能电网的调动工作中，业务管理数据要求是实时数据，对实时数据的处理难度更大。云计算（CloudComputing）是指在网络技术高速发展的基础上，通过网络存储、负载均衡、虚拟化、分布式计算等现代计算机处理技术，将网络中多个计算机实体融合起来，建立一套具有强大计算能力的系统，为用户提供方便、可靠、强大的计算能力。通过不断提高云平台能力，减少用户在本地实体中投资的资金。随着云计算的不断发展，传统的依靠个人终端的存储和计算模式将逐步被为新的信息存储、处理模式所替代，数据、资源及应用程序将被保存在云平台服务器中。用户不但可以从云平台中获取数据，还可以完成应用程序的二次开发。因此，近年来云计算技术得到了飞速发展。云计算是通过云端的服务器集群提供计算、存储和处理服务，用户通过网络或其他工具直接访问。 2、发展动力和存在障碍研究 2.1智能电网大数据的发展动力 近年来，大数据来势汹汹，对传统数据商业分析模式带来了毁灭性的冲击。电力公司往往资产巨大，对于资产的监控测量和运用会产生大量复杂的数据，通过数据分析可以有效提高电网资产的设备管理水平。通过数据分析，还可以在实现数据一体化的基础上，提高电能质量，对于特殊情况进行有效的停电管理，从而减少线路损失，有效预防用于窃电，以及其他一些因素造成的损失。并且从智能电网大数据中分析出用户的用电行为，电力公司可以依照这些数据设置合适的鼓励机制和需求管理机制。以智能家居产品为例子，智能家居产品在为居民用户提供节能减少花销的同时，而且还对电力企业改善用户侧需求管理，减少二次装机中发挥了重要作用。电网作为能源与用能的载体，受到国家的重视与长期保护，尽管对于智能电网大数据以往的发展中起了限制作用，但随着国家对于智能电网大数据的重视，相关政策依旧会为电力公司发展智能电网大数据提供强而有力的支持。 2.2智能电网大数据的障碍 电力系统作为我国的一个传统行业，深受国家政策的保护，因而在发展中逐渐出现了跟不上时代脚步的现象。经验足的大都是些老一辈的技术员工，他们对于大数据的基本理念以及大数据在智能网络中的价值缺乏正确的理解。国内智能电网大数据技术起步晚，相交于国外技术有所欠缺，并且国外没有向中国这样庞大的人口，因而即便有先进的技术也不能直接照搬照抄，智能电网大数据技术仍需要进行探索。智能电网大数据技术的研发与实验都需要大量的资金投入，现今智能电网大数据缺乏明确的收益，因而很难引起投资人的兴趣与青睐。最后就是数据的隐私与安全问题，有些数据电力公司需要保证其隐秘性，因而意思保护与客户资料安全成为了发展与推广智能电网大数据技术的首要问题。 3、智能电网大数据技术的发展 3.1源网荷协同调度 根据可持续发展理念的要求，应将新能源应用到各个领域当中，以实现人与自然的和谐发展。本着上述原则，电力领域对新能源的使用水平也开始逐渐提高，如何对新能源进行准确的预测，成为了电力领域关注的重点问题。对调度方法的合理应用是解决该问题的途径。在过去很长一段时间内，电力领域一直采取传统的调度方法，通过增加系统的旋转备用解决问题，即从供给侧入手，提高电力资源应用的平衡性。但随着社会的不断发展，目前调度出发点已经从供给侧转为了需求侧，即通过市场调节的手段，从电力用户的角度出发，以调节其用电负荷的方法，达到提高电力资源应用平衡性的目的，实现网源荷协同调度。上述目的的达成要求电力领域必须保证具有大量的信息作为辅助，其中新能源出力波动便属于非常重要的一点信息。智能电网大数据技术的应用能够实现对数据的存储、出力以及调度，因此也就能够为电力领域提供所需要的辅助信息使得电力资源的优化调度能够更加顺利的实现。这是该技术发展的主要体现。 3.2负荷波动与新能源出力预测 电力用户的用电量会影响到电力负荷，而电力负荷的波动，则会影响到电力系统的运行情况。目前，对负荷波动的预测已经得到了重视。减小预测波动值与实际波动值之间的误差，能够使作出的电网管理决策更加合理，反之，则极容易导致电网运行产生风险。当前我国电力领域负荷预测主要采用的是通过对历史负荷数据的观察，以相似日法为基础，实现预测的方法。上述方法的实现所需要的历史数据量

八大案例深度解析电力大数据应用

八大案例深度解析电力大数据应用 麦肯锡曾有报告预测，在全球范围内，大数据分析方案的广泛使用能够带来每年3000亿美元的电费削减。电力大数据的有效应用可以面向行业内外提供大量的高附加值的增值服务业务，对于电力企业盈利与控制水平的提升有很 高的价值。有电网专家分析称，每当数据利用率调高10%，便可使电网提高20%~49%的利润。 电力行业的数据源主要来源于电力生产和电能使用的发电、输电、变电、配电、用电和调度各个环节，可大致分为三类：一是电网运行和设备检测或监 测数据;二是电力企业营销数据，如交易电价、售电量、用电客户等方面数据; 三是电力企业管理数据。通过使用智能电表等智能终端设备可采集整个电力系统的运行数据，再对采集的电力大数据进行系统的处理和分析，从而实现对电网的实时监控；进一步结合大数据分析与电力系统模型对电网运行进行诊断、优化和预测，为电网实现安全、可靠、经济、高效地运行提供保障。 一、电网监测及维护 1.运维监测系统及时反应 Enphase Energy（美国Enphase 能源股份有限公司） Enphase Energy每天从来自80个不同国家25万个系统收集大约2.5TB的数据。这些数据可以用来检测发电和促进远程维护、维修来确保系统无缝运行。另外，Enphase Energy还利用从发电系统收集到的数据来监测、控制或调整网络中的发电和负载状态，在电网和在出错或需要升级时做出相应的反应。 2.设备检修运维专题分析

电力企业可以基于永洪自研发的一站式大数据分析平台开展各业务领域的深度分析，如在电网检修运维领域，通过对电力设备资产管理、设备运检管理、设备技术管理、技改大修管理等方面，从安全、效益、成本三个方面进行关键 指标选取，分析检修管理中“安全”、“效益”、“成本”三者之间的相互影响，协调 三个因素综合最优，同时实现对电网企业检修指标的实时在线监控，为公司检修策略制定提供指导和服务。 （图中分析场景所用的数据为测试数据） 3.预防基础设备故障导致的停电 American Electric Power Co., Inc. (AEP）（美国电力有限公司） 在AEP的资产健康中心，数据分析师把设备派生的运行信息和智能信息应 用程序结合在一起。通过采用大数据算法和分析软件，他们可以密切监测传输基础设施的运行情况。 如今，AEP使用智能电表、通信网络和数据管理系统得到稳健的常规信息。 智能电网技术使客户更有效地用电和合理管理用电成本，收集到的数据也有助于该公司为客户定制电力管理程序和提供个性化定制服务。

智能电网中的电力大数据应用

智能电网中的电力大数据应用 随着智能电网的快速发展，智能电表的大规模部署和传感、量测技术的广泛应用，电力工业产生了大量结构多样、来源复杂的数据。如何利用这些数据为电网的发展和运行控制提供科学的决策，是智能电网发展的迫切需求，也是实现智能电网坚强、自愈、兼容、经济、集成、优化特征的必由之路。可以說，大数据是实现智能电网“智能化”的重要工具。 标签：智能电网;大数据技术;应用 1 导言 电力能源作为一种不能大量存储的能源，其特点是“发电-输电-配电”同时完成，发电的多少要依据用电侧的符合进行调配，维持发电和用电的均衡，这对电网频率和电压的稳定起到了至关重要的作用。传统电网中，此项工作主要由各电力公司的电力调度负责，通过对输配电的控制使电网的频率和电压运行在允许的范围内。 2 智能电网大数据的特点 （1）电网数据规模大。智能电网不断发展，电网发电机节点及负荷节点数量不断增加，负荷与电网双向交互等因素，使得电网数据量迅速增加，数据存储大小已达到了PB量级[3]。 （2）电网数据高速性。该性能决定于电网最重要的属性，即实时保持电力电量平衡，但由于负荷波动的随机性，因此发电侧出力必须实时跟踪负荷变化。同时电网故障也具有随机性，为了保障电网可靠的运行必须立即处理，这要求电网必须快速传输，及时处理电网数据。 （3）电网数据的多样性。电网数据的多样性主要表现为来源多样性、存储类型多样性、采集周期多样性。数据来源多样性如图1所示，其数据来源渠道众多，不只是网内的数据，还有大量的网外数据;数据存储类型多样，除了传统的结构化数据，如用电信息采集系统、广域测量系统采集的大量有关负荷、发电机及线路的数据，同时营销系统、调度系统会产生大量的语音数据，变电站值班机器人及用于高压线路巡线直升机也会产生大量的图像等非结构化数据。采集周期多样性，不同的数据采样周期有较大的差别如保护系统监测周期为毫秒级，广域测量系统及大型负荷数据采集一般为分钟级，普通居民用户数据每天传输一次。 总之，智能电网中数据具有数据来源多，数据量大，数据结构复杂，数据增长速度快等特点。当前大数据技术在国内刚刚起步，利用相关技术对电网数据研究较少，智能电网采集到的数据涵盖信息广，不但可以反应电网内部的规律，而且在一定程度上可以折射出当前社会发展的状况。

如何利用大数据技术做好智能电网规划

如何利用大数据技术做好智能电网规划 发表时间：2020-01-03T17:16:01.217Z 来源：《河南电力》2019年7期作者：普颖[导读] 很多数据都具有高速性、规模性以及多样性的特点，一些数据关键技术的发展对于不同的领域都产生了非常关键的影响，应用大数据技术，能够给应用领域的发展提供更有价值信息的数据。（玉溪元江供电局云南省玉溪市 653300）摘要：很多数据都具有高速性、规模性以及多样性的特点，一些数据关键技术的发展对于不同的领域都产生了非常关键的影响，应用大数据技术，能够给应用领域的发展提供更有价值信息的数据。如今，在智能电网发展的过程中，电力系统逐渐朝着数字化、信息化以及 智能化的方向发展，在此发展过程中，对大数据技术的使用需求也在不断提升。鉴于此，本文就如何利用大数据技术做好智能电网规划展开探讨，以期为相关工作起到参考作用。 关键词：电力大数据；智能电网；关键技术 1.智能电网和大数据及云计算关系辨析 1.1电力大数据技术的发展需求 如今，在智能电网不断发展的过程中，电力系统逐渐朝着智能化以及信息化的方向发展，从而伴随越来越多的数据源出现。电力设备状态监测系统以及智能电表的应用，能够产生出大量的数据源。传统的数据处理技术在新形势的发展之下，已经无法发挥出相应的作用，这就需要大力推广使用新的数据，因此，电力大数据关键技术的使用需求也逐渐增加。如今，电力大数据已经贯穿在变电以及输配电等各个生产领域，并且也成为了能源变革过程中电力工业技术创新发展的关键。 1.2智能电网及大数据和云计算关系 大数据与智能电网的发展过程之间的关系越来越密切，智能电网的发展主要是将信息技术、计算机技术以及通信技术结合起来加以应用，以此来达到提升能源使用效率的目的，这样一来也能够有效确保供电安全，从而最大限度降低电能的损耗。智能电网是借助多用户用电信息来对电的生产进行消耗以及分配，使用现代化的信息技术以及网络通信技术，可以实现信息交互，从而最大限度地保障电网设备中的信息交换。此外，云计算和大数据之间也有着密切的联系，主要表现在大数据是根植于云计算的，云计算数据的管理分析以及存储都需要立足于大数据技术，借助云计算技术的超强计算功能，可以起到提升数据处理质量的目的，这样一来也能够便于提供大量的服务信息。大数据和云计算之间是相辅相成的关系，二者之间有着不同的侧重点，云计算可以整合内部计算处理与存储资源，以此来强化电网的交互能力以及处理能力。大数据、智能电网以及云计算之间的关联性比较强，云计算技术是在传统的数据分析技术以及挖掘技术上延续而来的，并且也是数据量级增长到一定阶段之后的业务需求以及知识挖掘的产物。 2新型电网规划数据获取方式通过全面系统科学的信息数据可以为新型电网规划工作提供更好的信息支撑。你以前所用的信息数据获取方法进行对比，大数据技术在获取数据方面的效率以及质量有着更加强大的优势。在当下新型电网数据信息采集的过程中，为了切实保证数据的全面性和准确性，必须有效应用遥感采集技术和数据辨识技术来实现对当下信息数据的高效高效获取。在现阶段数据获取中，最为重要的就是通过合理科学的预处理手段来有效帮助信息获取工作的开展。通过利用遥感和航拍技术，可以直观、直接准确的实现对相关图像信息数据的采集，但是该方法在应用过程中相对比较复杂，而且储存难度也相对较高，所以并不能直接应用到规划方案设计工作中。在具体工作中，对于数据可以分为数据辨识和整理两部分。 3.智能电网应用的电力大数据关键技术 3.1电气大数据的集成管理技术 所谓的电力企业数据集成管理技术主要是将不同的格式、来源以及性质的数据在逻辑上综合体现出来，并且给系统存储一些比较稳定而且可以反映出历史变化的数据。电气企业通过应用集成管理技术，可以有效解决一些电力企业内部系统中信息孤岛以及数据冗余的问题。除此之外，大数据还应该体现出多样化的特点，这也就说明数据来源的广泛性，并且加剧了数据处理工作的困难程度。为了能够获取大数据的处理效果，就需要抽取数据源并且做到集成处理，之后再在数据源中取得与实体相关的一系列关系，将其经过一定的关联聚合之后，使用统一的结构完成对这些数据的存储，从而有效确保未来数据的可靠性。 3.2复杂数据处理技术 3.2.1数字化监测技术 运用数字化监测技术，可以很好地满足大数据精细化管理工作的需求，并且从不同时间以及各个方位出发落实监测工作。在运用智能电网的基础之上，使用大数据技术可以确保电力系统处于良好的运行状态，并且还可以起到提升设备运行安全性以及可靠性的目的。与此同时，电脑终端的使用可以很好地确保电气大数据编程以及继电保护器的有效运行，便于不同节点的数据能够顺利发送以及接收，将数字化监测技术的效能充分发挥出来。除此之外，使用数字化监测技术，可以实现对电力系统的综合操控，推动电力系统的健康快速发展。 3.2.2智能化数据监控技术 智能化数据监控技术在21世纪已经得到了广泛应用，并且逐渐被应用到了智能电网控制系统中，在确保系统的安全调控方面发挥了非常关键的作用。通常情况下来说，组成智能化数据监控技术的元件有电缆、摄像头以及监视器，实现对电力系统运行状况的实施监控。摄像头在智能化数据监控系统中可以作为前端设备使用，主要用来完成信息的采集工作，电缆作为传输设备，可以实现数据的传输，监视器不仅能够发挥出记录以及显示的作用，同时还可以对智能电网进行处理以及控制。 3.2.3关系型数据库系统 结构化数据在智能电网中依然处于主体地位，这就要求做好结构化数据的存储以及管理工作。借助Oracle这一关系可以有效运用数据库管理系统，并且还具备功能强大以及使用方便的优势，能够在多种数据环境中很好地运行。除此之外，运用智能化电网，具有数据繁杂的特点，面对这种情况，应该结合电网实际特征，合理选择数据存储方式。 3.3数据分析技术

电力大数据应用现状及多源异构数据分析技术研究

龙源期刊网 https://www.wendangku.net/doc/7417377831.html, 电力大数据应用现状及多源异构数据分析技术研究 作者：马平徐伟东沈浩钦吴杭 来源：《中国科技纵横》2014年第23期 【摘要】智能电网运行、检修和管理过程中会产生海量异构、多态数据，如何将它们进行高效可靠存储，并实现快速分析访问已是当前电力系统中重要的研宄课题。本文在分析电力生产各个环节大数据的产生来源和特点基础上，阐述市场已有大数据技术在电力系统应用的优势和不足。最后，从电网异构多源信息融合及可视化方向提出了一种应用方法。 【关键词】智能电网 ;大数据 ;异构分析 ;可视化 1 引言 近年来，随着全球能源问题日益严峻[1]，世界各国都开展了智能电网的研究工作。智能 电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网的基础是电网大数据全景实时数据采集、传输、存储以及快速分析。目前智能电网中的大数据主要来自以下几个方面： （1）海量电网状态信息采集设备。常规的调度自动化系统含数十万个采集点，配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大，每个设备都装有若干传感器，构成了一个庞大的数据网。 （2）高频电网状态信息捕获技术。为满足上层应用需求，设备的采样频率逐渐提高。在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，信号的采样频率必须在 200kHz以上，特高频检测需要GHz的采样率。 （3）视频及模式识别系统推广。智能电网视频监控系统不仅要求能够真实地反映电力系统的情况，并且还需自动判断情况的好与坏，同时自动采取相关措施，是一个“会思考”、“能做事”的智能化系统。为此，需要电网具备强大存储及处理能力。 2 现有大数据处理技术局限性 谷歌公司提出的分布式文件系统（distributed file system，DFS）和MapReduce技术，已成为现阶段Facebook、雅虎等网络公司大数据应用的解决方案[2]。 DFS技术，具备高容错性特点，可部署在海量且价格低廉的硬件设备上，而且它为应用程序提供了高吞吐量的数据访问，适合那些有着超大数据集程序。MapReduce为2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的并行编程模型。应用“解析器”，将复杂数