大数据的热点、痛点与机会

大数据的热点、痛点及机会

2013-12-30 楚落电商360

一、大数据是不是一个昙花一现的概念炒作？

有人说，2013年是大数据元年，其实即将过去的2013年实在是不平凡的一年，不仅仅是大数据元年，还有人认为2013年也是互联网金融元年。2013年里，大数据很热，热得连我这个与金融数据打了十几年的交道的人也很是吃惊。在过去的十几年里，数据分析一直是一个很小众的事情，我向来很难向我的朋友们解释我所从事的职业。可是，仿佛突然一夜之间所有人都明白了。现在我只要一提我的专业是数据分析，所有人都频频点头。很多事情，一旦到了每一个人都

在热议的时候就变得很可疑。即使是在数据分析师的小圈子里，也有很多人质疑大数据是不是又一次炒作，不过又是一个硬件厂商为了卖硬件搞出来的噱头。

对此，我的观点有点不一样。在以前的文章里，我曾经提到过，我认为：（1）物联网；（2）云存储，云计算；（3）大数据；（4）4G网络及其它互联网技术构成了信息时代的第三次浪潮。它们是不可分离的四个组成成分，将构成人类社会的神经系统。其中物联网是获取信息的触角；云存储云计算是信息存储的仓库；大数据是进行分析并给出指令的大脑；而4G以及今后的其它互联网技术革新技术则是信息传输的通道。它们紧密结合，相互作用，每一项技术都受到其它技术的影响，每一项技术的发展都将反过来推动整体技术的提高与发展。

这四项技术结合而形成的信息时代第三次浪潮，对于人类社会的影响绝不亚于个人计算机的产生，以及互联网的出现。如果说个人计算机的产生让信息开始个人化，互联网的出现创建了一个虚拟世界，那以物联网，大数据为代表的第三次浪潮将帮助人类社会链接虚拟世界与现实世界并且逐步形成人类社会的神经系统建立自学习能力。

由此可见，从这个层面来看，大数据绝对不是一个昙花一现的概念，它将在今后的很多年中一直伴随我们。正如互联网产生的初期出现过.com泡沫一样，大数据在发展的初期也免不了发烧。正如Garnter公司2013年技术成熟度曲线所揭示的一样，大数据技术正处在过热期的顶端，所以的确热得有点过了头。大家不难发现，很多人都在讨论大数据，但是明白大数据是什么，同时真正利用并产生了切切实实效果的企业并不多。在过热期之后便是低谷区。

我相信，大数据的概念在今后的一两年中还将继续热下去，然而在未来，我们也必将会迎来大数据的低谷期。只有在低谷期内苦练内功，探索出切实可行的商业模式，大数据才有可能迎来复苏期并走向成熟。而任何一项变革性技术革命的发生都是需要时间的培育的。反观互联网发展的历程，从上世纪90年代到现在，20年多年的发展，发展到了web 2.0。如果说2013年是大数据元年，我想我们如果能在2023年迎来大数据的成熟期已经是非常了不起了。

二、大数据时代的创业机会在哪里？还有没有机会？

舍恩伯格在《大数据时代》的书中提出，大数据时代下的价值链包括以下三个部分：（1）数据；（2）技术；（3）思维。从而出现了三种不同的大数据公司。

具体来说：第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据提取价值或者使用数据催生创新思想的技能。书中给出的美国的典型案例是Twitter，拥有数据却授权别人进行分析挖掘。在中国，B.A.T.作为互联网巨头，都拥有海量数据。当然与Twitter不同，中国的数据拥有者往往都更倾向于自己进行数据挖掘与分析，而非授权别人进行。

第二种是基于技能的公司。他们通常是咨询公司、技术供应商或者分析公司。这样的公司在美国很多。一些公司或者个人掌握了数据分析的特别技能便通过向数据拥有者或者第三方提供数据分析服务，如书中提到的Teradata，以及金融界的FICO，Experian等等应该都属此类。

第三种是基于思维的公司。他们也许并不拥有数据或者挖掘的技能，而是通过公司创始人或者员工的创新思维，找出挖掘数据新价值的独特想法。这样的公司美国很多，中国也不少，我想现在美国大热的Snapchat应该也可以算作此类。

数据从来就不是普通人能阅读的内容，而在大数据时代，数据越来越多，越来越复杂，这决定了技能依旧缺乏。而基于技能的公司也是最简单直接的创业模式。在美国，很多数据分析师积累了一定经验或者找到了一些特别的算法甚至只是找到了某个好的模型，便会出来创业。而由于他们在所处领域的独特技能，往往也能取得一定的成绩。正因为这样的情况，在美国英国以及其他欧美国家，都会看到很多专门提供数据分析服务的小公司，他们往往只服务于某一个行业，甚至某几家公司，更专注于对特定领域的深入分析。

然而，与欧美不同，中国的数据拥有者对于数据开放往往持有怀疑态度，这就造成了在中国通过技术进行创业的难度更大。提供硬件软件的模式往往可以被接受，但是以提供数据分析服务为切入点的公司往往生存艰难。在这样的环境下，有经验的分析师往往还是会选择成为公司的内部分析人员而非创业。这的情况必然加剧全社会数据分析人才需求的缺口。

而公司内部分析人员由于接触的数据有限，处理的数据问题很局限，公司的专注点不一样，除了部分对数据持续投入的高科技企业，也很难持续进行数据挖掘技术的开发和提高。也许今后针对大数据领域人才的初级培训以及持续的在职培训将会是一个新的市场。当然，这对于创业者的技能要求也是很高的。总结

一下，对于基于技术创业的机会，直接创建提供数据技术服务的公司生存并不容易，而如果以硬件软件为切入点还是有很多机会的，与此同时，相关的培训也许也是一个新生的市场。

针对第三种基于创新思维为基础的公司，仍将有很多的机会。但是在中国市场，这样的创业公司必然会面对如何处理好创新与切实的商业模式的结合，如何在短时间内推广站稳脚跟以应对无处不在的抄袭模仿等等挑战。随着大数据的进一步深入发展，我们也许会看到第三类大数据创业的爆发。当然，正如当初的.com 热潮，最后能真正走向成功并不会太多。

特意把第一类以数据为基础的公司放到最后来说，是为了强调它的重要。个人认为，在中国，大数据时代最大的创业机会便在于如何收集数据成为数据的拥有者。前面提到过，在中国，数据的拥有者对于数据的态度并不开发，往往倾向于内部分析而非对外共享，这样的文化也很难在短期内得到改变。尤其随着大数据时代的不断发展，企业逐步认识到数据的价值，对于数据的态度只怕更趋保守而非转向开放。在这样的环境下，对于创业者而言，如果能够快速地建立起数据收集的渠道和规模，才能立于不败之地，获得长远的发展。然而，这当然也并非一件容易的事情，目前已经收集的数据大多为部分大公司所垄断，如互联网的BAT等巨头，金融银行，电信等等。大数据时代，由于数据规模巨大，对于数据拥有者的门槛自然也会提高。作为一无所有的创业者，想要在数据采集领域想要闯出一番天地一定不是一件容易事，但也并非毫无机会。

随着物联网的发展，很多我们以前并不收集或者并不重视的数据也在大量产生。比如最近兴起的穿戴式设备，开始收集原来很难收集的个人健康数据。行车记录仪等新设备则可收集以前从未收集过的行车资料信息。这样的例子还有很

多。对于创业者而言，切入一些之前没有收集过或者不被重视的领域可能是避免直接与垄断大公司直接对决的有效战略。而在大数据时代，这样的领域并不罕见。随着技术的发展，类似的机会还会不断涌现，需要的是创业者如何识别机会抓住机会，并建立起有效的商业模式。

举报

大数据平台建设方案(20201129021555)

大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间,随着我国现代信息技术得蓬勃发展, 信息化建设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用等技术为核心得“新I T”浪潮风起云涌，信息化应用进入一个“新常态”。*** （某政府部门）为积极应对“互联网+”与大数据时代得机遇与挑战, 适应全省经济社会发展与改革要求, 大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处 理、监测管理、预测预警、应急指挥、可视化平台于一体得大数据平台, 以信息化提升数据化管理与服务能力, 及时准确掌握社会经济发展情况, 做到“用数据说话、用数据管理、用数据决策、用数据创新” , 牢牢把握社会经济发展主动权与话语权。 二、建设目标 大数据平台就是顺应目前信息化技术水平发展、服务政府职能改革得架构平台。它得主要目标就是强化经济运行监测分析，实现企业信用社会化监督, 建立规范化共建共享投资项目管理体系，推进政务数据共享与业务协同，为决策提供及时、准确、可靠得信息依据, 提高政务工作得前瞻性与针对性, 加大宏观调控力度, 促进经济持续健康发展

1、制定统一信息资源管理规范,拓宽数据获取渠道, 整合业务信息系统数据、企业单位数据与互联网抓取数据, 构建汇聚式一体化数据库，为平台打下坚实稳固得数据基础。 2、梳理各相关系统数据资源得关联性，编制数据资源目录, 建立信息资源交换管理标准体系, 在业务可行性得基础上, 实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点, 以大数据应用为核心, 坚持“统筹规划、分步实施, 整合资源、协同共享, 突出重点、注重实效, 深化应用、创新驱动”得原则,全面提升信息化建设水平, 促进全省经济持续健康发展。

大数据平台建设方案

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信

息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

金融大数据平台建设方案

二、大数据平台建设 （一）大数据平台框架概述 大数据平台建设充分整合信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。主要包括以下三部分： 1．大数据分析基础平台 按照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。 2．大数据应用系统 基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。 3．大数据管控 建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障 （二）大数据平台建设原则 大数据平台是大数据运用的基础实施，其设计、建设和系统实现过程中，应遵循如下指导原则： 经济性：基于现有场景分析，对数据量进行合理评估，确定大数据平台规模，后续根据实际情况再逐步优化扩容。

可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。 可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠；对数据指标要保证完整性，准确性。 安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，为系统提供全方位的安全实施方案，确保企业内部信息的安全。大数据技术必须自主可控。 先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及未来数据应用需求，引入对应大数据相关技术。 平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。 分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的无缝对接 （三）基础数据来源 1．银行内部大数据资源 客户自身信息以及其金融交易行为，依照目前积累沉淀

生产企业大数据平台建设项目建议书v

生产企业大数据平台建设项目建议书v 文档编制序号：[KK8UY-LL9IO69-TTO6M3-MTOL89-FTT688]

大数据平台建设项目建议书 目录 第一章、项目背景 企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等: 调度系统，2015年公司共投资了175万元，按集团分步建设、逐步投入的规划，完成了系统基本硬件与亚控平台软件的结合，构建了一个以明阳糖厂生产调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。 农务系统，2005年开始实施，经过多次升级，现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司4家直属糖厂和大桥制糖公司，实现了农务统一的信息化管理。 供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处理平台，建立了公司对各直属厂工作的监督平台，总部可以实时对下属各公司的工作进行监督，实时对各公司的具体业务执行情况进行查看，及时的对下属公司进行指导和监督。

尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍然存在一些较为显着的问题。 （一）总部与下属糖厂未实现完全的集约管理 a)企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。三博 五厂由上海迁回南宁，在宜州设立管理下属五厂的二级管理总 部。 b)从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部 与下属五厂为一套架构，各自独立，暂未整合为一体。 c)为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供 应链、OA、财务、人力等系统方面实现了集约管理，农务管理系 统、生产调度系统以及化验系统均由各厂自建，因此出现各厂建 设系统的厂家不同，使用的系统版本不同等现象。三博总部与下 属五厂的关系亦如此。 （二）总部及各厂之间的数据共享有限 a)由于大多数生产相关的系统均为各厂自建，因此不管是企业总部， 或者是三博总部在获取各糖厂生产相关数据上均较为困难。 b)企业总部通过制定报表模板、开发报表同步功能的方式，定期的获 取下属六家糖厂的生产相关报表，但这些报表的数据容量有限、 数据呈现较为固定，无法为总部经营决策提供实时、灵活的数据 依据。

大数据整合平台建设方案

大数据整合平台建设方案

目录： ?什么是大数据 ?大数据平台介绍 ?大数据平台架构 ?平台建设费用

大数据 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2014年的数据总量将达到3.7万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 作为一家互联网数据资源整合公司，我们在海量数据的整合分析领域是被“逼上梁山”。十年来在严苛的业务需求和数据压力下，我们几乎尝试了所有可能的大数据整合与分析方法，最终落地于大数据平台之上。 大数据平台在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。 大数据平台介绍 大数据系统主要来源于广州启飞信息技术有限公司（https://www.wendangku.net/doc/a114264704.html,/oa）与佛山华讯的短信平台十年的个人信息与企业资源沉积的系统结果。 由于过去在不同平台、投资力度及计算能力等因素的限制，这些系统形成了今天大数据信息系统横向多条块业务难以沟通，纵向多层次系统难以集成的复杂局面。因此，我们感觉到，内部各系统的信息需要有效共享、相互协作、关键数据需要能够被多业务所复用、形成统一的全局数据视图，对现有的数据能够进一步分析加工，从而优化管理。

信息资源整合平台，就是针对这一需求的解决方案，我们构思利用IBM 数据管理领域的产品IBM Information Integrator建立一个信息集束访问接口，建立一个逻辑上集中、物理上分布各平台的统一信息资源整合，用来透明地管理当今两大平台各类系统中庞杂的数据。通过信息资源整合平台，营销部门（悦商圈、微信e、物业管理平台、精准短信群发系统）可以得到以下收益： 关键业务信息的集中管理。 跨异构平台的统一的信息查询访问。 避免不同平台、指标、账务等的信息在不同职能部门需要重复录入。 基础数据（如基础代码数据等）、共享信息（如企业资源等）的在应用系统之间的同步，保持数据的一致性。 在信息整合的基础上，开展跨业务部门、跨应用系统的综合信息分析和报表服务。 信息整合平台的基础架构如下图所示。 在省、市、区县各企业、个人信息整合的过程中，根据信息整合后的不同属性特点，可以分为四个阶段。