您现在的位置:主页 > 工程案例 >

魏凯:如何突破大数据发展的瓶颈

时期:2021-12-04 01:06 点击数:
本文摘要:大数据早已下降沦为国家战略,社会各界对大数据的期望下降到了前所未有的高度。如何稳健推展大数据战略落地,沦为接下来的政策重点。 本文重温了大数据的内涵,分析了大数据的局限性,融合国内大数据发展面对的瓶颈,明确提出了涉及的策略建议。 1章节 2015年,我国《增进大数据发展行动纲要》实施,十八届五中全会更进一步明确提出要在十三五期间实行国家大数据战略,大数据一路下降沦为国家战略,社会各界对大数据的期望下降到了前所未有的高度。 如何推展大数据战略落地沦为未来几年的政策重点。

乐鱼官网推荐

大数据早已下降沦为国家战略,社会各界对大数据的期望下降到了前所未有的高度。如何稳健推展大数据战略落地,沦为接下来的政策重点。

本文重温了大数据的内涵,分析了大数据的局限性,融合国内大数据发展面对的瓶颈,明确提出了涉及的策略建议。  1章节  2015年,我国《增进大数据发展行动纲要》实施,十八届五中全会更进一步明确提出要在十三五期间实行国家大数据战略,大数据一路下降沦为国家战略,社会各界对大数据的期望下降到了前所未有的高度。

如何推展大数据战略落地沦为未来几年的政策重点。本文重温了大数据的内涵,分析了大数据的局限性,融合国内大数据发展面对的瓶颈,明确提出了涉及的策略建议。  2做到概念本质,深刻印象了解大数据的战略价值  大数据是新的资源、新技术和新理念的综合体。

从资源视角来看,大数据是新的资源,反映了一种全新的资源观。摩尔定律依然有效地,计算出来存储和传输数据的能力在以指数速度快速增长,分布式计算、存储和数据技术的革新不断涌现,互联网企业对数据废气(DataExhaust)的挖出利用大获得顺利,引起全社会开始新的检视数据废气的价值,开始把数据当成一种独有的战略资源对待。

  从技术视角看,大数据代表了新一代数据管理技术。传统的数据管理与分析技术以结构化数据为对象、在小数据集上展开分析、以集中式架构居多,成本高昂。与贵族化的数据分析技术比起,源自互联网的,面向多源异构数据、在超大规模数据集上展开分析、以分布式架构居多的新一代数据管理技术与开源软件潮流变换,在大幅提高处置效率的同时(数据分析从T+1到T+0甚至动态),成百倍地减少了数据存储和管理成本。

底层技术的变革获释了上层应用于的创意活力。  从理念的视角看,大数据获取了一种全新的思维角度。

大数据的应用于,彰显了实事求是新的内涵,其一是数据驱动,即经营管理决策可以自下而上地由数据来驱动,甚至像分析股票交易、动态竞价广告等场景中那样,可以由机器根据数据必要决策;其二是数据闭环,仔细观察互联网行业大数据案例,它们往往需要结构起还包括数据采集、建模分析、效果评估到对系统修正各个环节在内的原始数据闭环,从而需要大大地自我升级,螺旋下降。  大数据本身既能构成新兴产业,也能推展其他产业发展和社会变革,战略重要性毋庸置疑。从狭义看,环绕大数据采集、存储、管理和挖出,正在渐渐构成一个小的产业生态(狭义大数据产业)。

2015年,全球的大数据产业规模大约为200~300亿美元。据中国信息通信研究院调查[1],2015年我国大数据市场规模超过115.9亿元,增长速度约38%,预计2016-2018年还将保持40%左右的高速快速增长。

  从广义看,大数据具备标准化技术的属性,需要提高运作效率,提升决策水平,从而构成由数据驱动经济发展的大生态。据华沙经济研究所测算,欧盟27国因大数据的引入,至2020年将取得1.9%的额外GDP快速增长[2]。

美国麦肯锡预计到2020年美国大数据应用于带给的增加值将占到2020年GDP的2%~4%。中国信息通信研究院使用华沙经济研究所完全相同的模型测算,2014年大数据对我国GDP的增量贡献大约为0.53%~1.25%,2020年的增量贡献最低将超过1.9%。大数据的应用于对社会管理水平的提高也能起着显著的推展起到。

  3防止盲目波澜,大数据热潮还须要冷思考  身处大数据热潮中,既要充分认识大数据的潜力,大力做到技术变革带给的机遇,也要明白大数据的局限性,警觉大数据万能论。一些被广泛传播的经典案例现在被证明是子虚乌有的,比如,啤酒与内衣的故事实质上是Teradata公司的工程师ThomasBlischok在1992年杜撰的[3],从没再次发生过;而Netflix堪称用大数据分析协助自制剧《纸牌屋》取得成功,而实质上是把大数据作为公关活动的噱头[4]。笔者指出,最少有以下几点有一点思维:  第一,大数据尚难对人的不道德作出准确预测。

在大数据否能精确预测人类不道德的问题上,还不存在根本性分歧。《黑天鹅》认为人类的不道德不能预测[5],而《愈演愈烈》一书则根据对以往历史经验的总结,认为人类不道德93%可预测[6]。麻省理工学院教授罗伯特莱格伯恩(RobertoRigobon)称之为,虽然华尔街仍然推崇数据分析,但基于海量数据分析的对冲基金在全球都是告终的[7]。对于人和事件,如果放在越大的空间和时间范围,则是就越可以准确预测的。

如果放在就越小的空间和时间范围,则是就越不可以准确预测的。例如,我们完全可以在100%的程度上预测一个人在24小时的时间范围内不会睡觉;但若准确到某一分钟,则完全不有可能预测精确。[8]大数据无法预测人类不道德,归根结底还是因为人具备权利意志,人会根据预测结果(如下个月的股票价格、明天的交通拥堵情况)转变自身不道德,从而使得预测过热。

  第二,大数据涉及关系无法替代因果关系。舍恩伯格在《大数据时代》[9]中说道:我们没适当不须告诉现象背后的原因,而是要让数据自己倾听,涉及关系需要协助我们更佳地理解这个世界。

找寻涉及关系和因果关系,是人类思维的两种最重要方式,而用大数据展开预测往往依赖相关性,也就是说,很多情况下告诉是什么才可,不用告诉为什么。涉及关系的运用在互联网引荐、精准广告等方面获得了实际应用于。然而,在很多时候,如疾病诊断、工厂故障分析等场景下,必须根据确认的(或置信度十分低的)结论来决策,单凭涉及关系是远远不够的。

换言之,大数据中的涉及关系应用于,必须区分场景,有时候数据无法自己说出,必须追本溯源。  第三,大数据来源不平衡不会让数据说出。有人说道数据会骗子。实质上,如果忽略数据来源的不均衡性,数据分析结果就不会骗人。

中国互联网络信息中心2015年的统计数据表明,我国网民城乡产于相当严重失衡,农村网民虽然快速增长快速增长,但仍不及城市追加网民数量的1/10。社交网络用户的性别产于也某种程度有很相当严重的弯曲,公司2015年年初的报告表明,微信用户的男女比例为1.8:1,男性用户大约占到了64.3%,而女性用户则只有35.7%。如果利用网络大数据展开民意调查,却不把样本分布的不均衡性考虑到进来,就有可能使得某些群体并未获得充份代表,而某些群体因使用率低,其意见或特征被过分缩放。

这种不均匀分布的数据来源不会造成分析结果不存在种族主义和盲区。  第四,大数据无法歼灭信息不平面现象。

有人说道,大数据有助歼灭信息不平面。虽然从全社会看,大数据的全面收集和融合应用于未来将会在局部恶化信息不平面程度,但是在互联网世界中,马太效应很明显,享有大数据资源和掌控大数据分析能力的企业,往往不会在大数据时代占有更为不利的地位、占据更加多数据,从而更容易构成一批数据寡头,产生新的不公平,导致新的信息不平面。

因此,大数据无法歼灭信息不平面,反而更加有可能助推数据寡头的经常出现。如果这种数据独占地位被企业欺诈,将不会威胁个人、企业甚至国家利益。因此,在大数据时代,如何更进一步调和数据鸿沟、避免数据霸权的欺诈,将不会沦为一个最重要的新课题。

热潮之下,对大数据的反省,还必须不断深入,才能让我们维持精神状态的头脑。  4推展对外开放分享,倒逼信息化建设升级  以上从理论层面做到了探究。

而从大数据产业实际发展来看,我国还不存在数据对外开放、技术创新、制度建设、区域协同等多方面的瓶颈必须突破。  对外开放政府数据,并坚决用好大数据技术,是政府部门反对大数据发展最必要的措施。经过多年发展,我国政府信息化建设获得了举世瞩目的成就。自1993年启动金桥工程、金关工程和金卡工程以来,两网一站四库十二金陆续竣工,政务信息化水平大大提高;面向公众服务的政府网站群也早已具备较大规模,截至2015年上半年,全国各级政府网站总数超过8.6万个,其中地方8.3万个,国务院部门3000多个。

政务赴任和公众服务过程中累积了非常丰富的数据资源,是十分宝贵的资源。  数据对外开放分享仍然是政务信息化建设的理想目标。以前,系统建设烟囱式的建设模式,再加数据权责利的管理制度没创建一起,造成纵向来看在政府内部的数据孤岛普遍存在,横向来看数据对外开放堪称缺少技术与制度基础。现在,在全社会前进大数据的应用于,数据的多源融合是先决条件,政府数据的分享对外开放早已沦为被迫做到的事情。

乐鱼官网推荐

刚好在最近几年,云计算大大成熟期,为统一的政务信息平台建设获取了新的工具,为数据共享融合获取了技术便捷。  李克强总理特别强调:首先要把政府大数据的建设事情办成,给社会一个好的样板。用政府大数据的应用于倒逼政务信息化升级,推展政务信息化建设从烟囱式、封闭式、集中式的模式,改向平台式、开放式、分布式的模式。国务院《增进大数据发展行动纲要》中,把这项工作放在首位,明确提出了专责基础设施、统合应用于平台、推展数据共享、前进数据对外开放等基础性工作,还明确提出要基于融合的数据,强化宏观调控科学化、政府管理精准化、商事服务便利简化等应用于创意。

从自身转行,反映了政府推展大数据的决意。  然而从各地前进情况看,政府数据的对外开放分享在实际操作中的阻力极大,动力严重不足。转变目前政府部门不愿对外开放、不肯对外开放、无法对外开放的现状,将来之计,是要自上而下,由中央创建一套完备的数据对外开放分享机制,具体对外开放分享的数据目录、技术标准,以及平台建设思路,部委和地方去实施。

短期来看,还必须融合趋向路线,逐步推进。例如在政府数据对外开放方面,可再行从早已对外开放的数据如何便利化应用于应从。

  我国很多政府网站都早已对外开放了比较丰富的数据资源。笔者曾多次对工业和信息化部miit.gov.cn域名内已对外开放的数据展开了研究和辨别(并未包括国防科工局、国家烟草专卖局、国家航天局和国家原子能机构,以及各地方主管部门和25个辖下机构),找到早已对外开放的数据包括资质审查、行业统计资料、项目审核、产品信息、标准规范和科技成果等6大类数据集,总计大约60万条数据,早已不具备相当规模。  但政府已对外开放数据大多不存在以下三方面问题:一是很差去找,现有数据更为集中,检索缺少统一入口;二是数据不漂亮,大多以表格或文字综述报告形式呈现出,直观性不强劲,公众解读一起较为艰难;三是数据很差用,数据格式标准不统一,绝大部分不反对机器可读书。

这些都减少了政府数据社会化应用于的技术门槛和成本。解决问题上述问题,可以从技术上应从,统一标准,创建平台。首先让政府网站上本已对外开放的数据更佳去找、更佳看、更佳用,成熟期后逐步扩大开放范围,这将是稳健不切实际的第一步。  5特别强调供需接入,夹住技术产业横跨发展  大数据资源与技术,就只不过工业时代的燃料与引擎,不仅合为产业,还需要驱动其他产业更佳发展。

当前,开源模式迅猛发展,技术民主化潮流势不可挡,数据技术的轨道正在从集中式向分布式转换,传统产业的格局未来将会重塑。在这样的大变轨时期,一方面我国领先的互联网企业IT生产企业与国际先进设备水平的差距大大增大,甚至在一些方向上超过了前所未有的相似程度。另一方面,我国正在实行《中国生产2025》战略,农业和服务业正在加快转型,有数不清的问题等候着用大数据去解决问题,对大数据技术产品的市场需求空间也十分极大。  技术产业加快变轨、国内产业较慢兴起和可观的市场内生市场需求三者变换,使得我国不具备在大数据领域构建横跨发展的条件。

在之前的几次信息化浪潮中,国内产业没有能构建急弯转弯,天时、地利、人和没同时不具备。然而在当前的时间点上,我们同时不具备了产业承托能力和极大应用于空间的优势,如果需要将两方面优势融合一起,构成良性对话格局,就需要构建横跨发展。《增进大数据发展行动纲要》明确提出推展产业创意发展,培育新兴业态,助力经济转型的任务,反映了谋划横跨发展的前瞻性。

  我国大数据产业发展的一个最重要目标是打造出自律高效率的产业体系。当前,从大数据技术与产品的供给外侧看,我国虽然在局部技术上构建了单点突破,但大数据领域系统性、平台级技术创新仍不多见,供应商面对着紧随技术趋势、精准接入用户市场需求的压力。从大数据技术与产品的市场需求外侧看,对金融、电信、工业、医疗、政府等行业用户来说,于是以面对着如何规划技术路线、如何自由选择商用产品、如何建构和运维大数据平台等问题。

  为此,下一步着力点应当按照中央明确提出的供给侧改革思路,充分发挥产业联盟等平台起到,了解挖出业务市场需求,增进供需精准接入,把国内优势技术力量汇聚一起构成合力,突破关键技术,发售符合关键行业根本性市场需求的大数据技术产品体系,并以产业实践中为基础,逐步形成接地气的大数据标准体系和知识产权体系,渐渐向技术和产业的前沿和高端跃居。  6完备法律制度,贯彻确保数据安全  当数据这种新的资源更加不受推崇时,与数据涉及的权利义务界定也就变得更加最重要。

小到个人,大到企业和国家,都是大数据的利益涉及方。  对个人来说,大数据的应用于对隐私维护明确提出了极大挑战,技术面前个人更加似乎和薄弱。要严苛维护大数据应用于中的个人信息,就必须探寻构成大数据环境下数据搜集、对外开放、互相交换、应用于等环节的规则,具体大数据应用于涉及各方的个人信息维护义务和责任。

  对企业来说,数据资产的所有权、使用权还是个模糊不清地带,急需创建数据产权保护制度,具体各类市场主体所累积的信息资产所有权归属于,创建规范化管理和用于机制,维护信息所有者、信息主体及公众的合法利益。  对国家来说,数据空间沦为主权的新领域。必须研究跨境数据流动分级、分类管理制度,牵涉到国家秘密、国家安全性以及经济安全性的数据展开管理,保证大数据时代的国家安全性。  李克强总理认为,政府既要扶植,为大数据产业建构一个身体健康发展的环境,又要引领、规范,确保信息安全,并明确提出要完备产业标准体系,依法依规压制数据欺诈、侵害隐私等不道德,让各类市场主体公平共享大数据带给的技术、制度和创意活力。

《增进大数据发展行动纲要》具体了增强安全性确保,提升管理水平,增进身体健康发展的任务,以及减缓法规制度建设的措施,从法律法规、管理制度和技术手段等多层次确保大数据安全。  完备大数据发展的制度环境是一个长年过程。

将来来看,要提高大数据管理水平,深入研究数据权益、数据管理、数据交易、数据安全等关键问题,推展创建数据流通和用于的行业自律机制,逐步完善实施大数据涉及法律体系,前进法治化进程。创建大规模个人信息泄漏报告制度,完备网络数据和用户信息的安全性防水措施及管理机制,完善网络数据保护制度。

短期来看,在法律法规仍未实施之前,要充分发挥行业的组织起到,建构大数据交易流通与合规应用于的行业自律机制,推展行业自律,创建基于实践中的大数据安全管控技术标准体系,积极开展大数据平台产品及服务商的可靠性及安全性评测工作、应用于安全性评测、监测预警和风险评估。  7引人注目地方特色,构成差异化的区域产业布局  国务院《增进大数据发展行动纲要》中明确提出,要强化中央与地方协商,引领地方各级政府融合自身条件合理定位、科学谋划,将大数据发展划入本地区经济社会和城镇化发展规划,制订实施增进大数据产业发展的政策措施,引人注目区域特色和分工,抓好措施实施,构建科学有序发展。

2016年4月13日开会的增进大数据发展部际联席会议第一次会议,更进一步具体了地方大数据发展的重点方向,减缓综合试验区建设,希望地方积极开展制度创意探寻,推展数据创意应用于,密码大数据发展难题。  国务院《增进大数据发展行动纲要》实施后,各地抢抓发展机遇,谋划大数据发展蓝图,不少地方早已在顶层设计、体制机制创意、业态探寻和基础设施建设等方面获得了显著进展。

据中国信息通信研究院统计资料,目前早已有23个省市实施了74个大数据涉及的指导意见或规划,广东、贵州、辽宁沈阳、四川成都市地方政府还正式成立了大数据涉及的专门机构;北京、贵州、陕西、湖北、河北、上海、浙江等地正式成立大数据交易所或交易中心;内蒙古、贵州等资源禀赋较好地区的超大规模绿色数据中心建设陆续竣工,构成了较好的发展局面。  必须尤其注目的是,大部分省市的大数据规划都有大手笔的数据中心建设计划。必须留意的是,大数据决不相等大数据中心,大数据发展不一定必须大面积的产业园区。因此,地方发展大数据的重点,不是辟产业园、辟数据中心,而是要充份相结合有数设施资源,把现有的资源利用好,要极力杜绝盲目新建数据中心,防止导致资源空间的浪费。

地方必须差异化发展,应当把大数据的发展焦点放到因地制宜地增进应用于创意上,放到打造出完备的发展环境上,让市场在大数据发展要素配备上起要求起到。


本文关键词:魏凯,如何,突破,大,数据,发展,的,瓶颈,大,leye乐鱼娱乐app

本文来源:leyu乐鱼全站app-www.sy85zx.com



Copyright © 2002-2021 www.sy85zx.com. leyu乐鱼全站app科技 版权所有 备案号:ICP备30297148号-1