无论是身处学校还是步入社会，大家都尝试过写作吧，借助写作也可以提高我们的语言组织能力。写范文的时候需要注意什么呢？有哪些格式需要注意呢？下面是小编帮大家整理的优质范文，仅供参考，大家一起来看看吧。

嘉兴市大数据发展管理局嘉兴的大数据信息篇一

大数据的特征与发展趋势在云计算、物联网等技术的带动下，中国已步入‘大数据’时代。邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。据有关机构测算，大数据已成为全球ｉｔ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ｉｔ企业等都“摩拳擦掌”，希望能分到“一杯羹”。1．大数据的含义

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据”这个术语最早期的引用可追溯到apache org的开源项目nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌mapreduce和googlefile system （gfs）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

2．大数据的特征

关于大数据的特征，业内专业认识人士表示，可以用很多词语来表示。比较有代表性的即为2001年douglaney最先提出“3v”模型，包括数量(volume)、速度(velocity)和种类(variety)【1】。除此之外，在3v的基础上又提出了一些新的特征。关于第四个v的说法不一，idc 认为大数据还应当具有价值性(value)，大数据的价值往往呈现出稀疏性的特点。而ibm 认为大数据必然具有真实性(veracity)。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集【2】。如今，业内人士已经将其扩展到了11个v，包括有效性、可见性等。

下面就目前使用最多的“4v”模型进行分析。“4v”特征主要体现在以下方面：

2.1.规模性（volume）

volume指的是数据巨大的数据量以及其规模的完整性。数据的存储tb扩大到zb。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。实质上，在某种程度上来说，数据的数量级的大小并不重要，重要的是数据具有完整性。数据规模性的应用有如下的体现，比如对每天12 tb的tweets进行分析，了解人们的心理状态，可以用于情感性产品的研究和开发；基于facebook上成千上万条信息的分析，可以帮助人们处理现实中的朋友圈的利益关系。

2.2.高速性（velocity）

velocity主要表现为数据流和大数据的移动性。现实中则体现在对数据的实时性需求上。随着移动网络的发展，人们对数据的实时应用需求更加普遍，比如通过手持终端设备关注天气、交通、物流等信息。高速性要求具有时间敏感性和决策性的分析——能在第一时间抓住重要事件发生的信息。比如，当有大量的数据输入时（需要排除一些无用的数据）或者需要马上做出决定的情况。比如：一天之内需要审查500万起潜在的贸易欺诈案件；需要分析5亿条日实时呼叫的详细记录，以预测客户的流失率。

2.3.多样性（variety）

variety指有多种途径来源的关系型和非关系型数据。

这也意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。除了简单的文本分析外，还可以对传感器数据、音频、视频、日志文件、点击流以及其他任何可用的信息。比如，在客户数据库中不仅要关注名称和地址，还包括客户所从事的职业、兴趣爱好、社会关系等。利用大数据多样性的原理就是：保留一切你需要的对你有用的信息，舍弃那些你不需要的；发现那些有关联的数据，加以收集、分析、加工，使得其变为可用的信息。

2.4.价值性（value）

value体现出的是大数据运用的真实意义所在。其价值具有稀缺性、不确定性和多样性。“互联网女皇”mary meeker在2012年互联网发展趋势中，用一幅生动的图像来描述大数据。一张是整整齐齐的稻草堆，另外一张是稻草中缝衣针的特写。寓意通过大数据技术的帮助，可以在稻草堆中找到你所需要的东西，哪怕是一枚小小的缝衣针。这两幅图揭示了大数据技术一个很重要的特点，价值的稀疏性。

从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。从大数据的特征来看，数据源增加、传感器的分辨率提高，使得大数据的体量大。数据源增加、数据通讯的吞吐量提高、数据生成设备的计算能力提高，使得大数据的速度快。移动设备、社交媒体、视频、聊天、基因组学研究和各种传感器使得大数据的类型多以数据为基础的决策要可追溯，要有理有据，这使得大数据还应具备准确性的特征。大数据的这些特征将决定政府在大数据业务和整个大数据生态系统中收集、分析、管理、存储及分配数据的方式。3、大数据的现实价值

巨量数据正在成为一种资源，一种生产要素，渗透至各个领域，而拥有大数据能力，即善于聚合信息并有效利用数据，将会带来层出不穷的创新，从某种意义上说它代表着一种生产力，麦肯锡认为，“人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”

大数据将带来此起彼伏的it技术革命。为解决日益增长的海量数据、数据多样性、数据处理时效性等问题，一定会在存储器、数据仓库、系统架构、人工智能、数据挖掘分析以及信息通讯等方面不断涌现突破性技术，当今世界it巨头、it敏锐的创新者们正努力耕耘在大数据技术领域，大数据将成为it的主战场。

大数据将在各行各业引发各类创新模式。随着大数据的发展，行业渐进融合，以前认为不相关的行业通过大数据技术有了相通的渠道，沃尔玛通过数据挖掘将风马牛不相及的“啤酒与尿布”联系在一起，大数据将会产生新的生产模式、商业模式、管理模式，这些新模式对经济社会发展带来深刻影响。

大数据将给人们生活带来翻天覆地的变化。大数据技术进步将极大地惠及人们生活的方方面面，在家有智能管家帮助你美好生活；外出购物，商家会根据你的消费习惯将购物信息通过无线互联网推送给你；外出就餐，车载语音助手会帮你挑选餐厅并告诉你即时的周边情况和停车状况。衣食住行的便利将无处不在。

大数据将提升电子政务和政府社会治理的效率。大数据的包容性将打开政府各部门间、政府与市民间的边界，信息孤岛现象大幅消减，数据共享成为可能，政府各机构协同办公效率和为民办事效率提高，同时大数据将极大地提升政府社会治理能力和公共服务能力。驾驭大数据，在整个政府和全球经济中创造价值，其影响是广泛而深远的。政府善政的许多重要原则与大数据有相通之处。从根本上说，大数据能够通过改进政府机构和整个政府的决策，使政府机构更加英明地提高政府工作效率，为利益相关者服务。利用各种渠道的各种数据，快速获得关键、准确的深刻见解，将显著改进政府的各项关键政策和工作。

4、 大数据的应用及发展趋势4.1大数据已经深耕于经济领域并创造了巨大的经济价值

4.1.1美国的大数据产业已经创造了巨大的价值。

大数据使美国医疗服务质量得到提高。对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果，更多地使用电子健康记录（电子健康档案），并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势，并依据真实的医疗服务质量开展医疗评估。

大数据使美国的交通更加便利。通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。

大数据使美国的教育质量得到提升。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动——精细至每个鼠标点击动作，研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行，而不是孤立的小型研究。课程和教学方法，无论是在线的，还是传统的，都可以根据大规模分析所收集到的信息进行修订。

大数据提高了美国的征税效率。由于迅速发现异常的能力日益增加，政府税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试图进行不当纳税申报的人，会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们接受纳税人的纳税申报单并办理退税，并对一部分纳税申报单进行抽查，以找出有意或无意欠税的情况。大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规情况，减少问题退税的发放。资料表明，在医疗领域每年产生3000亿美元的潜在价值；在公共管理部门，每年产生2500亿美元的潜在价值；在个人位置数据领域，每年产生1000亿美元的市场；在零售业能够增加60%的营业额；在制造业部门，能够降低50%的产品开发及装配成本。

大数据在欧洲公共管理部门得到深入应用。大数据在oecd组织中的欧洲国家公共管理部门创造了1500到3000亿欧元或更高的潜在经济价值，这些经济价值主要通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且出现供需缺口。gartner咨询公司预测，到2015年，大数据人才需求达到440万人，人才需求缺口将达到三分之一。

4.2欧美等发达国家把数据资产上升到国家信息战略高度4.2.1美国已经布局大数据产业。

2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油与矿产”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。4.2.2欧盟及日韩将会紧随其后。

继美国率先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，预计不久相应的战略举措也将出台。数据规模及运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间争夺的焦点。4.3 我国大数据产业的发展趋势

在全球经济、技术一体化的今天，我国it行业已经开启了大数据的起航之旅，大数据已经在经济领域发挥重要作用。据计世咨讯预测，2012年，政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的发展趋势如下：

4.3.1大数据在经济预警方面发挥重要作用

在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。

4.3.2大数据分析成为市场营销的重要手段

与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。

4.3.3大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机远程监护，对慢性病进行管理等。

4.3.4大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。

当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义。中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。

1

嘉兴市大数据发展管理局嘉兴的大数据信息篇二

嘉兴市大数据发展管理局嘉兴的大数据信息篇三

a年，在市委、市政府的坚强领导下，市大数据发展管理局坚持以习近平新时代中国特色社会主义思想为指导，全面贯彻落实数字中国、数字强省战略部署，以“在数字x建设上创一流”为目标定位，将数字x建设作为事关全市发展的一项战略性、全局性、系统性工作，举全市之力一体推进，各项工作任务圆满完成，为现代化国际大都市建设贡献大数据智慧和力量。我市网上政务服务能力再次进入全国前x名，数字城市建设获评中国数字城市百强榜第x名。我市数字政府建设经验、破解中小微企业融资难经验被国务院办公厅专题推广。

一、数字政府聚焦提质增效，“多点用力”优化营商环境

（一）深入推进政务服务“一网通办”。“爱x·青e办”整合x个部门、x个区（市）、x家企业的x多项服务，归集x类x余万条电子证照数据，电子身份证、驾驶证等x类市民常用证照汇入“青e办”电子卡包，实现掌上“亮码、扫码”应用。全面推进电子证照、电子印章应用，政务服务平台支撑能力进一步增强。市、区两级x万余项政务服务事项，实现网上服务“一次登录、全网通行”。除经批准的事项外，依申请政务服务事项网上可办率已达x%（其中市本级x项、市区两级x项）。

（二）全面推进城市治理“一网统管”。初步建成左右衔接、上下贯通的城市云脑，接入x个单位的x个业务系统、x个场景、x余项指标。基于市城市云脑和市应急指挥平台建成一体化综合指挥平台，为全市提供统一公共基础支撑和数据业务能力服务，推动城市管理科学决策，提升城市治理效能。

（三）加快推进数字机关“一网协同”。全面推进网上办公，一体化金宏办公系统开发各类功能模块x余个，服务全市x万机关用户和x万移动办公用户，今年以来全市网上公文流转量超过x万件,累计超过x亿件。全市统一的高清视频会议系统覆盖市、区（市）、镇（街道）三级党政机构，部署硬件终端x多台、软件终端超过x个，累计召开视频会议x次，参会人数x万余人次，已实现与全省工作综合视频会议系统互联互通。

（四）持续推进政务数据“一网共享”。开展“为民服务、数据赋能”攻坚行动，全面破除数据“壁垒”，建立政务数据共享清单和负面清单，凡未列入负面清单的数据必须共享。新归集“疫苗接种数据”“道路运输车辆”等x类x亿条数据，日均数据共享交换x万条，市级需求共享满足率达x%，打造了人才引进“秒批”等一系列典型案例。“信用中国（xx）”网站累计公示等各类信用信息x万条，助力相关部门查询调取信用数据超x万次，及时发现失信记录x次。完善信用修复办理机制，累计受理信用修复申请x件次，修复企业失信信息x件次，实现企业失信信息修复工作“零跑腿”“零投诉”。

（五）大力推进政务系统“一网支撑”。进一步增强政务云和政务网的支撑保障能力，完成云网密码应用测评评估。全市政务部门累计上云x个业务系统使用x台云主机，云主机使用量同比增长x%。升级优化视频监控资源共享平台，新增汇聚视频资源x万路，同比增长x%，视频监控资源在线率由年初的x%提升至x%，极大增强视频资源服务社会综合治理的效能。始终将安全摆在首位，加强网络安全管理，提升综合防御能力，进一步筑牢政务信息系统安全稳定运行的网络空间环境。

二、数字社会聚焦场景拓展，“无微不至”服务市民生活

（一）民生服务创新成果不断涌现。聚焦群众和企业日常生活中的难点痛点堵点问题，将分散在各部门办理的“单个事项”集成为企业和群众视角的“一件事”和“一个场景”，梳理形成了“义务教育入学一件事”“就医付费一件事”等x个政务服务“一件事”和“全市一家医院”“全市一个教育平台”等x个城市运行“一个场景”。义务教育招生实现“一网通办”，x余万学生家长“零跑腿”；
“就医付费一件事”已接入x家医疗机构线上支付体系，实现多渠道多方式就医付费；
“惠企资金申请一件事”破解申报手续材料繁、违规多头虚假申报等问题，部分政策实现惠企资金免申即享、资金快速兑现；
“全市一家医院”已接入全市x家二级以上医疗机构医生号源；
“水电气暖有线与房屋协同过户一件事”已实现房屋过户登记最多跑一次。x个事项总体完成率已达x%，x个事项完成率x%。

（二）新型智慧城市试点全面推进。市、区（市）两级全域纳入“x省新型智慧城市建设试点”，成功举办“第一届中国新型智慧城市建设峰会”，x新型智慧城市建设经验叫响全国，进一步擦亮了“青春之岛·智慧新生活之城”新型智慧城市建设品牌。聚焦群众关切，开展新型智慧城市“问需于民”活动，梳理形成近x项热点问题，多措并举推动热点、堵点问题解决。

（三）智慧社区、街区建设率先发力。开展“智慧社区建设提升行动”，x个社区纳入省支持建设范围，全省数量最多，全市建成智慧社区、智慧街区示范点超过x个。完善社区基础设施，构建社区安全屏障，全市累计建设智慧安防小区、村庄x处，建成率达x%。出台《关于进一步明确和落实住宅小区智慧化基础设施配置条件的通知》，将智慧化基础设施配置纳入新建住宅项目土地出让和老旧小区改造常规条件。

（四）“一码通城”覆盖领域逐步扩展。打造一码通城平台，用“x健康码”打通部门、平台、应用间“码”的壁垒，在政务服务、交通出行等x大领域推动“多码”向“一码”转变。在市民中心、医疗机构、风景区、商超实现一码认证、一码入场。注册用户近x万，为市民、游客提供便民服务超x万次。

三、数字生态聚焦开放融合，“先行先试”激发要素潜能

（一）推动公共数据开放应用。升级改造公共数据服务平台，构建集成隐私计算、联合建模、数据可视化、数据挖掘分析等功能的大数据通用算法模型和控件库。平台已开放交通出行、市场监管等领域x个数据目录，共x亿条数据，吸引x家企业入驻。印发《x市公共数据资源开发利用试点实施方案》，在智慧公安、教育、融资服务等x余领域，全面开展大数据创新应用示范创建。建设线上“数字实验室”，拓展工业互联网领域数据应用场景，支持海尔卡奥斯公司、海尔财务公司对工业互联网平台企业精准画像，提供“千企千面”服务。我市公共数据开放水平，入榜全球重要城市开放数据指数十强，在《a年上半年中国地方政府数据开放报告》中位列全国标杆城市第二名。

（二）积极探索数据流通交易。推动x大数据交易中心积极探索由“数据交易平台商”向“数据交易平台+服务商”转变，提供数据定制化清洗、加工、分析等服务，为社会数据流通者搭建数据供需、数据治理、数据服务平台。举办胶东经济圈大数据高峰论坛，建立胶东经济圈公共数据开放专区，促进数据要素胶东经济圈有序流动，推动政企数据充分对接和融合应用。

（三）助力小微企业增信融资。积极探索政务数据市场化配置的可行途径，创建x市政务数据中台，累计向社会提供近x类x万条涉企数据，支持金融机构直接利用政务数据资源开展信贷业务，有效破解了银企信息不对称导致的金融机构“不敢贷、不愿贷”问题。x家金融机构利用政务数据进行贷前审查、贷中放款和贷后跟踪，审核授信企业x万家，涉及综合资金x亿，放款x亿。相关经验做法被国务院办公厅以专刊形式宣传推广，并在中国政府网刊发。

回顾一年来的工作，虽然取得了一定成效，但离市民群众期待还有差距。国家和省级系统整合推进进度不快、跨层级数据共享周期较长等问题仍然存在，亟需采取有力措施，切实加以解决。2022年，市大数据局将继续统筹推进数字x建设，加快提升数字政府、数字社会建设水平，营造良好数字生态，推进城市数字化转型“为人而转”，让更多的市民体会生活便利，享受数字化建设成果。

嘉兴市大数据发展管理局嘉兴的大数据信息篇四

摘要：进入信息化时代后，大数据技术及应用都得到了长远的发展。本文首先对大数据的发展历程进行简单介绍，揭示了数据如何完成的指数级的增长。之后，介绍了数据仓库的发展趋势，以及在当前技术环境下，数据仓库技术如何融合其他技术来为大数据应用提供解决方案，以适应不同企业的实际需求。

关键词：大数据;数据仓库;架构

0 引言

自2008年被《nature》杂志专刊提出了大数据（bigdata）概念，大数据立即成为政府、学术界、实务界共同关注的焦点。大数据，用于描述信息爆炸时代下的海量信息。大数据研究主要是着眼于，分析信息内容及信息之间的联系，从而利用海量数据来完成为各种应用服务、提供更加精准的数据服务。

1 大数据发展历程

因为大数据的发展过程，最重要的着眼点是数据量的指数级的增长，以及对数据处理能力的提升，所以本文大致上将大数据的发展历程分为以下几个阶段。

（1）megabyte到gigabyte：20世纪70年代到80年代，数据首次达到了gigabyte的量级，从而导致“大数据”的引入。为了良好的存储、处理数据，集成软硬件于一身的数据库专用计算机随之而生。但其专用硬件难以跟上通用计算机的发展节奏，受到的发展的限制。之后，数据库主要作为软件系统进行发展，对硬件不再有各种限制，能够很好的运行在通用的计算机上。

（2）gigabyte到terabyte：20世纪80年代末期，数字技术的迅猛发展直接导致数据容量越入terabyte级别，这一数据量直接超出了单一计算机系统可处理的能力。此时，提升数据存储能力、处理能力的需求日益迫切，进而提出了数据并行化的理论，其核心思想是将数据和相关的运算分配到独立的硬件进行处理。在此理论的基础上，并行数据库得到了发展，比如磁盘共享数据库、内存共享数据库、无共享数据库。其中，无共享数据库设计在互连集群的基础上，取得了很大的成功，较为流行的产品有teradata、greenplum、vertica、netazza、asterdata。

（3）terabyte到petabyte：20世纪90年代末期，全球进入了互联网时代，网页数据直接达到了petabyte级别。网页数据基本数据半结构化和无结构化的数据，这对数据库技术是个极大的挑战。对于结构化的数据并行数据库能很好的处理，但是对于无结构的数据却不能很好的支持，并且其数据处理能力处于teragbytes级别。为了应对此问题，google提出了gfs文件系统[1]和mapreduce编程模型，能够自动完成数据的并行化操作，进而将应用分布到服务器集群中。

（4）petabyte到exabyte：根据现在大数据的发展态势，不就之后将进入exabyte级别。但是，现有的不能满足这一需求。在2011年7月，emc发布了名为“extracting value from chaos”的研究报告[2]，进一步讨论的大数据的思想及价值。之后诸多科技巨头，如oracle、microsoft、google、amazon、alibaba等都开始了大数据项目，同时，众多政府机构及学术界研究机构都进一步开始了大数据的研究工作，大数据的研究工作仍在进一步的发展。

数据仓库经过多年的发展，理论技术、架构体系、解决方案、商业化的产品甚至人才储备都已很完善。所以，在大数据蓬勃发展还未形成完善的理论和技术体系时，数据库厂商在其传统数据仓库产品的基础之上，融合hadoop技术，进一步加强数据库技术的研发，针对数据分析、数据压缩、列式数据库等技术的进行研究。forrester提出了下一代企业级数据仓库的平台架构[3]，在传统的数据源基础上，引入了来自于传感器、地理信息、社交网络等多方面的非关系型数据，通过hadoop进行数据处理，运用数据虚拟化技术可以将不同的数据源进行整合，再利用压缩技术来管理更大规模的数据，从而进一步提供数据分析。并可以利用类似于in-memory的数据库内分析技术来处理更加复杂的应用，能够同时完成事务的分析和处理操作。而下一代的数据仓库架构的发展方向就应该是大数据和数据仓库相融合的角度。

大数据和数据仓库的产生和发展的背景及其相似，都是想利用最先进的技术来处理更多的數据、最大程度上利用数据的价值。数据库、数据仓库以及大数据根本上都是用于处理数据、挖掘数据，彼此之间是需求互补、技术互补、相互协作的关系。

目前对于大部分的企业来讲，要新开展一个大数据项目，可以从现有的数据仓库的经验入手，可以引入大部分的数据库技术。尤其是对于实现非结构化数据的处理，是非常有效的。比如，将hadoop技术应用于对数据采集、etl、存储、处理，开发提供给传统的数据仓库应用工具。充分利用hadoop的数据处理优势，改变传统数据仓库单节点存储、处理的模式，将各类数据处理成结构化数据，向上提供给应用工具。

此外，传统数据仓库还可以结合hadoop在数据管理层协作，使用传统的数据仓库工具对结构化的数据进行处理，hadoop对非结构化数据进行处理，然后将两者处理后的数据存储至结构化数据库中，用于之后的进一步处理。数据仓库与大数据在技术层面的融合之外，数据仓库的成熟经验也应充分利用，比如数据建模、etl、元数据管理等很多成熟的数据库经验可以利用。

虽然数据仓库技术并不是目前大数据技术的领域的引领者，但是对于大多数的中小企业，无法实现对大数据进行独立的开发与管理，从而将其融合数据仓库技术，与传统厂商合作，是比较理想的解决方案。

3 结语

近年来由于数据量的剧增，大数据领域得到了迅猛的发展。传统数据库技术厂商通过进一步完善数据仓库技术，通过技术的融合，提供出数据仓库、大数据一体化的解决方案，以适应中小企业的实际需求，从而推动大数据应用的落地。

參考文献

yang lei

（xingye co.， ltd. qingdao branch， qingdao shandong  266000）

嘉兴市大数据发展管理局嘉兴的大数据信息篇五

大数据的特征与发展趋势在云计算、物联网等技术的带动下，中国已步入‘大数据’时代。邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。据有关机构测算，大数据已成为全球ｉｔ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ｉｔ企业等都“摩拳擦掌”，希望能分到“一杯羹”。1．大数据的含义

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据”这个术语最早期的引用可追溯到apache org的开源项目nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌mapreduce和googlefile system （gfs）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

2．大数据的特征

关于大数据的特征，业内专业认识人士表示，可以用很多词语来表示。比较有代表性的即为2001年douglaney最先提出“3v”模型，包括数量(volume)、速度(velocity)和种类(variety)【1】。除此之外，在3v的基础上又提出了一些新的特征。关于第四个v的说法不一，idc 认为大数据还应当具有价值性(value)，大数据的价值往往呈现出稀疏性的特点。而ibm 认为大数据必然具有真实性(veracity)。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集【2】。如今，业内人士已经将其扩展到了11个v，包括有效性、可见性等。

下面就目前使用最多的“4v”模型进行分析。“4v”特征主要体现在以下方面：

2.1.规模性（volume）

volume指的是数据巨大的数据量以及其规模的完整性。数据的存储tb扩大到zb。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。实质上，在某种程度上来说，数据的数量级的大小并不重要，重要的是数据具有完整性。数据规模性的应用有如下的体现，比如对每天12 tb的tweets进行分析，了解人们的心理状态，可以用于情感性产品的研究和开发；基于facebook上成千上万条信息的分析，可以帮助人们处理现实中的朋友圈的利益关系。

2.2.高速性（velocity）

velocity主要表现为数据流和大数据的移动性。现实中则体现在对数据的实时性需求上。随着移动网络的发展，人们对数据的实时应用需求更加普遍，比如通过手持终端设备关注天气、交通、物流等信息。高速性要求具有时间敏感性和决策性的分析——能在第一时间抓住重要事件发生的信息。比如，当有大量的数据输入时（需要排除一些无用的数据）或者需要马上做出决定的情况。比如：一天之内需要审查500万起潜在的贸易欺诈案件；需要分析5亿条日实时呼叫的详细记录，以预测客户的流失率。

2.3.多样性（variety）

variety指有多种途径来源的关系型和非关系型数据。

这也意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为了信息的制造者和传播者。这个阶段，不仅是数据量开始了爆炸式增长，数据种类也开始变得繁多。除了简单的文本分析外，还可以对传感器数据、音频、视频、日志文件、点击流以及其他任何可用的信息。比如，在客户数据库中不仅要关注名称和地址，还包括客户所从事的职业、兴趣爱好、社会关系等。利用大数据多样性的原理就是：保留一切你需要的对你有用的信息，舍弃那些你不需要的；发现那些有关联的数据，加以收集、分析、加工，使得其变为可用的信息。

2.4.价值性（value）

value体现出的是大数据运用的真实意义所在。其价值具有稀缺性、不确定性和多样性。“互联网女皇”mary meeker在2012年互联网发展趋势中，用一幅生动的图像来描述大数据。一张是整整齐齐的稻草堆，另外一张是稻草中缝衣针的特写。寓意通过大数据技术的帮助，可以在稻草堆中找到你所需要的东西，哪怕是一枚小小的缝衣针。这两幅图揭示了大数据技术一个很重要的特点，价值的稀疏性。

从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。从大数据的特征来看，数据源增加、传感器的分辨率提高，使得大数据的体量大。数据源增加、数据通讯的吞吐量提高、数据生成设备的计算能力提高，使得大数据的速度快。移动设备、社交媒体、视频、聊天、基因组学研究和各种传感器使得大数据的类型多以数据为基础的决策要可追溯，要有理有据，这使得大数据还应具备准确性的特征。大数据的这些特征将决定政府在大数据业务和整个大数据生态系统中收集、分析、管理、存储及分配数据的方式。3、大数据的现实价值

巨量数据正在成为一种资源，一种生产要素，渗透至各个领域，而拥有大数据能力，即善于聚合信息并有效利用数据，将会带来层出不穷的创新，从某种意义上说它代表着一种生产力，麦肯锡认为，“人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”

大数据将带来此起彼伏的it技术革命。为解决日益增长的海量数据、数据多样性、数据处理时效性等问题，一定会在存储器、数据仓库、系统架构、人工智能、数据挖掘分析以及信息通讯等方面不断涌现突破性技术，当今世界it巨头、it敏锐的创新者们正努力耕耘在大数据技术领域，大数据将成为it的主战场。

大数据将在各行各业引发各类创新模式。随着大数据的发展，行业渐进融合，以前认为不相关的行业通过大数据技术有了相通的渠道，沃尔玛通过数据挖掘将风马牛不相及的“啤酒与尿布”联系在一起，大数据将会产生新的生产模式、商业模式、管理模式，这些新模式对经济社会发展带来深刻影响。

大数据将给人们生活带来翻天覆地的变化。大数据技术进步将极大地惠及人们生活的方方面面，在家有智能管家帮助你美好生活；外出购物，商家会根据你的消费习惯将购物信息通过无线互联网推送给你；外出就餐，车载语音助手会帮你挑选餐厅并告诉你即时的周边情况和停车状况。衣食住行的便利将无处不在。

大数据将提升电子政务和政府社会治理的效率。大数据的包容性将打开政府各部门间、政府与市民间的边界，信息孤岛现象大幅消减，数据共享成为可能，政府各机构协同办公效率和为民办事效率提高，同时大数据将极大地提升政府社会治理能力和公共服务能力。驾驭大数据，在整个政府和全球经济中创造价值，其影响是广泛而深远的。政府善政的许多重要原则与大数据有相通之处。从根本上说，大数据能够通过改进政府机构和整个政府的决策，使政府机构更加英明地提高政府工作效率，为利益相关者服务。利用各种渠道的各种数据，快速获得关键、准确的深刻见解，将显著改进政府的各项关键政策和工作。

4、 大数据的应用及发展趋势4.1大数据已经深耕于经济领域并创造了巨大的经济价值

4.1.1美国的大数据产业已经创造了巨大的价值。

大数据使美国医疗服务质量得到提高。对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果，更多地使用电子健康记录（电子健康档案），并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势，并依据真实的医疗服务质量开展医疗评估。

大数据使美国的交通更加便利。通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。

大数据使美国的教育质量得到提升。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动——精细至每个鼠标点击动作，研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行，而不是孤立的小型研究。课程和教学方法，无论是在线的，还是传统的，都可以根据大规模分析所收集到的信息进行修订。

大数据提高了美国的征税效率。由于迅速发现异常的能力日益增加，政府税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试图进行不当纳税申报的人，会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们接受纳税人的纳税申报单并办理退税，并对一部分纳税申报单进行抽查，以找出有意或无意欠税的情况。大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规情况，减少问题退税的发放。资料表明，在医疗领域每年产生3000亿美元的潜在价值；在公共管理部门，每年产生2500亿美元的潜在价值；在个人位置数据领域，每年产生1000亿美元的市场；在零售业能够增加60%的营业额；在制造业部门，能够降低50%的产品开发及装配成本。

大数据在欧洲公共管理部门得到深入应用。大数据在oecd组织中的欧洲国家公共管理部门创造了1500到3000亿欧元或更高的潜在经济价值，这些经济价值主要通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且出现供需缺口。gartner咨询公司预测，到2015年，大数据人才需求达到440万人，人才需求缺口将达到三分之一。

4.2欧美等发达国家把数据资产上升到国家信息战略高度4.2.1美国已经布局大数据产业。

2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油与矿产”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。4.2.2欧盟及日韩将会紧随其后。

继美国率先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，预计不久相应的战略举措也将出台。数据规模及运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间争夺的焦点。4.3 我国大数据产业的发展趋势

在全球经济、技术一体化的今天，我国it行业已经开启了大数据的起航之旅，大数据已经在经济领域发挥重要作用。据计世咨讯预测，2012年，政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的发展趋势如下：

4.3.1大数据在经济预警方面发挥重要作用

在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。

4.3.2大数据分析成为市场营销的重要手段

与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。

4.3.3大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机远程监护，对慢性病进行管理等。

4.3.4大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。

当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义。中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。

1