① 如何应用大数据提升智慧园区综合管理
信息技术的高速发展，不断推动着信息技术服务业业务向细分化、多样化方向发展，促使新产品、新业态大量涌现，进而创造新的市场空间，带动产业升级优化。大数据产业化进程加速，信息技术服务业由传统PC时代向新兴技术转移的节奏开始加速。企业专注自身优势领域的同时，亟需结合新兴技术支撑自身发展，开放合作成为产业主要趋势。于此同时，信息技术产业的竞争正从单一企业竞争演进到以聚合生态圈协同效应的全产业链竞争，生态圈建设的重要性凸显。根据2016年全国工业和信息化工作会议报告，2016年主要预期目标软件和信息技术服务业收入14%左右。根据国务院印发的《促进大数据发展行动纲要》(以下简称“《纲要》”)，全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势，有关发达国家相继制定实施大数据战略性文件，大力推动大数据发展和应用。目前，我国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势，大数据部分关键技术研发取得突破，涌现出一批互联网创新企业和创新应用，一些地方政府已启动大数据相关工作。坚持创新驱动发展，加快大数据部署，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。
《纲要》明确指出，①2018年底前建成国家政府数据统一开放平台;②到2020年，形成一批具有国际竞争力的大数据处理、分析、可视化软件和硬件支撑平台等产品。③培育10家国际领先的大数据核心龙头企业，500家大数据应用、服务和产品制造企业。实现关键部门的关键设备安全可靠。④2020年底前，逐步实现信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等民生保障服务相关领域的政府数据集向社会开放。⑤中小微企业公共服务大数据。形成全国统一的中小微企业公共服务大数据平台。这是国家大数据战略的一个顶层设计，发展大数据是国家战略。虽然目前看来，人力资源的配给与现有的数据库管理技术基本是足够的，但是未来，如果人类管理数据的效率不能保持同步提升，人类在大数据时代将无法对数据进行有效管理。大数据管理技术以及开放的大数据生态圈将促使大数据行业的快速发展。
(一)大数据市场竞争格局
大数据产业属技术密集型产业，竞争更多是技术实力与创新能力的比拼，离数据越近的产业环节，产业价值越大。能掌控大数据实时集成、海量信息处理和管理、云存储等技术的厂商将成为产业的主导者，主导未来大数据产业技术发展方向，促进商业模式创新。大数据产业链现在已经初现雏形，围绕大数据的产生与集聚、组织与管理、分析与发现、应用与服务各层级正在加速构建。目前，在大数据产业链上有三种大数据公司：
(1)基于数据本身的公司(数据拥有者)：拥有数据，不具有数据分析的能力;(2)基于技术的公司(技术提供者)：技术供应商或者数据分析公司等;(3)基于思维的公司(服务提供者)：挖掘数据价值的大数据应用公司。
(二)大数据产业进入壁垒
1、数据资源壁垒
大数据时代的一大特点就是，数据成为企业核心资产，丰富的高质量数据资源是大数据产业发展的前提。近几年在互联网产业及金融、电信信息化快速发展的带动下，我国数据资源总量有了快速增长，已达到全球的13%，但其他行业受信息化水平制约，数据储量仍不丰富。对数据的掌握决定对市场的支配权;越靠近最终用户的企业，将在产业链中拥有越大的发言权。
2、技术壁垒
两类企业将在大数据产业链处于重要地位。一种是掌握海量有效数据的企业，第二种是有强大数据分析能力的企业。关键是谁拥有更多、更准、更有价值的数据。中国大数据应用处在起步阶段。淘宝、腾讯以及网络这些互联网巨头是率先使用大数据技术的用户，但他们主要基于开源软件自主开发大数据应用。行业进入需要具有较高的技术层次，技术和产品的创新能力是推动公司取得竞争优势的关键因素。
3、政策壁垒
为把握大数据时代战略机遇，我国要加速营造良好的大数据产业生态环境，政府应不断完善政策法规，创建适度宽松的发展环境，提升中国在世界信息产业的地位;IT厂商应聚焦技术创新与服务模式创新，洞察用户需求，提供高可用性的整体性解决方案;行业用户应当通过云平台实现数据大集中，形成企业数据资产;同时深度分析挖掘大数据的价值，推动企业智能决策。
4、专利壁垒
保护知识产权是软件与信息技术服务产业发展的重要因素，只有保护好知识产权，才能保护和提高开发商开发软件的积极性，才能促进软件产业的蓬勃发展，十二五规划对知识产权的保护力度进一步增大，这将对专利壁垒起到良好的促进作用。
(三)影响大数据产业发展的有利因素和不利因素
l 大数据产业发展的有利因素
1、国家政策大力支持
公司处于国家行业政策鼓励和重点支持发展的行业。发展和提升软件和信息技术服务业，对于推动信息化和工业化深度融合，培育和发展战略性新兴产业，建设创新型国家，加快经济发展方式转变和产业结构调整，提高国家信息安全保障能力和国际竞争力具有重要意义。为此国家出台《国务院关于印发进一步鼓励软件产业和集成电路产业发展若干政策的通知》、《国务院关于加快培育和发展战略性新兴产业的决定》、《软件和信息技术服务业十二五发展规划》、《关于印发促进大数据发展行动纲要的通知》等政策，从税收、研究经费、进出口优惠、人才培养、知识产权保护、市场开发和投融资等方面给予了较为全面的政策支持。根据国家发展规划，预期未来国家还将出台更多针对软件和信息产业的专门政策，这将有力地推动我国软件和信息产业的健康稳步发展。
2、大数据技术开发应用前景广阔
国家计划在2018年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放，带动社会公众开展大数据增值性、公益性开发和创新应用，充分释放数据红利，与云计算、物联网、移动互联网等新一代信息技术融合发展，与传统产业协同发展新业态、新模式，促进传统产业转型升级和新兴产业发展，激发大众创业、万众创新活力。
l 行业发展的不利因素
1、产业创新体系不健全，核心技术缺乏
长久以来，我国信息化建设过程中存在着“重硬轻软”的思想倾向。在软件产品开发层面，民众版权意识薄弱，盗版现象严重。另外，国内企业普遍规模较小、自主创新能力不足。创新能力不足是制约中国信息产业尤其是软件和信息服务业发展的瓶颈。目前，行业内虽已涌现出一些具有自主知识产权的高技术、高附加值的产品，但从总体上看，多数企业或产品尚没有自己的自主知识产权或核心技术，企业依靠产品的低水平重复开发、国外知名品牌产品代理销售等业务生存的现象较为普遍。
2、人才结构矛盾突出
软件和信息技术服务业是一个知识密集型产业，具有高技术含量和高附加值的特点，其发展需离不开大量的高素质人才。目前，我国软件行业从业人员数量规模可观,但高层次、复合型、领军型人才依然缺乏，尤其是在经营管理、技术创新等方面具有国际化视野的高端人才较为匮乏，这已经成为制约中国软件和信息技术服务业发展的关键因素之一。
3、大数据行业发展仍在初级阶段
我国的大数据产业具备良好基础，发展前景广阔。一是一批世界级的互联网公司在大数据应用上不断推陈出新，智能搜索、广告、电商、社交等借助大数据技术持续进化，互联网金融、O2O(online
to offline)等应用借助大数据向线下延伸。二是大数据技术紧跟国际先进水平，具备建设和运营世界最大规模大数据平台的能力，单集群规模达5000 到10000
台服务器，数据管理规模达到EB(1EB=1018B)级别，在机器学习等方面也有所突破。三是当前和未来一段时间，我国面临着经济结构转型升级、政府和公共服务改进提升等紧迫任务，这些方面大数据都有广阔的应用前景。大数据在全球的发展还都处于初期，技术、制度、观念等方面都需要改变。对我国来说，数据资源不丰富，数据开放程度较低、技术差距大，技术水平不高，技术扩散不畅和法律法规不完善是限制当前大数据发展的主要问题，金鹏信息智慧园区软件。
② 大数据可否支持智慧城市健康发展面临阻碍
智慧城市就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。随着人类社会的不断发展，未来城市将承载越来越多的人口。目前，我国正处于城镇化加速发展的时期，部分地区“城市病”问题日益严峻。为解决城市发展难题，实现城市可持续发展，建设智慧城市已成为当今世界城市发展不可逆转的历史潮流。
“一号一窗一网”背后也是政府各部门打通信息，建立统一数据共享交换平台和政务服务信息系统，并实现集中与整合带来的服务。
数据打通共享，确实是推动智慧城市落地的一个实实在在的举措。虽然现在各种办事信息都电子化了，但老百姓并不觉得省事。我们统计过，郑州600个审批事项，需要提交的材料有5000多种，其中多次重复使用的证照，个人的有10多种，法人的也10多种。如果把这些证照的数据共享起来，减少老百姓重复递交、重复录入，那老百姓就感到落地了。
不过，从全国范围看，在建设了城市的云平台后，如何把数据从各部门拿上来打通共享，是智慧城市建设中一件相当困难的事。为什么数据打通如此之难呢?这有历史原因。多年来，政府已经以部门为主导，像“十二金”工程，构建了从上到下的垂直系统。如何打破“部门墙”，实现这些垂直系统的对接，将是一项长期工作。
智慧城市经常与数字城市、感知城市、无线城市、智能城市、生态城市、低碳城市等区域发展概念相交叉，甚至与电子政务、智能交通、智能电网等行业信息化概念发生混杂。对智慧城市概念的解读也经常各有侧重，有的观点认为关键在于技术应用，有的观点认为关键在于网络建设，有的观点认为关键在人的参与，有的观点认为关键在于智慧效果，一些城市信息化建设的先行城市则强调以人为本和可持续创新。总之，智慧不仅仅是智能。智慧城市绝不仅仅是智能城市的另外一个说法，或者说是信息技术的智能化应用，还包括人的智慧参与、以人为本、可持续发展等内涵。
金鹏信息智慧城市解决方案
③ 大数据可否支持智慧城市健康发展面临阻碍
智慧城市就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。
按照“智慧”的来源，智慧城市可以分为两类。
一类是在城市大规模安装数字化设备
包括监控设备、数字化交通设施及标志、实时通信设备等。通过收集、整合和分析这些数据流，可以对城市运行进行实时的监控管理，而这些分析信息也可以被实时地发送到城市居民的移动设备上（如电脑、手机、GPS装置等），为城市居民的日常活动提供更加便利的信息。而这些实时数据通过存储和进一步分析，可以用来描述、模拟和预测城市运行特性以及未来发展，从而为智慧城市的进一步发展提供参考依据。不仅如此，数字化技术的大规模运用与发展也可以刺激当地相关产业的发展，尤其是区域服务和知识型经济的发展。
另一类是在一定区域内发展知识型经济
从这个角度来说，智慧城市是一个智慧人群领导的由改革、创新和企业化驱动的经济体。在此系统里，信息和通信技术（information and communication
technologies，ICT）是这个区域发展平台中推动实现创新型概念和设计的助推力。然而，就信息通信技术而言，单纯嵌套于城市系统中并不能将城市转化为智慧型城市，需要其与人力与社会资源以及更加宽松开放的经济体相结合，推动城市的智能化发展。智慧城市的概念最初定位于技术和技术型管理的角度，然而随着智慧城市概念的不断完善，社会资本、教育、经济等方面与综合型智慧城市概念的完善越来越密切。
当前网络基础设施的发展为城市科技创新提供了基础，而这也促进了区域性城市的经济、文化和环境的发展。
大数据指导下的智慧城市发展
大数据对于智慧城市应该在四个方面产生作用：科学规划，通过数据的支撑、公众参与、社会监督和客观评价这4个过程中对大数据的应用，使城市的规划方方面面都有更合理的依据;实时监测，数字化、网络化和智能化的发展能够保证对这个城市的任何运行程度掌握在电台之中;精准治理，包括准确信息、智能方案、快速影响和绩效考核;高效服务，向市民提供方便、精准和快捷的服务。
智慧城市中大数据的特点
（1）数据量
大数据概念中的数据量指的是大量的从各种数据源中产生的任意类型的数据。在智慧城市框架下，多媒体/社交媒体及其他类型网络在数据产生量方面呈现几何级增长。
即使是现代工业产品，如汽车、火车、发电站等，其装备的传感器数量也随着智能化程度的提高在增加，这些传感器也在持续收集不断增多的数据。不断增长的数据量给数据收集、数据分析带来了新的挑战。
（2）数据速度
大数据概念中的速度指的是数据产生、传输的速度。在智慧城市框架下，由于数据量和数据源的持续增加和数据类型的不断变化，数据的内容也呈现持续变化的状态。对于某一数据存储，数据产生和传输的速度决定了数据内容变化的速度。数据用户倾向于更快的数据产生和传输速度，以便能够了解其关心的实时信息。由此而言，大数据的速度特点对数据处理方法及运算算法提出了更高的要求。
（3）数据多样性
大数据概念中的数据多样性指的是数据的类型多样性，如视频数据、音频数据、图像数据、文字数据以及数据日志等。数据类型的多样性与数据源的多样性密不可分，如手机、录像机、传感器、社交平台等。同传统的结构性数据（如财政数据、期货交易记录、人事信息等）相比，在智慧城市框架下，大数据概念中的数据包括了大量的复杂的非结构型数据，且没有固定的数据格式。与数据速度相似，大数据多样性的特点也推动了数据处理方法及运算算法的进一步发展优化。
（4）数据价值
大数据概念中的数据价值指的是大数据中包含有价值的信息，这些信息可以为相应的决策提供有益的参考。数据价值的实现需要通过大数据分析，即从大数据中提取有价值的数据信息的过程。在智慧城市框架下，数据价值评估是所有以大数据为基础的应用最重要的特性，正是因为数据价值评估可以产生数据使用者需要的信息。
（5）数据精确性
大数据概念中的数据精确性指的是大数据中包含信息的完整性和准确性。数据精确性是对大数据质量和可信度的描述。任何信息管理实践的核心内容都是数据质量、数据支配、元数据管理以及对数据保密性和合法性的要求。精确的原始数据有助于准确的数据信息的分析与发掘，从而为相应的决策提供更加准确的参考。
在大数据框架下，由于数据类型的多样性，只经过收集和存储的数据并不能用于高效准确的数据分析。而且，大规模的数据分析依赖于计算机算法的高速自动运算。因此，数据整合成为大数据分析的一个必要步骤。数据整合，即根据研究需要并结合不同类型的数据的差异性，将其整合为一个整体性的数据库。整合后的数据库应具有以下特点：原始数据中存在的数据结构和表达形式的差异应在整合后的数据库中予以保留，并且这些差异能够用于大数据分析的计算机算法读取和高速分析，从而保证整合后的数据在算法上的可解性。
此外，在大数据的概念下，即使是对单一数据进行分析，合理的数据整合和数据库设计也是非常必要的。而数据库设计的具体细节则由研究内容以及研究方法的特殊性来决定。对于特定研究内容或方法，某种数据整合的方法往往较其他方法更有优势。因此，在设计数据库时需要考虑数据库的可修改性，使该数据库被用于其他研究时可以进行相应的修改，从而增强其实用性。
智慧城市与大数据的实践经验
从国家政策来看中国计划智慧城市项目总体技术体系架构在科技部，计划智慧城市一期项目的支持下提出了六横两纵的智慧城市技术框架，六横层层递进最下层的是城市的感知层，再是传输层，再上面依次分别是处理层、支持服务层、应用服务层、最上面是智慧应用层，贯穿全局的是安全保障体系以及标准与评测，而要真正实现智慧城市必须引入大数据技术，主要包含以下三大方面的技术：
1、大数据融合技术
我国智慧城市建设面临的重大挑战之一，是城市系统之间由于标准问题无法有效集成形成信息孤岛，因此在大数据融合领域一方面要加强海量异构数据建模与融合，海量异构数据列存储与索引等关键技术研发，给予底层数据集成的信息共享提供标准和技术保障。
2、大数据处理技术
大规模数据在智慧城市系统流动过程中，处于传输效率、数据质量与安全等因素的考虑，需要对大规模数据进行预处理，大数据处理技术往往需要与基于云计算的并行分布式技术相结合，这也是目前国际产业界普遍采用的技术方案。
3、大数据分析和挖掘技术
相比于大数据融合和处理技术，大数据分析与挖掘技术更为复杂，是国际学术界和产业界面临的极具挑战性的技术难题。
国内外智慧城市典型案例
美国：迪比克市风景秀丽，密西西比河贯穿城区，它是美国最为宜居的城市之一。以建设智慧城市为目标，迪比克计划利用物联网技术，将城市的所有资源（包括水、电、油、气、交通、公共服务等）数字化并连接起来，监测、分析和整合各种数据，进而智能化地响应市民的需求并降低城市的能耗和成本，使迪比克市更适合居住和商业发展。
西班牙：传感器项目让智慧城市建设充分立足实践，据巴塞罗那通信研究所传感器项目的负责人马里亚诺·拉马尔卡介绍，智慧城市是巴塞罗那目前最重要的项目之一，而原来的巴塞罗那纺织产业老工业区，现在则是这一项目最重要的试验地。
欧盟：就提出并开始实施一系列智慧城市建设目标。欧盟对于智慧城市的评价标准包括智慧经济、智慧环境、智慧治理、智慧机动性、智慧居住以及智慧人等6个方面
韩国：力推政府行政服务智能化 ，韩国正以网络为基础，打造绿色、数字化、无缝移动连接的生态、智慧型城市。
中国北京：北京的智慧城市建设以“人文北京、科技北京、绿化北京”为战略指导，结合“国家首都、国际城市、文化名城和宜居城市”的城市定位，在智慧城市的建设中，充分发挥现代科技的优势，树立以人为本的管理理念。北京的智慧城市建设是全面而系统的。
智慧城市是城镇化进程的下一阶段，是城市信息化的新高度，是现代城市发展的远景，无线城市、数字城市、平安城市、感知城市是智慧城市的必要条件；诚信城市、绿色城市、健康城市、人文城市、是智慧城市应有之意；智慧城市产生大数据，大数据反过来支撑智慧城市，智慧城市与大数据相结合一定会有璀璨的明天。
④ 大数据技术在电子政务领域的应用
大数据技术在电子政务领域的应用
随着科学技术在社会各领域的不断渗透, 为人们的生活带来了巨大改变, 其中, 以大数据技术为代表的现代电子信息技术的广泛使用, 将人们带入了“大数据时代”。本文以大数据技术在电子政务领域的应用为研究内容, 在分析大数据技术特征的基础上, 这一技术在电子政务领域的实际应用加以介绍, 从而使人们更加深入的了解大数据技术。
近年来, 我国在计算机网络技术研究领域取得了显著成绩, 大数据技术、云计算技术、物联网技术等在社会各领域得到了较为广泛的应用。在此过程中, 为提高政府部门办事效率, 以大数据技术为核心的电子政务系统应运而生, 并且, 融入了大数据技术的电子政务系统在数据的获取、处理、分析等方面的效率显著提高, 为政府相关工作的高效开展奠定了基础。
1、大数据技术的特征概述
相比较传统数据处理技术来说, 大数据技术的主要特征包括以下四个方面:
(1) 大数据技术涉及到的数据量极为庞大, 在计算机网络快速发展的今天, 网络上的数字信息呈现出几何指数增长的趋势, 经过一定时期的积累, 这一数据量将达到惊人的数量, 为此, 只有大数据技术才能够对此类规模的数据进行有效的处理。
(2) 大数据技术所涉及数据类型众多, 除常见的文本、声音、图像、音频等数据外, 还包括一些特殊的文件形式, 并且, 不同类型的文件形式其作用自然也就存在着明显的差异。
(3) 大数据技术有着较快的数据处理数度, 凭借分布式计算机技术的使用, 能够在最短的时间内完成一定规模数据的处理任务, 并且, 最终得到的结果是有效的。
(4) 大数据技术所处理的数据虽然数据密度较低, 但是, 当密度较低的数据被收拢在一起后, 通过科学的数据处理分析方法, 从零星的数据中寻找有用的信息, 并对该信息的价值进行深入挖掘。
2 、大数据技术的关键
所谓大数据, 是指在短时间通过网络嗅探的方式, 快速搜集各种类型的网络数据, 并在相关数据中获取有价值的信息。大数据技术的实现需要通过大规模并行处理数据库技术、数据挖掘技术、分布式数据库技术、云计算基础构架平台等技术, 为更好的研究大数据技术, 应对其关键技术进行深入分析。
2.1 大规模并行处理数据库技术
为保证大数据技术中庞大数据的存储与处理, 则需要利用大规模并行处理数据库技术对相关数据进行集群管理。这一技术能够以最快的速度对数据处理命令进行相应, 并具有较低的延迟读写速度, 并且, 在云计算平台的配合下, 大规模并行处理数据库的成本也相对较低, 在正常工作过程中, 能够实现多个副本故障检测与转移机制, 在长时间工作的状态下, 出现故障的几率较低。
2.2 分布式数据库技术
所谓分布式数据库技术, 则区别于云存储数据库的形式, 他是利用互联网的空间特性, 将物理空间相对独立的存储单元进行连接, 通过一定的算法进行逻辑上的统一, 形成具有超大规模的数据库, 并具有较高的数据处理能力和数据存储能力。
从信息安全的角度分析, 这种分布式的数据库技术能够实现对数据资源的有效保护, 即便出现大规模的计算机病毒事件, 基于分布式数据的存储优势, 相关病毒对部分计算机的影响, 并不能对全部计算机中的数据造成毁灭性的破坏。
2.3 分布式存储技术
在大数据技术的实际应用中, 为满足用户一定规模数据存储的需求, 则充分利用了分布式存储技术所具有的纵向、横向扩展的优势, 将数据进行分割后存储与多台服务器、存储设备上, 从而有效降低了单一存储器的数据存储压力, 并且, 这种分布式存储技术, 还实现了系统可用性、可靠性的提高, 以及保证数据存取的高速进行。
2.4 云计算技术
对于大数据技术来说, 为了实现对一定规模数据的收集、分析和处理的能力, 则充分利用了云计算技术所搭建的平台, 从而为大数据技术的应用奠定了坚实的硬件基础。基于传统存储技术在速度、空间上的有限性, 无法为大数据技术提供足够的支持, 云计算技术则将传统计算机的存储、运算功能转移至云端, 以一种更加高效的方式, 为大数据技术在众多领域的拓展提供可靠的技术平台。
3、大数据技术在电子政务领域的应用
基于大数据技术的诸多优势, 在电子商务领域, 大数据技术主要用于网站数据进行分析, 社会诚信系统的构建, 信息共享平台与电子政务系统等。
3.1 大数据技术支持下的政府网站大数据分析
为准确掌握网站的浏览情况, 大多数网站都会对用户的日常浏览情况进行数据分析, 相关分析要素包括用户访问的路径、不同网页的停留时间、浏览网页的具体时间等, 通过对以上要素的研究, 能够对用户需求、习惯进行准确分析, 并能够对后期网站缺陷的具体调整提供指导性意见。
以某政府网站为例, 由于网页设计不合理, 以至于在用户打开某一页面时, 长期处于等待状态, 如此一来, 用户对这一网页的实际浏览次数将为0。针对这一情况, 网站管理人员通过对某一周期内的网站浏览情况进行分析, 由于一定周期内浏览网站用户的数量较大, 且相关要素成倍增加, 所以, 在处理以上信息的过程中就用到了大数据技术。对于网页访问次数出入较大的数据, 则需要进行深入分析, 在排除网页的可链接性之后, 检查网页内的相关信息, 却保网页内信息的可靠、安全。
通过用户浏览网站后留下的大量信息, 网站一方可以将用户信息存入数据库中, 并利用大数据技术对相关信息进行分类, 以实现网站信息向用户的精准推送。并且, 经过大数据处理后的数据信息, 逐渐成为政府行政决策的重要依据, 并能够在一定程度上保证行政决策的有效性和科学性。
3.2 大数据技术支持下的信用平台建设
为更好的掌握居民信用信息, 建立以个人为单位的信用数据库, 则需要以大数据技术为依托, 收集相关部门所掌握的居民信用资料, 并通过大数据技术进行对比、整合, 进而得出准确的个人信用情况。例如, 在购房贷款过程中, 商业银行往往需要用户提供《个人征信档案》, 在《个人征信档案》中, 不仅包括用户的基本身份信息, 还包括用户在所有金融机构办理的各种信用卡情况, 以及是否存在不良信用记录等, 这些信息的存在, 就意味着政府机构与金融机构之间实现了以大数据技术为核心的信息共享, 通过对比用户身份信息, 将属于同一用户的信用信息进行整合, 并重新存储与数据库之中。
政府行为的信用平台建设, 旨在掌握用户的个人诚信资料, 并为基于个人行为的政府服务工作提供数据支撑, 打击社会范围内长期存在的老赖等现象。大数据技术支持下的信用平台建设, 能够实现社会范围内道德诚信体系的不断加强, 促进社会道德水平的提升。
3.3 大数据交换共享平台与电子政务
随着政府部门事务性工作的不断增加, 仅依靠人工对相关数据进行收集、分类、整合、处理等工作不仅效率低, 速度慢, 且容易出现人为性差错, 数据结果的人为性因素较大。在此情况下, 依托大数据技术在多元数据收集、处理方面的优势, 以及计算机网络技术下的信息共享平台建设, 能够帮助政府通过网络获取社会各领域的相关数据, 并对数据资源进行有效整合, 形成庞大的数据库资源。
然而, 对于数据库来说, 只有得到利用才能体现其价值, 在情况下, 政府部门就充分利用了大数据交换共享平台的优势, 建立以政府事物为中心的社会基础数据库, 为政府相关工作的开展提供横向、纵向信息的全方位共享。在区域间政府工作交流方面, 大数据共享交换平台能够突破传统政务工作的空间限制, 进而促进跨地区政府部门信息资源整合与交流下的业务开展。
为更好的发挥电子政务的优势, 在大数据交换共享平台的建设方面, 需要对这一平台的信息资源目录体系进行完善, 制定政府间统一的大数据交换共享平台使用标准, 规范政府在使用大数据交换共享平台的各种行为, 以实现对数据资源的合理、高效利用。所以, 大数据交换共享平台的使用, 不仅便于政府工作的开展, 也促进了社会管理工作有条不紊的展开, 社会环境的稳定得以实现。
3.4 电子政务决策系统中的大数据技术
在实际使用过程中, 大数据技术并不仅仅是简单的对多元数据的收集、整合、分析、处理, 对于大数据技术的使用方来说, 庞大的数据价值还在于能够辅助政府决策。
利用计算机软件技术, 通过对庞大数据中有关数据的筛选、分析, 经过计算机软件的处理之后, 能够得到更加准确的计算结果, 政府部门依据这一结果, 就可以完成一系列的政府决策, 从而实现了政府办事效率的快速提高。
例如, 在市政建设方面, 对于城市内部交通拥堵问题, 可以借助交通系统长期提供的大数据信息, 了解城市内交通拥堵的主要路段、时间, 以及在庞大数据信息的支持下, 通过建模的方式, 采取多种治堵方式, 并利用大数据技术对每一种方式的实际效果进行综合评估, 最终选择效果最好的治堵方式。
对于政府决策的客观性、准确性等, 使用大数据技术辅助决策有着极大的优势, 但是, 基于大数据技术缺乏人类情感因素的介入, 以至于相关决策并不能够完全突出“以人为本”的政府工作理念, 所以, 政府部门应慎重对待大数据技术下的电子政务决策, 根据相关内容的实际情况, 做出最佳的决策选择。
4、大数据技术在电子政务中应用的不足之处分析
通过对地方政府电子政务系统的实际使用情况调查研究后发现, 即便在我国电子信息技术得到快速发展的情况下, 大多数地区政府在电子政务系统建设方面依然存在不足, 即便是已经施行电子政务管理的地区, 政府部门对于大数据技术的实际应用却有着较为明显的不足, 以至于大数据技术的优势无法得到有效发挥。
4.1“数据孤岛”现象的存在
大数据技术的核心在于对数据信息的共享, 然而, 有地方政府对大数据技术的认识不足, 以至于在数据共享方面存在政策性的理解偏差, 使得以政府为核心的相关数据无法被其它行业所利用, 大数据技术的优势也就失去。例如, A省与B省协商开通省际公交专线, 然而, 为了更好的安排公交车的运行时间表, 则需要A、B两省之间的人员往来数据进行分析, 并能够预估公交线路的实际载客风险, 从而适当的调整公交车的运营次数和时间, 但是, 在实际操作过程中, A、B两省间的客流数据无法实现共享, 以至于在公交车的实际安排下依然无法解决道路拥堵的实际问题。
地方政府所体现出来的在大数据技术应用方面的这一问题, 是传统政务管理工作中各自为政思想的延续, 一旦数据无法实现共享, 也就造成了所谓的“数据孤岛。大数据共享的问题在于两个方面, 首先, 政府部门之间有着严格的管理秩序, 优势存在上下级关系的政府部门, 下级向上级申请差异数据库中的内容, 多无法得到上机政府部门的许可, 以至于大数据技术在电子政务领域的使用存在着明显的“数据孤岛”现象。
导致“数据孤岛”现象的原因还包括大数据技术的本身, 由于我国大数据技术的应用并未得到普及, 在电子政务领域也只是部分地区完成了大数据技术的初步使用。数据作为政府管理的稀缺资源, 以及从保密的角度分析, 相关数据并不能进行过度披露, 否则, 将造成社会性的事件。所以, 这也就不难解释除政府部门间数据信息的相对独立以外, 广大市民同样无法通过大数据技术支持下的电子政务平台获得真实的数据信息。在这一“数据孤岛”现象的影响下, 地方电子政务平台的实际效果也就有着明显的降低。
4.2 电子政务领域常见的数据资源“过剩”与“闲置”问题
单从地区政府发展的角度来看, 地区政府在大数据技术方面投入的多少, 能够直接反映出该地区经济发展的实际情况, 两者之间存在着显著的正相关关系。然而, 当地区政府在大数据技术方面的投入与实际数据需求偏低时, 也就出现了所谓的数据资源“过剩”的问题。不仅如此, 在大数据技术投入不足的情况下, 政府部门无法对社会中存在的大量数据加以利用时, 也就形成了另一种形式的数据资源“闲置”。
(1) 以南京地区为例, 作为我国南方较为重要的经济主体, 南京市政府在大数据技术与电子政务方面投入了大量人力、物力和财力, 经过近几年的发展, 已经形成了较为完备的电子政务平台, 在实际使用中也到了广大市民的欢迎。然而, 相对于南京的区域地位来说, 受上海的影响, 作为上海市的经济辐射范围, 南京市的发展受到了一定的影响, 经济中心明显向上海地区便宜, 为此, 基于大数据技术的电子政务平台所整合的数据, 也就无法在更大的空间中发挥其作用, 这就是数据资源“过剩”。
(2) 在我国西北、西南部分地区, 由于经济发展较为落后, 以至于在全国范围内进行大数据技术支持下的电子政务系统建设过程中, 无法进行大范围的电子政务系统建设。以贵州省为例, 大数据技术下电子政务系统依然停留在商业层面的应用, 对于其它领域的电子政务系统建设并未涉及, 因此造成了贵州省内相关数据信息无法全面获取, 这也就是资源“闲置”的直接表现。
5、关于大数据技术在电子政务领域应用的建议
针对当前大数据技术发展的实际情况, 以及电子政务作为信息化时代下政府事务性工作改革的重要内容, 有着较为积极的意义。因此, 为推动大数据技术在电子政务领域的中的应用, 则需要做到以下三个方面。
(1) 地方政府应结合大数据技术与电子政务的结合, 推动地区大数据技术产业的发展, 通过各种优惠政策, 吸引高新技术企业入驻, 建立以大数据技术为核心的产业发展模式, 从而带动地区经济发展。
(2) 提高政府方面对大数据技术的认识, 在社会发展过程中, 大数据技术的优势越发明显, 尤其是在传统事务性工作的处理方面, 借助专业的数据分析软件, 能够完成从数据的收集、整理、分类, 直至得出数据分析结果, 实现了政府办事效率的显著提高。如此一来, 大数据技术的优势得以体现, 政府方面对于大数据的认识进一步提高, 进而促进了大数据技术在电子政务领域的普及。
(3) 加快大数据技术相关硬件、软件的研发。目前, 大数据技术涉及到的硬件、软件成本较高, 导致了部分经济欠发达地区无法实现大数据技术支持下的电子政务系统的全面推广。以大数据技术使用较为广泛的数据中心机房来说, 由于要使用到高速计算机和服务器到等昂贵的信息设备, 对于缺乏条件的地方政府来说, 可以利用云计算技术, 通过网络服务器的模式, 解决这一问题。
总的来说, 大数据技术在电子政务领域的应用实现了我国政务处理的信息化改革, 对于我国现代化社会管理制度体系的建立打下了坚实的基础。并且, 通过大数据思维在政务领域的渗透, 有助于大数据技术的应用效率提高。
6、总结
尽管, 我国电子政务系统的建设时间并不长, 相关领域依然有待完善。随着大数据技术在电子政务领域的不断渗透, 基于多元数据收集、整合、分类、处理的大数据信息交换共享平台建设, 为政府各项事务的有效开展奠定了坚实的基础。然而, 由于技术与认识上的不足, 电子政务系统中的大数据技术应用仍然集中于纵向政务业务领域, 这并不符合当前社会发展的趋势。因此, 为推广以大数据技术的应用个, 则需要加快大数据技术支持下的电子政务系统的设计, 推动电子政务系统中大数据技术的应用, 打造“数字化政府”。
⑤ 目前利用大数据无法分析有效支持的是什么
大数据分析能解决业务中的一些问题，但不是全部，例如，有些数据只能反映相关关系，但是无法说明因果关系，最经典的例子，尿布和啤酒的故事，买啤酒可能很有可能买尿布，但是并不是说买啤酒一定会会买尿布，这个是不一样的，但是总是有人想找因果关系，搞什么才能使销售额猛增，等等，这些都是一些误区
⑥ 工业大数据可视化的难点有哪些
数据抄可视化技术第一代应该是报表软件，通过报表系统能够把复杂的数据整理成规则的表格，并配以漂亮的图形，比如柱图、饼图、折线图等等。
第二代当属BI（Business Intelligence）了，BI比起简单的报表又更进了异步，它已经不单单是一个工具软件，而是一套完整的解决方案，可以将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。
⑦ 大数据面行业发展面临哪些现实困境
1、大部分数据都是孤立的，与其他类型的数据隔离开来，无法进行宏观全面的分析。例如，财务数据很难与消费者数据轻松汇总，以获得关于特定客户行为对公司财务绩效影响的更深刻的见解。
2、很难足够快地处理大数据以使洞察有用。大多数类型的数据的价值都是短暂的，消费者今天所做的将在明天和后天发生改变。为了获得最大利益，企业需要能够快速提供行动指导的洞察，但大多数传统的数据库系统无法以必要的速度处理数据。
3、收集的大部分数据都被浪费掉了。负责在海量数据中寻找业务问题“答案”的业务分析师必须过滤掉不相关的数据，并找出可能存在答案的特定数据集。结果，估计有60%至73%的数据未提供价值。如今，另一个主要的数据来源正在推动潮流——物联网数据。物联网在许多方面加剧了数据问题，但它也提供了解决方案。
⑧ 以下哪个选项是目前利用大数据分析技术无法进行有效支持的
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、Value（价值）、真实性(Veracity)。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。大数据有四个基本特征：一、数据体量巨大（Vomule），二、数据类型多样（Variety），三、处理速度快（Velocity），四、价值密度低（Value）。在大数据的领域现在已经出现了非常多的新技术，这些新技术将会是大数据收集、存储、处理和呈现最强有力的工具。大数据处理一般有以下几种关键性技术：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。大数据处理之一：采集。大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。大数据处理之二：导入和预处理。虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。大数据处理之三：统计和分析。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。大数据处理之四：挖掘。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。大数据的处理方式大致分为数据流处理方式和批量数据处理方式两种。数据流处理的方式适合用于对实时性要求比较高的场合中。并不需要等待所有的数据都有了之后再进行处理，而是有一点数据就处理一点，更多地要求机器的处理器有较快速的性能以及拥有比较大的主存储器容量，对辅助存储器的要求反而不高。批量数据处理方式是对整个要处理的数据进行切割划分成小的数据块，之后对其进行处理。重点在于把大化小——把划分的小块数据形成小任务，分别单独进行处理，并且形成小任务的过程中不是进行数据传输之后计算，而是将计算方法（通常是计算函数——映射并简化）作用到这些数据块最终得到结果。当前，对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测，跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。目前大数据在医疗卫生领域有广为所知的应用，公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图，研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在医药研发方面，大数据的战略意义在于对各方面医疗卫生数据进行专业化处理，对患者甚至大众的行为和情绪的细节化测量成为可能，挖掘其症状特点、行为习惯和喜好等，找到更符合其特点或症状的药品和服务，并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段，能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势，确定更为有效率的投入产品比，合理配置有限研发资源。除研发成本外，医药公司能够优化物流信息平台及管理，更快地获取回报，一般新药从研发到推向市场的时间大约为13年，使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。在疾病诊治方面，可通过健康云平台对每个居民进行智能采集健康数据，居民可以随时查阅，了解自身健康程度。同时，提供专业的在线专家咨询系统，由专家对居民健康程度做出诊断，提醒可能发生的健康问题，避免高危病人转为慢性病患者，避免慢性病患者病情恶化，减轻个人和医保负担，实现疾病科学管理。对于医疗卫生机构，通过对远程监控系统产生数据的分析，医院可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系，并将在未来提供“从医院到家”的服务。在医疗卫生机构，通过实时处理管理系统产生的数据，连同历史数据，利用大数据技术分析就诊资源的使用情况，实现机构科学管理，提高医疗卫生服务水平和效率，引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值，形成个性化医疗，比如基于基因科学的医疗模式。在公共卫生管理方面，大数据可以连续整合和分析公共卫生数据，提高疾病预报和预警能力，防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库，快速监测传染病，进行全面疫情监测，并通过集成疾病监测和响应程序，进行快速响应，这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。在居民健康管理方面，居民电子健康档案是大数据在居民健康管理方面的重要数据基础，大数据技术可以促进个体化健康事务管理服务，改变现代营养学和信息化管理技术的模式，更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务，帮助、指导人们成功有效地维护自身健康。另外，大数据可以对患者健康信息集成整合，在线远程为诊断和治疗提供更好的数据证据，通过挖掘数据对居民健康进行智能化监测，通过移动设备定位数据对居民健康影响因素进行分析等等，进一步提升居民健康管理水平。在健康危险因素分析方面，互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用，可以系统全面地收集健康危险因素数据，包括环境因素（利用GIS系统采集大气、土壤、水文等数据），生物因素（包括致病性微生物、细菌、病毒、真菌等的监测数据），经济社会因素（分析经济收入、营养条件、人口迁徙、城镇化、教育就业等因素数据），个人行为和心理因素，医疗卫生服务因素，以及人类生物遗传因素等，利用大数据技术对健康危险因素进行比对关联分析，针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能，提出居民健康干预的有限领域和有针对性的干预计划，促进居民健康水平的提高。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。数据存取： 关系数据库、NOSQL、SQL等。基础架构： 云存储、分布式文件存储等。数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)模型预测 ：预测模型、机器学习、建模仿真。结果呈现： 云计算、标签云、关系图等。大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。
⑨ 大数据时代,面临的七个挑战和八大趋势
大数据时代,面临的七个挑战和八大趋势
大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。
大数据发展的挑战
目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。
挑战一：业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。
挑战二：企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。
挑战三：数据可用性低，数据质量差
很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。
挑战四：数据相关管理技术和架构
技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。
挑战五：数据安全
网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
挑战六：大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。
挑战七：数据开放与隐私的权衡
在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
大数据发展趋势
虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。
趋势一：数据资源化，将成为最有价值的资产
随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。
趋势二：大数据在更多的传统行业的企业管理落地
一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。
趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现
来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。
趋势四：数据将越来越开放，数据共享联盟将出现
大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。
趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要
随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。
趋势六：大数据促进智慧城市发展，为智慧城市的引擎
随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。
趋势七：大数据将催生一批新的工作岗位和相应的专业
一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。
趋势八：大数据在多方位改善我们的生活
大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容，更多信息可以关注环球青藤分享更多干货
⑩ 如何应对大数据时代的变革机遇挑战
大数据搭着信息时代的快车来到了我们的面前，数据的价值逐渐为人们所重视，同时也让数据分析师的身价倍增。而随着大数据分析工具等大数据应用技术的出现，未来的数据分析师又将遇到怎样的挑战和机遇呢?
工具抢了人的饭碗?
很多大数据分析工具的设计起点非常高，定位了数据分析过程中所需要的大部分功能。很多工具的功能涵盖了从数据前期整合、收集到挖掘、分析乃至末端的数据可视化的整个数据分析过程，功能不可谓不强大。
但如果仅凭这些就认定大数据分析工具能取代数据分析师，未免有些杞人忧天了。恰恰相反，大数据分析工具不是数据分析师的竞争者，而是协助者。工具本来就是为人服务的，数据分析师的专业素养让其能很好的发挥大数据分析工具的性能，二者相辅相成，是友非敌。
企业的支持
虽然大数据的概念已经普及，但是很多企业还是留存有一些传统的观念。很多企业虽然重金聘用了数据分析师甚至是组建了数据分析师团队，但是却并没有建立完善的数据价值体系。对数据分析工作缺乏理解与支持。
相对于数据管理，数据分析工的工作重心还应该放在“挖掘数据价值”上。企业与数据分析师直接缺少职能的沟通，将直接影响企业对数据分析师工作性质的定位;同时，企业应该建立数据库并部署大数据分析工具，为了能更好地对接用户，也为企业和数据分析师留有足够的空间。
从幕后到台前的转变
以往的业务人员经常要磨破嘴皮才能得到别人的认同，而现在许多企业正在考虑让数据分析师带着数据分析结果去谈业务。打算以“让数据说话，以数据服人”去赢得客户的信任。而主要的实施过程，是靠数据可视化技术来实现的。
数据可视化技术让数据能以图表和视频的方式直观地展示在人们面前，而数据分析师作为数据的管理者和挖掘者，是最适合不过的讲解人了。这样就要求数据分析师不仅要有扎实的数据分析能力，还要能提取数据精髓，并将之演讲出来以获得他人的认同。从幕后转到台前，这里面会需要许多技能，数据分析师的工作性质也将发生改变。
在大数据时代，数据分析师所扮演的角色不可能是一成不变的。而只有顺应时代的潮流，响应时代的需要，数据分析师这个行业才能继续生存并发展。其实，大数据分析工具，数据可视化这些技术的出现固然使行业受到了影响与挑战，但对于数据分析师来说，未尝不是一次摆脱传统束缚的机遇!