测绘大数据建设

1. 大数据平台建设有哪些步骤以及需要注意的问题

大数据平台的搭建步骤：

1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。
2、分布式计算平台/组件安装
国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等
使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务『当然还需要手动做更新操作』。4）因为代码开源，若出bug可自由对源码作修改维护。
3、数据导入
数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到Hive，也可将数据导入到Hbase』。
4、数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析。
数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。
数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。
5、结果可视化及输出API
可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速『ms级别』的行查找。 ElasticSearch可以实现列索引，提供快速列查找。

大数据平台搭建中的主要问题
1、稳定性 Stability
理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。
2、可扩展性 Scalability
如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2B的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。

2. 大数据中心建设需要具备哪些条件

您好！大数据中心是近几年才发展起来的，仅2011年到年上半年全国共规划建设数据中心255个，已投入使用173个，总用地约713.2万平方米，总机房面积约400万平方米。数据中心建设条件主要包括以下方面：
一、能源供应：数据中心三分之一以上的预算将是环境成本。数据中心约60%的资产支出和50%的运营成本都与能源有关。在确保高性能的同时，将冷却散热降至最低是云数据中心实现“绿色”所必须要做的，这就要求更科学、更合理的供电方式和制冷系统的配置。
二、气候因素：虽然气温、台风、洪水、干旱等自然气候因素都是云数据中心布局的影响因素，但温度条件是需要重点考虑的气候因素。所在地的常年平均气温是影响云数据中心能耗的决定性因素之一，甚至是决定PUE高低的重要因素。
三、地质条件：地壳稳定，发生地质灾害的可能性小，为数据中心的阶段内的稳定运营提供保证。
目前我国数据中心产业虽然已经开始呈现出向规模化、集中化、绿色化、布局合理化发展的趋势，也涌现出一些成功的案例。比如鄂尔多斯大数据中心，该数据中心机房严格按照国际领先的行业设计标准，集IDC设计理念和绿色节能技术于一体，与世界一流IDC保持同步，能够为全社会提供同等级服务的数据中心。

3. 大数据时代测绘地理信息如何发展

地理信息产业发展趋势向好 “互联网+测绘”将成行业新常态

地理信息产业，是以现代测绘技术、信息技术、计算机技术、通讯技术和网络技术相结合而发展起来的综合性产业。既包括
GIS(地理信息系统)产业、卫星定位与导航产业、航空航天遥感产业，也包括传统测绘产业和地理信息系统的专业应用，还包括LBS(基于位置服务)、地理信息服务和各类相关技术及其应用。

随着网络技术的不断发展，云计算大数据移动互联网的普及，地理信息软件也应推动地理信息获取、处理、管理和网络化分发服务软件产品的集成，重点发展基于下一代互联网、移动互联网等，适应云计算技术、时空技术、三维技术等的地理信息系统软件产品。

地理信息产业总产值

根据前瞻产业研究院发布的《地理信息产业发展前景与投资战略规划分析报告》数据显示，截至2013年底，行业内企业达2万多家，从业人员超过40万人，年产值近2,600亿元。新应用、新服务不断产生，互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域，形成了遥感应用、导航定位和位置服务等产业增长点。

到2020年，政策法规体系基本建立，结构优化、布局合理、特色鲜明、竞争有序的产业发展格局初步形成，互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域，新应用、新服务不断产生，形成遥感应用、导航定位和位置服务等产业增长点。2016
年4360亿人民币，年均复合增长率为20%，到2020年地理信息产业的总产值规模将达到9040.90亿人民币，未来10年，地理信息产业总产值将保持稳定高速的年均增长率，到2021年形成万亿元的年产值。

地理信息服务业服务总值持续快速增长，2020年将达1,736亿元

地理信息服务业是地理信息产业的核心部分，近年来，随着“一带一路”等国家战略的提出，不动产统一登记等一系列国家重大项目和重点工作的启动，国家现代测绘基准体系基础设施建设的推进，基础地理信息数据更新速度的加快，数字城市及智慧城市应用范围的不断扩大，地理信息服务总值持续快速增长。

同时，随着地理信息的不断发展，新应用、新服务不断产生，互联网搜索和电子商务提供商、通信服务提供商、汽车厂商等纷纷涉足地理信息应用领域，形成了遥感应用、导航定位和位置服务等产业增长点。参与主体的多样化结合商业模式的创新，地理信息产业正逐步走向应用多元化、深度化的时代，企业的核心竞争力不断提高。

阿里巴巴、腾讯、网络等大型互联网企业积极进军地理信息产业，给传统的中小地理信息企业带来了不小的竞争压力，导致了企业竞争的加剧，但同时也为加快产业提质增效和地理信息企业转型升级提供了强大外力。今后，产业的发展应是“互联网+
”驱动下的有质量、有效益的创新发展。

地理信息服务业未来发展趋势

产业链将进一步延伸

在大数据时代，基于物联网、云计算、互联网技术发展的大数据技术将对地理信息服务业产业链的各个环节产生全方位的影响，引起地理信息服务业产业链结构的调整。

产业链结构的调整主要表现为产业链变长的趋势。在大数据时代，地理大数据分析与挖掘可以直接创造价值，为用户提供服务。而地理大数据分析与挖掘需要掌握专门的技术，可能还需要一定的行业背景，因此很可能发展成为一个独立增值的产业链环节。此外，地理数据与其他大数据的集成，地理大数据的存储、管理与运营都需要专门的设备和技术，在大数据时代，也很有可能发展成为一个独立的产业链环节。

“互联网+测绘”将成行业新常态

近年来，随着互联网时代的深刻变革，云计算、大数据、物联网等智能化技术的发展对测绘科学不断渗透，地理信息服务业的产业结构、产品内容及服务范围发生了重大变化，“互联网+测绘”将成为地理信息服务业新常态。

行业内企业向综合性和个性化方向发展

在大数据时代，以需求为导向的地理信息服务企业主要向两个方向发展。一是综合性，即地理信息服务企业提供的服务从单一内容的服务向多类型服务发展，从满足单一需求向提供整体解决方案发展，从提供某一种产业活动向提供多种产业活动发展。地理信息服务企业的综合化发展趋势同时也顺应和体现了地理信息技术的发展趋势。

近年来，3S技术趋于融合发展，地理信息服务领域的内外业一体化、软硬件一体化也更加明显，同时，云计算、物联网、大数据等技术的发展，也使地理信息服务企业提供应用整体解决方案服务成为可能。二是个性化，在大数据时代，利用大数据发现需求、挖掘各类信息、解决各类问题的需求将迅速增长，公众用户的个性化产品发展空间广阔。

4. 大数据系统体系建设规划包括哪些内容

（1）内部控制组织抄
组织是体系运行的基本保障。其中，是否设置专职的内控部门是企业界关注的焦点，通常的设置方式包括三种：
方式一：单独设置内控部门。
方式二：由内部审计部门牵头负责内控工作。
方式三：在内部控制建设集中期设立内部控制建设办公室，该办公室从各主要部门抽调人员专职从事内控体系建设工作，待体系正式运行时，办公室解散，人员归位到各经营管理部门，且牵头职能也归位至内审部门。
（2）内部环境的诊断与完善
（3）动态的风险评估
（4）控制活动的设计
内控手册分模块设计，每一模块一般包括五个方面的内容：
第一，管理目标。
第二，管理机构及职责。
第三，授权审批矩阵。
第四，控制活动要求。
第五，比照上述几部分，各经营管理部门应当重新梳理与完善业务流程，针对关键风险点强化控制措施，确保组织职责、授权审批、内控要求落实到经营流程中，保证管理目标的实现。
（5）信息与沟通贯穿始终
（6）内部监督手段。

5. 大数据建设需要怎么做

先要有数据才能用来研究用途的啊！

6. 大数据系统体系建设规划包括哪些内容

技术模型控制、适应传统管理工作需求 新一代电子政务系统在得出了业务资源及关系模型和业务资源权限控制模型后，再结合机关单位办公实际，梳理传统管理工作需求，把机关单位的传统管理工作、规章制度通过技术模型的形式固定了。还有像传统的规章制度中对文件传阅控制、处理规定等，新一代电子政务系统就通过查询授权功能在技术上实现。提炼标准模型在创新的业务核心模型基础上，新一代电子政务系统建设为了保障业务核心模型的有效实现和规划，再提炼了业务标准模型。统一数据库结构设计 新一代电子政务系统通过数据标准规范，统一了各子系统的数据结构标准，从数据底层实现了标准统一，为各子系统之间的数据共享和数据整合提供了统一结构基础。统一系统和基础信息资源分类 新一代电子政务系统通过统一各业务及应用子系统之间的系统和基础信息资源分类，实现了信息资源支撑的统一，从而为各子系统之间的数据关联相互交换提供了统一数据基础。业务数据标准化保障了业务模型在数据层次的统一，确保了业务模型数据标准。统一主界面布局与统一应用层次 在业务数据标准统一基础上，为了确保业务核心模型在电子技术实现后的规范和方便应用，新一代电子政务系统又创新实现了系统布局和展示层的标准,还可以为应用层次划分标准，从而方便用户对系统的规范使用。制定设计模型创新了业务核心模型，提炼了业务标准后，新一代电子政务系统针对各种办公业务资源，从业务工作的实际出发，结合实践经验，又创新制定了基于业务核心模型基础上的业务设计模型，业务设计模型的创新又在于归纳可复用各业务功能模块上面。新一代电子政务系统中，业务设计模型的创新在于提炼可复用各业务功能模块。以往的电子政务建设，模块不清晰，系统建设杂乱无章，很多建设工作重复，这不仅仅耗费了大量资金，而且不利于系统的长远发展和推广应用。新一代电子政务系统从建设的实践中，从功能模块层提炼出了可复用的各业务功能模块，以方便系统的继续发展和建设，局部见图2

7. 大数据系统体系建设规划包括哪些内容是什么

大数据系统体系建设规划包括的内容是：强化大数据技术产品研发，深化工业内大数据创新应用，促进行容业大数据应用发展，加快大数据产业主体培育，推进大数据标准体系建设，完善大数据产业支撑体系，提升大数据安全保障能力。

指以数据生产、采集、存储、加工、分析、服务为主，进行的相关经济活动称为大数据产业，目前我国的大数据产业体系已初具雏形，大数据系统体系的发展建设有利于全面提升我国大数据的资源掌控、技术支撑和价值挖掘各方面的能力，加快我国称为数据强国的步伐，同时有利支撑着我国成为制造强国、网络强国的建设工作。

(7)测绘大数据建设扩展阅读

大数据系统体系建设规划发展原则：

创新驱动、应用引领、开放共享、统筹协调、安全规范。

大数据系统体系建设规划发展目标：

技术产品先进可控、应用能力显著增强、生态体系繁荣发展、支撑能力不断增强、数据安全保障有力。