大数据第二章

㈠ 大数据云计算好不好学习

说一下大数据的四个典型的特征：

• 数据量大；

• 数据类型繁多，（结构化、非结构化文本、日志、视频、图片、地理位置等）；

• 商业价值高，但需要在海量数据之上，通过数据分析与机器学习快速的挖掘出来；

• 处理时效性高，海量数据的处理需求不再局限在离线计算当中。

第一章：Hadoop

在大数据存储和计算中Hadoop可以算是开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop，你至少需要搞清楚这些是什么：

自己学会如何搭建Hadoop，先让它跑起来。建议先使用安装包命令行安装，不要使用管理工具安装。现在都用Hadoop 2.0。

目录操作命令；上传、下载文件命令；提交运行MapRece示例程序；打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。知道Hadoop的系统日志在哪里。

以上完成之后，就应该去了解他们的原理了：

MapRece：如何分而治之；HDFS：数据到底在哪里，究竟什么才是副本；

Yarn到底是什么，它能干什么；NameNode到底在干些什么；Resource Manager到底在干些什么；

如果有合适的学习网站，视频就去听课，如果没有或者比较喜欢书籍，也可以啃书。当然最好的方法是先去搜索出来这些是干什么的，大概有了概念之后，然后再去听视频。

第二章：更高效的wordCount

在这里，一定要学习SQL，它会对你的工作有很大的帮助。

就像是你写（或者抄）的WordCount一共有几行代码？但是你用SQL就非常简单了，例如：

SELECT word,COUNT(1) FROM wordcount GROUP BY word；

这便是SQL的魅力，编程需要几十行，甚至上百行代码，而SQL一行搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

另外就是SQL On Hadoop之Hive于大数据而言一定要学习的。

什么是Hive？

官方解释如下：The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax。

为什么说Hive是数据仓库工具，而不是数据库工具呢？

有的朋友可能不知道数据仓库，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库中的数据有这两个特点：最全的历史数据（海量）、相对稳定的；所谓相对稳定，指的是数据仓库不同于业务系统数据库，数据经常会被更新，数据一旦进入数据仓库，很少会被更新和删除，只会被大量查询。而Hive，也是具备这两个特点，因此，Hive适合做海量数据的数据仓库工具，而不是数据库工具。

了解了它的作用之后，就是安装配置Hive的环节，当可以正常进入Hive命令行是，就是安装配置成功了。

了解Hive是怎么工作的

学会Hive的基本命令：

创建、删除表；加载数据到表；下载Hive表的数据；

MapRece的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用java程序统计出现次数最多的10个单词及次数）；

HDS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapRece程序，运行出现问题，知道在哪里查看日志；

会写简单的Select、Where、group by等SQL语句；

Hive SQL转换成MapRece的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapRece是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapRece，提交运行。

此时，你的”大数据平台”是这样的：那么问题来了，海量数据如何到HDFS上呢？

第三章：数据采集

把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

这个在前面你应该已经使用过了。put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。建议了解原理，会写Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库，Oracle、MySQL、SQLServer等之间进行数据交换的开源框架。就像Hive把SQL翻译成MapRece一样，Sqoop把你指定的参数翻译成MapRece，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；使用Sqoop完成从MySQL同步数据到Hive表；如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。

因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

现在DataX已经是3.0版本，支持很多数据源。

第四章：把Hadoop上的数据搞到别处去

Hive和MapRece进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？其实，此处的方法和第三章基本一致的。

HDFS GET命令：把HDFS上的文件GET到本地。需要熟练掌握。

HDFS API：同3.2.

Sqoop：同3.3.使用Sqoop完成将HDFS上的文件同步到MySQL；使用Sqoop完成将Hive表中的数据同步到MySQL。

如果你已经按照流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：

知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

知道sqoop是HDFS和其他数据源之间的数据交换工具；

知道flume可以用作实时的日志采集。

从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapRece来分析数据，把分析结果同步到其他数据源。

接下来的问题来了，Hive使用的越来越多，你会发现很多不爽的地方，特别是速度慢，大多情况下，明明我的数据量很小，它都要申请资源，启动MapRece来执行。

第五章：SQL

其实大家都已经发现Hive后台使用MapRece作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

我们目前使用的是SparkSQL，至于为什么用SparkSQL，原因大概有以下吧：使用Spark还做了其他事情，不想引入过多的框架；Impala对内存的需求太大，没有过多资源部署。

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

SparkSQL为什么比Hive跑的快。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

关于Spark和SparkSQL，如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的。

第六章：数据多次利用

请不要被这个名字所诱惑。其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

关于Kafka：什么是Kafka？Kafka的核心概念及名词解释。

如何部署和使用Kafka：使用单机部署Kafka，并成功运行自带的生产者和消费者例子。使用Java程序自己编写并运行生产者和消费者程序。Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的。

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

如果你已经认真完整的学习了以上的内容，那么你应该已经具备以下技能和知识点：

为什么Spark比MapRece快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

从前面的学习，你已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务之间又存在一定的依赖性，比如，必须等数据采集任务成功完成后，数据计算任务才能开始运行。如果一个任务执行失败，需要给开发运维人员发送告警，同时需要提供完整的日志来方便查错。

第七章：越来越多的分析任务

不仅仅是分析任务，数据采集、数据交换同样是一个个的任务。这些任务中，有的是定时触发，有点则需要依赖其他任务来触发。当平台中有几百上千个任务需要维护和运行时候，仅仅靠crontab远远不够了，这时便需要一个调度监控系统来完成这件事。调度监控系统是整个数据平台的中枢系统，类似于AppMaster，负责分配和监控任务。

7.1 Apache Oozie

Oozie是什么？有哪些功能？

Oozie可以调度哪些类型的任务（程序）？

Oozie可以支持哪些任务触发方式？

安装配置Oozie。

7.2 其他开源的任务调度系统

Azkaban，light-task-scheler，Zeus，等等。另外，我这边是之前单独开发的任务调度与监控系统，具体请参考《大数据平台任务调度与监控系统》。

第八章：我的数据要实时

在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。

8.1 Storm

什么是Storm？有哪些可能的应用场景？

Storm由哪些核心组件构成，各自担任什么角色？

Storm的简单安装和部署。

自己编写Demo程序，使用Storm完成实时数据流计算。

8.2 Spark Streaming

什么是Spark Streaming，它和Spark是什么关系？

Spark Streaming和Storm比较，各有什么优缺点？

使用Kafka + Spark Streaming，完成实时计算的Demo程序。

至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。

第九章：数据要对外

通常对外（业务）提供数据访问，大体上包含以下方面。

离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。

实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。根据延时要求和实时数据的查询需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。

即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。

这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。

㈡ 什么是大数据，大数据为什么重要，如何应用大数据读《驾驭大数据》

去年出版的《大数据》（涂子沛著）是从数据治国的角度，深入浅出的叙述了美国政府的管理之道，细密入微的阐释了黄仁宇先生”资本主义数目式管理“的精髓。最近人民邮电出版社又组织翻译出版了美国Bill Franks的《驾驭大数据》一书。该书的整体思路，简单来说，就是叙述了一个”数据收集-知识形成-智慧行动“的过程，不仅回答了”what“，也指明了”how“，提供了具体的技术、流程、方法，甚至团队建设，文化创新。作者首先在第一章分析了大数据的兴起，介绍了大数据的概念、内容，价值，并分析了大数据的来源，也探讨了在汽车保险、电力、零售行业的应用场景；在第二章介绍了驾驭大数据的技术、流程、方法，第三部分则介绍了驾驭大数据的能力框架，包括了如何进行优质分析，如何成为优秀的分析师，如何打造高绩效团队，最后则提出了企业创新文化的重要意义。整本书高屋建瓴、内容恣意汪洋、酣畅淋漓，结构上百川归海，一气呵成，总的来说，体系完备、内容繁丰、见识独具、实用性强，非常值得推荐，是不可多得的好书！大数据重要以及不重要的一面与大多数人的想当然的看法不同，作者认为“大数据”中的”大”和“数据”都不重要，重要的是数据能带来的价值以及如何驾驭这些大数据，甚至与传统的结构化数据和教科书上的认知不同，“大数据可能是凌乱而丑陋的”并且大数据也会带来“被大数据压得不看重负，从而停止不前”和大数据处理“成本增长速度会让企业措手不及”的风险，所以，作者才认为驾驭大数据，做到游刃有余、从容自若、实现“被管理的创新”最为重要。在处理数据时，作者指出“很多大数据其实并不重要”，企业要做好大数据工作，关键是能做到如何沙里淘金，并与各种数据进行结合或混搭，进而发现其中的价值。这也是作者一再强调的“新数据每一次都会胜过新的工具和方法”的原因所在。网络数据与电子商务对顾客行为的挖掘早已不是什么热门概念，然而作者认为从更深层次的角度看，下一步客户意图和决策过程的分析才是具有价值的金矿，即“关于购买商品的想法以及影响他们购买决策的关键因素是什么”。针对电子商务这一顾客行为的数据挖掘，作者不是泛泛而谈，而是独具慧眼的从购买路径、偏好、行为、反馈、流失模型、响应模型、顾客分类、评估广告效果等方面提供了非常有吸引力的建议。我认为，《驾驭大数据》的作者提出的网络数据作为大数据的“原始数据”其实也蕴含着另外一重意蕴，即只有电子商务才具备与顾客进行深入的互动，也才具有了收集这些数据的条件，从这点看，直接面向终端的企业如果不电子商务化，谈论大数据不是一件很可笑的事？当然这种用户购买路径的行为分析，也不是新鲜的事，在昂德希尔《顾客为什么购买：新时代的零售业圣经》一书中披露了商场雇佣大量顾问，暗中尾随顾客，用摄影机或充满密语的卡片，完整真实的记录顾客从进入到离开商场的每一个动作，并进行深入的总结和分析，进而改进货物的陈列位置、广告的用词和放置场所等，都与电子商务时代的客户行为挖掘具有异曲同工之妙，当然电子商务时代，数据分析的成本更加低廉，也更加容易获取那些非直接观察可以收集的数据（如信用记录）。一些有价值的应用场景大数据的价值需要借助于一些具体的应用模式和场景才能得到集中体现，电子商务是一个案例，同时，作者也提到了车载信息“最初作为一种工具出现的，它可以帮助车主和公司获得更好的、更有效的车辆保险”，然而它所能够提供的时速、路段、开始和结束时间等信息，对改善城市交通拥堵具有意料之外的价值。基于GPS技术和手机应用所提供的时间和位置的数据也会提供主动的、及时的推送客户关怀信息，有利于改善客户关系和创造商业机会，也可以利用它进行共同目的和兴趣的社交，这些都会带来一种令人惊奇的业务创新。在视频游戏、电信话费清单上，作者也提出了十分有价值的洞见。技术、流程、方法、组织、人、文化作者是Teradata的首席分析师，绝非是文献学专家和徒有虚名之辈，他在书中也介绍了如何利用海量并行架构（MPP），云计算、网格计算、MapRece等时下炙手可热的技术从大数据中披沙沥金，驾驭大数据。同时，作者一直在提醒我们，数据只是源，“思想才是分析之父”，“有价值和影响力的分析才是优质分析”，优质分析要符合G（Guided指导性）R（Relevant相关性）A（Explainable可行性）T（Timely及时向）原则，并且优质的分析要能提供答案、提供用户需要的东西，要能提供新的解决方案，对实际行动有指导意义，从这个角度看，它区别于报表那种标准和固定的数据呈现模式，借助于大数据分析，用户能够把握现状、预测趋势，这样才能驾驭未来。作为一个大数据的行动者和实干家，作者也结合自己的工作经验，对于如何成为优秀的分析师，给出了他的答案，那就是学历、数学和编程等技能“它们仅仅是起点而已”，优秀分析专家身上更重要的才能是“承诺、创造力、商业头脑、演讲能力和沟通技巧、直觉”，这种人一将难求，它需要分析师长期的工作经验积累，从这点看，数据分析“不能只把自己当成科学家，业内最好的分析专家毫无疑问也是艺术家”。企业的大数据探索之旅，并非一片坦途，也会充满了各种艰险，这就需要企业具有创新性的文化氛围，容忍冒险和犯错，并鼓励尝试，作者也切中肯綮的提出“关注人，而不是工具”，“打破思维定势，形成连锁反应，统一行动目标”的创新之路，供读者思考和借鉴。时异而世移，我认为，在当今社会，企业直面社会的剧烈变化，在管理工作中依赖小规模的“点子”“好主意”的传统做法已经难以应对市场的激烈竞争，企业需要从那些来自于现场、来源于客户、来源于多个时空的全方位的立体信息中找到利润的宝藏，才能获得持续增长的动力，从这个意义上看，驾驭大数据是企业驾驭未来的必经之路。

㈢ 大数据:用数据指导APP运营

大数据:用数据指导APP运营

数据问题一直是很多运营人员头疼的问题。之前的回答说了一些，但都没有展开说，我也不知道进阶篇能说到啥程度，但先说着吧。

1、数据的定义

数据，其实就是一堆数值。

但这些数值，是从用户的行为统计而来。用来便于需要使用数据的同学进行研究和分析之用的基础素材。

2、有哪些数据

我们在入门篇的最后，列出了一些核心数据，我用一张脑图来简单的归纳一下，并进入我们这一节的内容：

这张脑图，仅仅简单的展示了可能是通用的部分运营数据，但如果我们仔细去看，会发现三个数据类型，是所有运营都需要具备的：

渠道、成本、收益。

如果要我简化上面这张脑图，我会告诉你，做运营，需要获取的数据，就是这三大类数据：

渠道数据、成本数据、收益数据。

渠道数据，是用来衡量渠道质量、渠道作用的，它由产品本身的定位的客群和产品的特性所决定。我们其实很容易可以推倒，一个理财产品如果投放游戏社区这种渠道，其运营效果可能并不会太好，可如果换成彩票、博彩，可能效果就很好；同理，传奇这一类的游戏的宣传与活动如果投放到女性社区平台，其效果几乎也可以无视，而如果换成一款Q版小游戏，或许效果就很好。

成本数据和收益数据，则会从不同层面反映出运营的效果。

在这里插一句，千万不要相信网上流传的各种《XX高管教你不花钱做运营》这种鸡汤文，运营一定有成本，必然有成本，如果认为运营高手可以不花钱办成事儿，那不如去相信男人可以怀孕生孩子。运营的效率可以通过经验、熟练度、创意等各种手段来提升，但运营的成本是必然存在的，并且和运营效果一般来说是成正比关系的。很简单的一个道理：

两个活动，一个活动送100台iPhone6，一个活动送1台iPhone6，哪个效果会好？

做运营的同学，请一定要认真的去评估每一个运营动作背后的成本。

而所谓“收益”，并不等价于“收入”，获得金钱是收益，获得用户也是

收益，获得口碑同样是收益。

如果我们了解了渠道、成本、收益这三类数据，是指导运营的核心数据，我们就可以根据自身的产品特性去设定需要获取哪些数据。 我们拿最近很火的那个App——足记来举个例子吧。

“足记”因为一个非核心功能火了，但作为这样的应用，它会关注哪些数据呢？

从产品的层面，它会去关注：

1）App每日的打开数

2）各种功能的使用次数和使用频次

3）各种Tab的点击次数和对应页面的打开频次

从运营的层面，它可能会去关注：

1）App每日的活跃用户数

2）每日产生的UGC数量（区分新老用户）

3）每日分享到社会化媒体的UGC数量（同时考虑单位用户的产生内容数）

4）分享出去的UGC带来的回流新装机、新激活用户数 等等。 而我们需要注意的是，这些关注的数据点，并不是一成不变的，它会因为产品的不同阶段而调整，如果我们假设未来足记有盈利模式，那么它关注的核心数据，就会从内容转向收入，这时候，转化率相关数据就会变的重要了。

同样，我们在本篇的第二章举过这样一个例子：

某个旅游网站，发起了老用户邀请新用户加入，老用户和新用户都可以获得100元的代金券，如果活动期间，新用户完成了一笔旅游订单，不论金额大小，作为邀请人的老用户还可以获得100元的代金券。

我们当时分析了活动流程，并针对活动流程做了关键点梳理，这些关键点就是需要获取的数据：

我们需要的数据，根据实际的需求来进行设计，并没有一个完全通用的标准，当然，如果你做的越多，你会发现，你的数据感觉在不知不觉中获得了提升，这一点，非常重要。

3、如何获取数据

获取数据的渠道有很多，而方式基本就是自己做和使用外部工具两种方式。

自己做的话，App可以选择“埋点”、log等方式，而Web可以通过log、日志与按钮埋点等方式去做记录。

外部工具，则有很多第三方会提供服务。

获取数据的方式其实各种各样，而关键在于，作为运营人员要了解什么样的数据是重要的，对于这些数据的前后关联，是怎样的，这是一个联动的过程，不是一个单一的行为。

4、如何分析数据

对于数据的解读，每个人都有不同的方式。如果我们要简单的总结，数据分析的方法，无非是：

1）确定数据的准确性 这里包含了选择数据维度的合理性、数据统计的准确性。如果数据维度选择不合理、数据统计结果不精确，我们可能是无法得出正确的分析结果的。这是基础。

2）明确影响数据的因素 一个数据，会收到多种因素的影响，这些因素有内部的，有外部的，运营人员应当尽可能多的了解所有层面的影响因素，以利于我们对于数据的解读是在一个相对正确的范围内。

3）重视长期的数据监测 在运营数据分析中，经常会使用环比和同比方式来对比数据。简单的说，环比是本日与前一日的对比、本月与上月的对比、本季度与上季度的对比；同比是今年当日与去年当日的对比、今年当月与去年当月的对比、今年当季度与去年当季度的对比。环比帮我们看短期的数据波动，而同比帮我们了解大环境下的数据波动。

4）保持客观的视角 数据分析的过程中，客观非常重要，不以物喜不以己悲，做了错误的操作，带来了不利的影响要承认，获得了超出意料的成果要心平气和，切忌挑选有利于自身的结论。这是职业道德的问题，也是职业发展中非常常见的问题。

5）注意剔除干扰项 实际的工作中，我们会碰到很多问题，这些问题是干扰项，例如，在一个相对平稳的曲线中，突然出现了一个点上的强烈波动，这时候我们需要全面的了解个波动产生的原因，如果无法确认原因，就剔除这个波动，否则我们很难去获得一个正确的结论。

以上是小编为大家分享的关于大数据:用数据指导APP运营的相关内容，更多信息可以关注环球青藤分享更多干货

㈣ 海南省大数据管理局管理暂行办法

第一章总 则第一条为规范海南省大数据管理局（以下简称省大数据管理局）设立和运作，创新大数据管理体制机制，推进我省大数据统一建设，统一管理，高效服务，根据相关法律法规精神和我省实际制定本办法。第二条省大数据管理局是省政府依法设立，承担大数据建设、管理和服务等职责，不以营利为目的，不列入行政机构序列，不从事法定职责外事务，具有独立法人地位的法定机构。第三条省大数据管理局在省政府领导下，坚持创新、市场化、与国际接轨的基本原则，统筹规划，整体推进，加快推进海南大数据发展。第二章职 责第四条省大数据管理局主要承担以下职责：

（一）负责使用省本级财政性资金、中央财政补助资金的信息化工程项目的管理，市县信息化建设项目的审核；负责组织实施大数据、信息化、智慧城市政策措施。

（二）负责推进社会经济、民生保障各领域大数据开发应用，引导、推动大数据分析研究和应用工作。

（三）负责统筹全省政务信息网络系统、政务数据中心、电子政务基础设施以及全省基础性、公共性政务信息化项目的建设和管理。

（四）负责统筹政府数据采集汇聚、登记管理、共享开放；推动社会数据汇聚融合、互联互通；组织实施大数据安全体系建设和安全保障工作；

（五）负责政府数据资产的登记、管理和运营，推动大数据产业发展。

（六）负责承担大数据、信息化领域对外交流合作，组织大数据、信息化领域相关企业参与国际国内重大交流合作活动；组织和指导相关企业开展区域化合作、国际化经营；指导大数据、信息化、智慧城市领域行业协会、学会、联盟机构工作。

（七）负责大数据、信息化人才队伍建设工作；拟订并组织实施大数据、信息化人才发展规划；组织协调全省大数据、信息化人才教育有关工作。第五条省大数据管理局配合省工业和信息化厅承担全省信息化相关规划、监督职责，以及省政府交办的其他工作。第三章运作机制第六条省大数据管理局由省政府直接管理。省政府大数据推进工作领导小组统筹全省大数据发展和管理的重大决策。第七条省大数据管理局实行法人治理结构，建立理事会决策、局长执行的治理架构。由省政府发起成立省大数据管理局理事会，代表省政府履行管理责任，决定发展战略、项目投资、薪资总额和年度工作目标等重大事项。第八条在职责范围内，省工业和信息化厅、省互联网信息办公室对省大数据管理局进行业务指导和监督。第九条按照“管运分离”的原则，省大数据管理局依法组建省大数据运营公司，承担全省电子政务基础设施、公共平台和共性平台的建设运维工作，省大数据管理局履行出资人职责。第十条省大数据管理局实行员额管理制度。根据工作需要，可以设置省大数据管理局大数据架构师等高端特聘职位。内设机构由省大数据管理局自主管理，人员能进能出。第十一条省大数据管理局的登记机关是海南省委机构编制委员会办公室。省大数据管理局应建立章程并按章程运行，根据党员人数，依规按程序相应成立党的基层组织。第十二条下列重大事项应当经省大数据管理局理事会研究讨论提出意见，按规定程序报批后实施：

（一）全省大数据发展战略、规划、省级政务信息化项目年度计划和相关投资事项；

（二）年度工作计划和财务预（决）算报告；

（三）省大数据管理局薪酬方案、年金方案、管理层人员薪酬标准和激励事项，以及相关管理制度。

（四）应当报请省政府决定的重大事项。第四章人事管理第十三条省大数据管理局除局长外，实行企业薪酬制度和企业年金制度，其薪酬水平参考市场因素自主确定。建立完善个人薪酬与绩效考核相挂钩的激励制度，薪酬能高能低。第十四条省大数据管理局应当按照科学合理、精简高效、公开平等、竞争择优的原则聘用人员。第五章财务管理第十五条省大数据管理局经费来源主要由开办资金、承接服务收入和其他合理合法的市场化收入组成。省大数据管理局相关支出从上述经费中保障。省大数据管理局的盈余经费应当全部用于全省大数据管理业务发展。第十六条省大数据管理局作为一级财政预算单位管理，财政经费预算实行国库集中支付，并接受有关机构监督。

㈤ 大数据处理技术这门课一共有多少章节

这门课一共有6个章节。包括：第一章概率论基础,第二章Python基础与开源包,第三章数据处理与特征选择,第四章数据建模,第五章数据可视化,第六章海量数据结构,。

㈥ 贵州省大数据安全保障条例

第一章总 则第一条为了保障大数据安全和个人信息安全，明确大数据安全责任，促进大数据发展应用，根据《中华人民共和国网络安全法》和有关法律、法规的规定，结合本省实际，制定本条例。第二条本省行政区域内大数据安全保障及相关活动，应当遵守本条例。

涉及国家秘密的大数据安全保障，还应当遵守《中华人民共和国保守国家秘密法》等法律、法规的规定。第三条本条例所称大数据安全保障，是指采取预防、管理、处置等策略和措施，防范大数据被攻击、侵入、干扰、破坏、窃取、篡改、删除和非法使用以及意外事故，保障大数据的真实性、完整性、有效性、保密性、可控性并处于安全状态的活动。

本条例所称大数据是指以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，是对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

本条例所称大数据安全责任人，是指在大数据全生命周期过程中对大数据安全产生或者可能产生影响的单位和个人，包括大数据所有人、持有人、管理人、使用人以及其他从事大数据采集、存储、清洗、开发、应用、交易、服务等的单位和个人。第四条大数据安全保障工作坚持总体国家安全观，树立正确的网络安全观，按照政府主导、责任人主体，统筹规划、突出重点，预防为主、综合治理，包容审慎、支持创新，安全与发展、监管与利用并重的原则，维护大数据总体和动态安全。第五条大数据安全保障工作应当围绕国家大数据战略和省大数据战略行动实施，建立健全大数据安全管理制度，建设大数据安全地方标准体系、大数据安全测评体系、大数据安全保障体系等，采取大数据安全攻防演练等安全保障措施，推动大数据安全技术、制度、管理创新和发展。第六条省人民政府负责全省大数据安全保障工作，市、州和县级人民政府负责本行政区域内大数据安全保障工作。

开发区、新区管理机构根据设立开发区、新区的人民政府的授权，负责本辖区大数据安全保障的具体工作。第七条县级以上有关部门按照下列规定，履行大数据安全保障职责：

（一）网信部门负责统筹协调、检查指导和相关监督管理等工作；

（二）公安机关负责安全保护和管理、风险评估、监测预警、应急处置和违法行为查处等监督管理工作；

（三）大数据发展管理部门负责与大数据安全相关的数据管理、产业发展、技术应用等工作；

（四）通信管理部门负责电信网、公共互联网运行安全监督管理等工作；

（五）保密行政管理部门负责保密监督管理等工作；

（六）密码管理部门负责密码监督管理等工作；

（七）其他部门按照有关法律、法规的规定和各自职责做好大数据安全保障工作。第八条省人民政府应当根据大数据发展应用总体规划，编制大数据安全保障规划；网信、公安、大数据发展管理等部门应当根据大数据安全保障规划，编制本部门、本行业大数据安全保障专项规划。第九条县级以上人民政府应当建立大数据安全保障工作领导协调机制和责任机制，协调和指导本行政区域内大数据安全保障有关事项。

公安机关应当按照网络安全等级保护要求，会同有关部门制定大数据风险测评、应急防范等安全制度，加强对大数据安全技术、设备和服务提供商的风险评估和安全管理。第十条任何单位和个人都有维护大数据安全的义务，不得从事危害大数据安全的活动，不得利用大数据从事危害国家安全以及损害国家利益、社会公共利益和他人合法权益的活动。

对危害大数据安全或者利用大数据从事违法犯罪活动的行为，任何单位和个人都有权劝阻、制止、投诉、举报。收到投诉举报的部门应当依法及时查处，保护举报人的合法权益；不属于本部门职责的，应当及时移送有权处理的部门。第十一条鼓励开展大数据安全知识宣传普及、教育培训，增强全社会大数据安全意识，提高大数据安全风险防范能力。第十二条鼓励、支持成立大数据安全联盟、行业协会等社会组织，开展行业自律、交流合作和安全技术研究等大数据安全工作。第二章安全责任第十三条实行大数据安全责任制，保障大数据全生命周期安全。

大数据安全责任，按照谁所有谁负责、谁持有谁负责、谁管理谁负责、谁使用谁负责以及谁采集谁负责的原则确定。

大数据基于复制、流通、交换等同时存在的多个安全责任人，分别承担各自安全责任。

㈦ 大数据世界的章节目录

第一章 荣华富贵俱尘消
第二章 绝处逢生
第三章 尽是结发妻
第四章 见习维序者
第五章 谈一笔生意（上）
第六章 谈一笔生意（下）
第七章 巨龙时代
第八章 冰霜法师
第九章 巨龙袭城
第十章 法师之战（一）
第十一章 法师之战（二）
第十二章 测试
第十三章 巨龙的阴谋
第十四章 自杀
第十五章 三个奴隶
第十六章 大雪崩
第十七章 印在空气中的冰霜符文
第十八章 骗出来的机会
第十九章 夏宫的法师们
第二十一章 原来是个天才
第二十二章 黑暗中的毒蝎
第二十三章 大收获
第二十四章 我是练武的
第二十五章 荆棘玫瑰小队的第四人
第二十六章 监狱里的囚徒
第二十七章 将计就计
第二十八章 邪恶的冰霜符文
第二十九章 怎么能这么帅！
第三十章 原罪匕首
第三十一章 穿刺王
第三十二章 螳螂捕蝉
第三十三章 主上，他被吓死了
第三十四章 此仇不共戴天
第三十五章 多才多艺的吸血鬼
第三十六章 怎么没爆炸？
第三十七章 分头追击
第三十八章 平原上的战斗（一）
第三十九章 平原上的战斗（二）
第四十章 平原上的战斗 （三）
第四十一章 平原上的战斗（四）
第四十二章 内奸
第四十三章 好大一颗钉子
第四十四章 大丰收
第四十五章 同居计划
第四十六章 长生诀
第四十七章 直接传道
第四十八章 强力幻术师
第四十九章 完全不是一个层次的对手
第五十章 道祖要疯狂
第五十一章 直接强推
第五十二章 主动邀请
第五十三章 土地庙
第五十四章 万物之源为数
第五十五章 除魔卫道
第五十六章 救星
第五十七章 各自谋划
第五十八章 文须河涨水
第五十九章 联手蒙蔽天机
第六十章 河中斗法
第六十一章 各搬救兵
第六十二章 欲求仙道？不行！
第六十三章 毒蝎佣兵团的逆袭
第六十四章 困龙图显威（上）
第六十五章 困龙图显威（下）
第六十六章 平妖乱
第六十七章 骑虎难下
第六十八章 最后三分钟！
第六十九章 天神下凡
第七十章 自作孽
第七十一章 长期保护任务
第七十二章 魂魄出窍
第七十三章 任务安排
第七十四章 升官
第七十五章 金华兰若（第三更）
第七十六章 小倩（第四更）
第七十五章 褪尘衣（一）
第七十八章 褪尘衣（二）
第七十九章 褪尘衣（三）（第二更）
第八十章 河边县的道士？
第八十一章 铸躯还阳
第八十二章 树妖的谋划
第八十三章 尸骨所在，魂魄所依（第三更）
第八十四章 为奴为妾，在所不惜
第八十五章 一切都为了利益（第二更）
第八十六章 意外的危机（第三更）
第八十七章 坐而论道
第八十八章 治病
第八十九章 西湖畔
第九十章 大和尚法海！
第九十一章 逆子！
第九十二章 捉妖
第九十三章 黎山老母
第九十四章 情之一字，难解！
第九十五章 我爹原来是英雄！
第九十六章 水漫金山
第九十七章 悲剧
第九十八章 两位请留步（第二更）
第九十九章 一招
第一百章 过去的记忆
第一百零一章 情况非常诡异
第一百零二章 世外桃源夜疯狂
上架感言（求首订）
第一百零三章 痛并快乐着
第一百零四章 近代大世纪
第一百零五章 三级技能
第一百零六章 道祖和女娲
第一百零七章 进入战争世界（求月票求订阅）
第一百零八章 战斗开始
第一百零九章 强悍对手出现
第一百一十章 洪水防线上的交锋（20月票加更）
第一百一十一章 冲过去！（第二更）
第一百一十二章 遇到个抢装备的（第三更）
第一百一十三章 技不如人
第一百一十四章 蜘蛛军团（第二更）
第一百一十五章 上帝，它站起来了！（谢舵章）
第一百一十六章 对决（第三更）
第一百一十七章 对决（二）
第一百一十八章 无奈对手有高达（四十月票加更）
第一百一十九章 要干就干票大的（第二更）
第一百二十章 形势极其恶劣（第三更）
第一百二十一章 能够影响战局的男人！
第一百二十二章 空中激战
第一百二十三章 暗算
第一百二十四章 升空
第一百二十五章 来得快，跑的也快
第一百二十六章 追击（60月票加更）
第一百二十七章 绝对不能丢！
第一百二十八章 恶魔蜘蛛
第一百二十九章 能打?比你还能打
第一百三十章 人间和地狱的距离
第一百三十一章 我们是天顶星人（上）
第一百三十二章 我们是天顶星人（下）
第一百三十三章 实在太先进了（第一更）
第一百三十四章 处于开天状态的火星
第一百三十五章 道术之妙，存乎一心（上）
第一百三十六章 道术之妙，存乎一心（下）
第一百三十七章 汝为乾坤之师，可否？（八十月票加更）
第一百三十八章 战后安排
第一百三十九章 小队新成员
第一百四十章 地狱到天堂
第一百四十一章 铁口直断李半仙
第一百四十二章 仙师解梦
第一百四十三章 山洞贵客
第一百四十四章 原来是你（一百月票加更）
第一百四十五章 功参造化
第一百四十六章 贫道是出世人（求月票啊求月票！）
第一百四十七章 仇敌相见（一百二十月票加更）
第一百四十八章 收徒
第一百四十九章 平静（一百四十月票加更）
第一百五十章 真龙风姿
第一百五十一章 天谴！（一百六十月票加更）
第一百五十二章 覆灭
第一百五十三章 使天下尽传佛
第一百五十四章 有你在，真好
第一百五十五章 公子与贫道有缘
求五月保底月票。
第一百五十六 远方来客
第一百五十七章 你有张良计，我有过墙梯
第一百五十八章 教徒
第一百五十九章 一子定乾坤
第一百六十章 安排（求月票）
第一百六十一章 泾渭之交，得遇豪强（第二更）
第一百六十二章 李靖（第三更）
第一百六十三章 借问女何人？（求月票）
第一百六十四章 还是带了个拖油瓶（第二更求月票）
第一百六十五章 小贼休走！（第三更）
第一百六十六章 奈何？
第一百六十七章 城中树妖（第二更）
第一百六十八章 天子剑（一）（三更求月票）
第一百六十九章 天子剑（二）（今日三更）
第一百七十章 天子剑（三）（第二更）
第一百七十一章 狗急跳墙（三更求月票）
第一百七十二章 妖尼，来此祸乱天地耶？
第一百七十三章 大日如来（第二更）
第一百七十四章 撑天之柱！（第三更，求月票）
第一百七十五章 刚烈至此？（第四更送到）
第一百七十六章 天机阁主（第五更）
第一百七十七章 人见人恶的身份（第六更！）
第一百七十八章 黑案（第七章奉上）
第一百七十九章 你这人真坏
第一百八十章 长江后浪‘拍’前浪（第二更）
第一百八十一章 闹鬼小区（第三更）
第一百八十二章 黑夜中的较量（一）
第一百八十三章 黑夜中的较量（二）
第一百八十四章 黑夜中的较量（三）
第一百八十五章 听我解释（第一更）
第一百八十六章 浪子不回头（第二更）
第一百八十七章 第一魂（第三更）
第一百八十八章 真是个麻烦（第四更）
第一百八十九章 一年隐忍！（第五更）
第一百九十章 巧遇（第六更）求月票
第一百九十一章 土豪怎么这么多？（第七更）
第一百九十二章 今日得见真面目！（第八更）
第一百九十三章 今日得见真面目！
第一百九十四章 又一件黑案（谢盟章）
第一百九十五章 丰厚的收获（第二更）
第一百九十六章 断交绝义吗？
第一百九十七章 凡心难断啊
第一百九十八章 好男人（第二更）
第一百九十九章 妖患天下（求月票）
第二百章 一晃三年
第二百零一章 尘缘了尽，羽化登仙
第二百零二章 破坏者后裔（第三更）
第二百零三章 计划失败 （求月票）
第二百零四章 家破人亡
第二百零五章 天书一卷传龙孙
第二百零六章 人尽皆知
第二百零七章 低调地战斗
第二百零八章 地下迷宫
第二百零九章 该怎么破局？
第二百一十章 啸月狼（求月票）
第二百一十一章 诛狼记（上）
第二百一十二章 诛狼记（下）
第二百一十三章 众英雄以为然否？
第二百一十四章 混世小魔王！
第二百一十五章 声名远扬
第二百一十六章 钱塘莽夫
第二百一十七章 天书谋划
第二百一十八章 自污保身（第三更，求月票）
第二百一十九章 西天谋划现端倪
第二百二十章 赌输了怎么办？
第二百二十一章 傍上个白富美
第二百二十一章 步步入局
第二百二十二章 大闹天宫幕后的较量（一）
第二百二十三章 大闹天宫幕后的较量（二）
第二百二十四章 大闹天宫幕后的较量（三）
第二百二十五章 佛祖暗手（上）
第二百二十六章 佛祖暗手（中）
第二百二十七章 佛祖暗手（下）
第二百二十八 阳光下的杀机
第二百二十九章 绝杀？
第二百三十章 一无所获
第二百三十一章 异能者
第二百三十二章 有人盯梢
第三百三十三章 远房表姐
第二百三十四章 远方表姐（三）
第二百三十五章 远方表姐（四）
第二百三十六章 谁扔的垃圾！
第二百三十七章 顾成的工作
第二百三十八章 把手举起来
第二百三十九章 竟然是一个情种？
第二百四十章 异能者都是疯子
第二百四十一章 提高生活质量
第二百四十二章 长太帅，闯祸了！
第二百四十三章 金钱世界
第二百四十四章 异能者的世界
第二百四十五章 全方位的压制
第二百四十六章 佳期如梦

㈧ 什么是大数据，大数据为什么重要，如何应用大数据

“大数据”简单理解为：

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据是一个抽象的概念，对当前无论是企业还是政府、高校等单位面临的数据无法存储、无法计算的状态。大数据，在于海量，单机无法快速处理，需要通过垂直扩展，即大内存高效能，水平扩展，即大磁盘大集群等来进行处理。

大数据为什么重要：

获取大数据后，用这些数据做：数据采集、数据存储、数据清洗、数据分析、数据可视化

大数据技术对这些含有意义的数据进行专业化处理，对企业而言，大数据可提高工作效率，降低企业成本，精准营销带来更多客户。对政府而言，可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。对个人而言，可以利用大数据更了解自己等。

如何应用大数据：

大数据的应用对象可以简单的分为给人类提供辅助服务，以及为智能体提供决策服务。

大数据不仅包括企业内部应用系统的数据分析，还包括与行业、产业的深度融合。具体场景包括：互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+，可以应用在各行各业"，如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。

㈨ 大数据如何入门

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

㈩ 海南省大数据开发应用条例

第一章总 则第一条为了推动大数据的开发应用，发挥大数据提升经济发展、社会治理和改善民生的作用，促进大数据产业的发展，培育壮大数字经济，服务中国（海南）自由贸易试验区和中国特色自由贸易港建设，根据有关法律法规，结合本省实际，制定本条例。第二条本省行政区域内大数据开发应用及相关活动适用本条例。

本条例所称大数据，是指以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，以及对数据集合开发利用形成的新技术和新业态。第三条大数据开发应用应当坚持全省统筹、依法管理、市场主导、创新引领、共享开放、保障安全的原则。第四条省、市、县、自治县人民政府领导本行政区域内大数据开发应用工作，协调解决大数据开发应用重大问题。

省人民政府信息化主管部门负责规划、指导、监督全省大数据开发应用工作，市、县、自治县人民政府信息化主管部门负责本行政区域内的大数据管理工作。

县级以上人民政府其他部门应当按照各自职责做好大数据开发应用相关工作。第五条省人民政府设立省大数据管理机构，作为实行企业化管理但不以营利为目的、履行相应行政管理和公共服务职责的法定机构。

省大数据管理机构负责组织实施大数据开发应用总体规划，统筹政务信息化项目管理和政务信息资源共享开放，管理运营政务数据资产，推进政务和社会大数据开发应用，具体实施大数据开发应用监督工作。第六条省人民政府信息化主管部门应当会同省大数据管理机构和有关部门，按照适度超前、合理布局、绿色集约、资源共享的原则，编制本省大数据开发应用总体规划，报省人民政府批准后公布实施。

市、县、自治县人民政府和省人民政府有关部门应当依据本省大数据开发应用总体规划，编制本区域、本部门、本行业大数据开发应用专项规划，报省人民政府信息化主管部门和省大数据管理机构备案。第七条省人民政府标准化主管部门应当会同省人民政府信息化主管部门和省大数据管理机构制定数据采集、开发、交换、共享、开放、安全等标准，实现数据准确、完整、规范，促进大数据的开发应用。

省大数据管理机构应当制定政务信息资源全过程管理规范。第八条任何单位或者个人采集、开发和利用数据应当遵守法律法规规定，遵循合法、正当、必要的原则，不得损害国家利益、社会公共利益和他人合法权益。第九条县级以上人民政府及有关部门应当加强大数据开发应用、安全等方面知识的宣传普及、教育培训，增强全社会大数据安全意识，提高大数据开发应用和安全风险防范能力。第二章大数据开发与共享第十条省人民政府应当建立跨部门、跨区域、跨行业的大数据信息资源协同推进机制，统筹规划全省信息基础设施，推进信息资源的归集整合、共享开放和融合应用。

市、县、自治县人民政府应当推进本行政区域内信息基础设施建设，提升大数据开发应用支撑能力，提高信息基础设施网络化智能化水平。第十一条省大数据管理机构应当建设、管理全省统一的政务数据中心、信息共享交换平台、政务大数据公共服务平台和政务数据开放平台等政务信息资源共享开放基础设施以及全省基础性、公共性政务信息化项目。

已建、新建的政务信息系统，应当与全省统一的政务信息资源共享开放基础设施互联互通和信息共享。第十二条鼓励和支持基础电信运营商建设国际海底光缆及省内登陆点等信息基础设施，构建安全便利的国际互联网数据专用通道，提高本省的国际通信互联互通水平。第十三条省大数据管理机构应当统筹推动政务数据采集汇聚、登记管理、共享开放，推动社会数据汇聚融合、互联互通、开发利用。第十四条政务信息资源实行目录管理。

政务部门应当按照国家和本省有关规定和标准，编制、注册登记、更新、维护政务信息资源目录，并负责采集政务数据。

省大数据管理机构和市、县、自治县人民政府信息化主管部门应当按照国家有关规定，统筹确认政务信息资源共享目录和开放目录。

本条例所称政务部门，是指政府部门及法律法规授权具有行政职能的事业单位和社会组织。第十五条政务信息资源共享分为无条件共享、有条件共享、不予共享三种类型，实行负面清单管理，负面清单以外的政务信息资源应当共享。

凡列入不予共享类的政务信息资源，应当有法律、行政法规或者国务院政策依据。

省大数据管理机构应当会同保密等有关部门开展政务信息资源负面清单审核工作。