地学大数据

A. 请问学大数据哪里好！大数据包括哪几项学习呢能举例吗

"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化版能力的海量、高权增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。你可以去ITjob网上了解更具体的资料。

大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。

B. 该如何精细地学大数据开发 会遇到哪些难点

大数据开发怎么学习？由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，难以三言两语说清楚。

附上大数据工程师技能图：

零基础学习大数据一般有以下几步：

了解大数据理论；计算机编程语言学习；大数据相关课程学习；实战项目

（1）了解大数据理论

要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。对大数据有一个大概的了解，你才能清楚自己对大数据究竟是否有兴趣，如果对大数据一无所知就开始学习，有可能学着学着发现自己其实不喜欢，这样浪费了时间精力，可能还浪费了金钱。所以想要学习大数据，需要先对大数据有一个大概的了解。

（2）计算机编程语言的学习

对于零基础的朋友，一开始入门可能不会太简单，大数据开发的学习是需要java基础的，而对于从来没有接触过编程的朋友来说，要从零开始学习，是需要一定的时间和耐心的。

（3）大数据相关课程的学习

学完了编程语言之后，一般就可以进行大数据部分的课程学习了。大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。

（4）实战项目

学习完任何一门技术，最后的实战训练是最重要的，进行一些实际项目的操作练手，可以帮助我们更好的理解所学的内容，同时对于相关知识也能加强记忆，在今后的运用中，也可以更快的上手，对于相关知识该怎么用也有了经验。

C. 现在学大数据有前途吗

大数据开发是IT职业中的“大熊猫”，大数据工程师的收入可达到了同类内的顶级。容在一二线城市，大数据开发的薪资基本上是10K+；拥有3-5年技术经验的人才可达到40K+。
大数据分析也是高收入技术岗位，拥有3-5年技术经验的人才薪资可达到30K。


从薪酬上看，一般情况下，开发类的薪酬会略高于与数据分析类的，这是由于岗位成本造成的。其实，任何领域的高端人才都是值钱的。
最重要的，是修炼好自己的技术！

D. 学大数据需要什么条件吗

如 果 是 想 去高 端 班的话， 好 程序员 他 们 是 需 要 大 专 及 以 上 学历 的，还 需要有 一 定 基础， 通过考核才能 学 习的 。

E. 大数据哪里学习比较好

好的大数据培训机构首先是口碑很不错，除了口碑还有课程、师资、就业、费用等等这些也还可以，多对比几家机构，条件允许的话就去实地考察，希望你能找到好的大数据学校。

F. 去哪里学大数据

你如果是大学，就是中国人民大学，电子科技大学，北京信息科技大学，中北大学，上海工程技术大学
如果是初中毕业，推荐你上完高中去学院学习，
高中毕业就是蓝欧 还有北大青鸟（培训机构，最起码有点基础去学），

G. 如何开始学习大数据

首先我们要了解Java语言和操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

H. 学大数据需要具备什么基础

第一阶段Java基础的学习：主要知识点有：Java基础语法、面向对象编程、常用类和工内具类 集合框架体系、容异常处理机制、文件和IO流、移动开户管理系统、多线程、枚举和垃圾回收 、反射、JDK新特性、通讯录系统等
第二阶段JavaEE核心的学习：主要学习知识点：前端技术、数据库、JDBC技术、服务器端技术、Maven Spring、SpringBoot Git等。学习了这些你可以制作精美的网页和动态JavaScript效果完成项目前端页面的制作。
第三阶段Hadoop生态体系的学习：主要学习知识点：Linux、Hadoop、ZooKeeper、Hive、 HBase、Phoenix、Impala、Kylin、Flume、Sqoop&DataX、Kafka、 Oozie&Azkaban、Hue等。学习了这些你可以制作智慧农业数仓分析平台

I. 哪地方能学大数据

可以到网站上了解下大数据开发分析的课程内容和就业前景，多考虑下选择适合自己的学习方式。