学大数据需要啥

❶ 大数据主要学什么

静态网页基础（HTML+CSS）
主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等。

javaSE+JavaWeb

主要技术包括：java基础语法、java面向对象（类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等）、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)、JDBC、线程、反射、Socket编程、枚举、泛型、设计模式。

前端框架
主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui。
企业级开发框架

主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webService CXF、Tomcat集群和热备 、MySQL读写分离

初识大数据

主要技术包括：大数据前篇（什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等）、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程（SHELL变量、循环控制、应用）、Hadoop入门（Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop）、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapRece应用(中间计算过程、Java操作MapRece、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)

大数据数据库

主要技术包括：Hive入门（Hive简介、Hive使用场景、环境搭建、架构说明、工作机制）、Hive Shell编程（建表、查询语句、分区与分桶、索引管理和视图）、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块（REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成）、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)

实时数据采集

主要技术包括：Flume日志采集，KAFKA入门（消息队列、应用场景、集群搭建）、KAFKA详解（分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试）、KAFKA高级使用（java开发、主要配置、优化项目）、数据可视化（图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图）、STORM入门（设计思想、应用场景、处理过程、集群安装）、STROM开发（STROM MVN开发、编写STORM本地程序）、STORM进阶（java开发、主要配置、优化项目）、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化

SPARK数据分析

主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用（高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等）、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶（DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型）、SPARK高级编程（Spark-GraphX、Spark-Mllib机器学习）、SPARK高级应用（系统架构、主要配置和性能优化、故障与阶段恢复）、SPARK ML KMEANS算法，SCALA 隐式转化高级特性

❷ 学大数据需要什么基础

大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。

❸ 大数据要学什么

大数据技术专业属于交叉学科：以统计学、数学、计算机为三大支撑性学科；内生物、容医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
以中国人民大学为例：
基础课程：数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课：离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课：数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。

❹ 学大数据需要什么基础

说到大数据，肯定少不了分析软件，这应该是大数据工作的根基，但市面上很多各种分析软件，如果不是过来人，真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求，总结了以下几点：
（1）SQL数据库的基本操作，会基本的数据管理
（2）会用Excel/SQL做基本的数据分析和展示
（3）会用脚本语言进行数据分析，Python or R
（4）有获取外部数据的能力，如爬虫
（5）会基本的数据可视化技能，能撰写数据报告
（6）熟悉常用的数据挖掘算法：回归分析、决策树、随机森林、支持向量机等
对于学习大数据，总体来说，先学基础，再学理论，最后是工具。基本上，每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识，包括概率论、数理统计。基础这种东西还是要掌握好的啊，基础都还没扎实，知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的，要学习证券、银行、财务等各种知识，不然到了公司就一脸懵逼啦。
3、学习数据分析工具，软件结合案列的实际应用，关于数据分析主流软件有(从上手度从易到难)：Excel，SPSS，stata，R，Python，SAS等。
4、学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。
当然，学习数学与应用数学、统计学、计算机科学与技术等理工科专业的人确实比文科生有着客观的优势，但能力大于专业，兴趣才会决定你走得有多远。毕竟数据分析不像编程那样，需要你天天敲代码，要学习好多的编程语言，数据分析更注重的是你的实操和业务能力。如今的软件学习都是非常简单便捷的，我们真正需要提升的是自己的逻辑思维能力，以及敏锐的洞察能力，还得有良好的沟通表述能力。这些都是和自身的努力有关，而不是单纯凭借理工科背景就可以啃得下来的。相反这些能力更加倾向于文科生，毕竟好奇心、创造力也是一个人不可或缺的。

❺ 学习大数据需要什么基础

一、计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。

二、数学及统计学相关的背景

国内BAT为代表的大公司，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。

三、特定应用领域或行业的知识

大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助。

❻ 学大数据需要什么学历

对国内就业市场而言，本科学历是大数据相关职位的一个基本要求，从各个职位上看需求量都是最大的。高端人才要求硕士以上的学历也很普遍，显示出这个行业的进入的确是有一定门槛的。

对于学历这个问题，一般来说，当你没有任何基础的时候，能拿得出手的只有学历，本科生当然竞争不过研究生。但是随着工作时间久了，你的能力达到了这个职位的要求，学历就不重要了。尤其是对业务能力要求比较高的数据分析师、数据挖掘师这些职位，你的行业知识和业务理解能力在很多情况下比学历更加重要。

当然，高端人才(如算法工程师、数据科学家)对学历也比较高，如果各方面条件允许，选择计算数学/概率论/模式识别/计算机方面的研究生深造也是有必要的，一些大公司的确会在初筛的时候根据学历筛选人，这个也很正常。当然，你也可以在工作几年后，当觉得到基础瓶颈的时候，可以再去读书，这个时候可能你更清楚自己需要的是什么。
对于进入这个行业的同学而言，你可以选择提升学历后再进入这个行业，也可以先就业，用你的工作经验弥补你的学历不足。大数据是一个实践性很强的学科，从实际工作中获取的知识和能力是你在学校里面无法学习到的，企业最终也是看重你的实际工作能力。

❼ 学大数据需要具备什么基础

第一阶段Java基础的学习：主要知识点有：Java基础语法、面向对象编程、常用类和工内具类 集合框架体系、容异常处理机制、文件和IO流、移动开户管理系统、多线程、枚举和垃圾回收 、反射、JDK新特性、通讯录系统等
第二阶段JavaEE核心的学习：主要学习知识点：前端技术、数据库、JDBC技术、服务器端技术、Maven Spring、SpringBoot Git等。学习了这些你可以制作精美的网页和动态JavaScript效果完成项目前端页面的制作。
第三阶段Hadoop生态体系的学习：主要学习知识点：Linux、Hadoop、ZooKeeper、Hive、 HBase、Phoenix、Impala、Kylin、Flume、Sqoop&DataX、Kafka、 Oozie&Azkaban、Hue等。学习了这些你可以制作智慧农业数仓分析平台

❽ 大数据需要什么学历才可以学。

本科学历

从企业方面来说，大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。产品分析是指通过算法来测试新产品的有效性，是一个相对较 新的领域。在安全和风险分析方面，数据科学家们知道需要收集哪些数据、如何进行快速分析，并最终通过分析信息来有效遏制网络入侵或抓住网络罪犯。
一、ETL研发
随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。
ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。
二、Hadoop开发
Hadoop的核心是HDFS和MapRece.HDFS提供了海量数据的存储，MapRece提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是抢手的大数据人才。
三、可视化（前端展现）工具开发
海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数 据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。
过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
五、数据仓库研究
数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
六、OLAP开发
随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理（OLAP）系统就负责解决此类海量数据处理的问题。
OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

❾ 大数据都需要学什么

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。