港容大数据平台

1. 大数据平台是什么什么时候需要大数据平台如何建立大数据平台

首先我们要了解java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

2. 如何利用大数据实现舆情监测

随着移动互联网的迅速发展，人类已进入大数据时代。每天我们会不知不觉的接触无数或真或假的信息，使我们无法分辨信息的真与假，有时容易被舆论带偏。现在政府、机构及企业已开始重视舆情，深知负面舆情带来的危害是巨大的。但在如今大数据时代，信息量巨大、传播迅速，简单的操作已无法满足舆情在互联网上的爆发，那如何利用大数据实施舆情监测呢？

一、如何运用大数据实施舆情监测？

1、将大数据和日常舆情管理紧密结合起来，提高网络舆情整体掌控能力。要运用大数据突破传统舆情管理的狭窄视域，建立网络舆情大数据监测系统，实时采集网站、博客、微博、微信、论坛等各个网络平台数据，全面分析舆情传播动态。

2、将大数据和舆论引导紧密结合起来，提高感染力和说服力。大数据时代的舆论引导，一方面要“循数而为”，通过分析网上数据，掌握网民意见倾向，了解网民的喜好和特点。另一方面要“用数据说话”。数据最有说服力，要在充分收集相关数据的基础上，通过图表等数据可视化技术，全面呈现事件的来龙去脉，让网民既了解事件真相，也了解事件背景和脉络，掌握网民情绪，带着网民观点去应对问题。

3、将大数据和网上政务信息公开紧密结合起来，提升政府公信力。当前，美国政府已经建立统一的数据开放门户网站，并提供接口供社会各界开发应用程序来使用各部门数据，此举将政务公开从“信息层面”推进到“数据层面”，开辟了政府信息公开的新路径。我们要在保障数据安全的基础上，探索建立我国的大数据政务公开系统，引导社会力量参与对公共数据的挖掘和使用，让数据发挥最大价值。

二、下文举例说明，如何基于网络大数据，实现舆情监测

本文选用 2019 年9月9日，“港荣蒸蛋糕丙二醇超标”这起舆情事件为例。通过对该事件的新闻、博客、微博、微信、论坛等互联网数据持续监测和采集，从多维度全方面展示信息的变化情况，对基于网络大数据的舆情监测具体实现过程进行论述。

1、舆情发展趋势监测分析

发展趋势监测是通过对事件舆情的网络数据来源、数量和时间三个维度进行趋势分析。该分析结果，能够直观展示舆情各大网络媒体的传播情况。如图1所示，该舆情信息在 2019-09-09达到了最大值，2019/09/08 00:00~2019/09/10 14:00期间，互联网上采集到的23169条舆情信息，其中微博平台的传播量最大，最高达到了4320篇相关讯息，新浪微博、微信成为该事件的主要传播媒体。

图片4来源：新浪舆情通

互联网已经逐渐成为民众参与舆论的首先渠道，在万物互联互通的数据时代，加强网络舆情监测与引导，对维持国家稳定、促进企业可持续发展都有重要的现实意义。这次港荣蒸品牌被爆丙二醇超标也是no zuo no die，要想不被卷入舆论漩涡，除了用像新浪舆情通这样的监测软件保驾护航，还需保证自己产品和服务的质量。

更多数据可参看新浪舆情通官网www.yqt365.com，政企用户可免费全网搜索事件、地域等关键词。(免责申明：部分文字来自网络，如涉及侵权，请及时与我们联系，我们会在第一时间删除或处理侵权内容。）

3. 什么是大数据平台

我们在搜索引擎中每一次搜索的记录、在电子商城中每一次的商品浏览和购买记录、每一次电子支付的数据...这些看似不相干的庞杂数据，汇总在一起，经过分析提炼，即可描绘出你这个人的行为习惯概况，对你未来可能采取的行为做出概率相当高的预测，这些数据我们可以把它统称为顾客大数据。
移动互联网兴起之时，大家都在抢占线上流量、线上数据，但中国互联网，你懂的，基本上庞大的消费顾客大数据都是掌握在BAT手上的，小互联网公司很难获取核心数据。但是随着线下消费升级的发展，越来越多的人开始看到线下顾客大数据的重要性了，毕竟，线下店铺才是顾客消费的主战场，而且流量也未被BAT这样的巨头企业瓜分完，可以算是充满商机的蓝海了。
蓝海归蓝海，但也存在一个问题，就是线下顾客大数据太庞大，太分散，除了星巴克麦当劳这种大企业有能力收集之外，一般店铺难以建立自己的大数据平台，更不用谈大数据的智能化处理了。
在这方面，目前就我所知，有家专门服务线下店铺市场的智慧店铺企业，名叫掌贝。这是家店铺Marketing Tech智能营销公司，它依托融合业务入口所沉淀的店铺大数据，帮助商户搭建自己的顾客大数据平台，实现自动化的精准营销，从而带动老客回流、新客引流。可谓是正好切中线下顾客大数据市场的要害啦，有兴趣的人可以去了解下。

4. 什么是港航大数据分析哪里可以进行港航大数据的分析

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的版数据集合，是需要权新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）,平台有hadoop

5. 数据分析和大数据平台网站有哪些

无需编程即可用来数据分析的工具/软件，推荐几个：
Excel / Spreadsheet：http://www.openoffice.org/download/
Trifacta：https://www.trifacta.com/start-wrangling/
Rapid Miner：https://rapidminer.com/
Rattle GUI：https://cran.r-project.org/bin/windows/base/
Orange：http://orange.biolab.si/
Tableau Public：https://public.tableau.com/s/
Talend：http://openrefine.org/download.html

6. 大数据有哪些常用的平台

大数据平台：是指以处理海量数据存储、计算和不间断流数据实时计算等场景为主的一套基础设施。
典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

7. 大数据分析平台那家好，有给推荐个比较好的平台。

最权来威的当属NLPIR了。
NLPIR由专注于大数源据科学研究与工程应用融合领域的十多名博士硕士，倾力15年，持续创新而构建，该平台分别获得了2010年钱伟长中文信息处理科学技术奖一等奖，国际与国内公开第三方的独立评测综合第一名。综合平衡了效果与效率，实现了 “又好又快”的技术追求。

普适优势
NLPIR提供云服务，更多的是提供第三方二次开发接口，你无需访问我们的服务器，确保自身信息内容的安全性，开发平台兼容当前所有主流的操作系统与开发语言。

经验优势
十余年中，NLPIR先后服务了全球30万家机构。其中涵盖了中央网信办、中国证监会、中国人民银行、国家统计局、国家气象局等国家机构，中信信托、华为、人民网、中国移动、中国邮政等大型商业机构，以及中国科学院、清华大学、中国科技信息情报研究所等科研机构。

8. 营口港融大数据股份有限公司怎么样

简介：营口港融大数据股份有限公司是由营口港务集团投资并控股的一专家港口运营商。公司经营属团队由具有丰富的港、航、物流、金融、商贸和电子商务运营与管理经验的专业人才组成。公司积极响应“一带一路”国家战略，采用“互联网+”的运营思维，突破港口传统经营模式和范围，是营口港“互联港+”发展战略的主要落地执行单位，是国内首家集港、航和第三方电商平台于一体的大数据服务平台。
法定代表人：李和忠
成立时间：2015-08-25
注册资本：10000万人民币
工商注册号：210800004254659
企业类型：其他股份有限公司(非上市)
公司地址：辽宁省营口市站前区太白路17甲-2