大数据总结百度文库

A. 什么是“大数据”，如何理解“大数据”

• 大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

  

B. 对大数据的理解与思考

对大数据的理解与思考
首先，大数据的到来，对人们的观念将带来深远的影响。
我们以前习惯认为：找到现象背后的原因，比清楚现象是什么更重要。通过“塔吉特怀孕预测”的例子可以看到，通过关联分析、聚类分析等数据挖掘方法，大家很容易找到事物之间的关系。但是，这些大数据分析结果，并不会直接告诉我们，事物之间为什么存在这些关系。在不清楚为什么存在这些关系之前，又的确看到了这些关系带来了价值；所以，在大数据应用领域就需要改变以前的思考方。即：先找到“是什么”再去找“为什么”；清楚是什么，与搞清楚为什么同等重要。
手工统计时代，出于收集全部数据非常困难或代价巨大的原因，很多数据分析都是采用抽样数据；但是，现在不同了，随着信息技术的发展，现在很多领域都能够方便的收集到全量数据。诸如无纸化办公的兴起、信息系统的使用、电子商务的发展等等，都为收集全量数据提供了便捷的条件。那么，这时候数据的“样本”=“全体数据”。这相对以前来说，也是革命性的影响。
在抽样分析时代，个别样本的质量甚至决定结果的质量。在大数据时代，这也变了，可以允许个别数据的不精确，甚至错误。举个简单例子来说明这个道理，比如在温室大棚里放一只温度计，当这只温度计有问题时，整个温度都是不准确的。若在大棚里均匀分布十几只温度计，其中一只有问题，对温室大棚温度的统计结果无碍大事，基本可以忽略其影响。
其次，大数据应用，影响商业变革和社会进步。
大数据应用正改变着企业的业务发展方式。比如：京东、天猫通过对交易数据的“二次利用”，寻找目标客户、定向推荐商品。也正是这些数据的二次利用给他们提供了大量价值，促进了这些企业的发展，推动着他们在营销、供应链与客户服务等领域的管理变革。同时，交易数据并不因为二次利用，而降低其价值；这也是，大数据应用与传统资源使用不同的地方。
数据的“混搭”分析，推动着商业发展和社会的进步。比如历史天气信息与航班误点信息，这两个不同领域的信息一块儿分析，便可以推算未来几天航班的误点率。再比如，通过神经中枢肿瘤患病率和手机使用时间长短之间的大数据关联分析，来研究神经中枢肿瘤患病率是否与手机使用时间长短有关系等等。
大数据的应用，也促生了很多商业机会。随着大数据时代的到来，形成了很多大数据拥有公司，以及大数据技术公司；数据与技术的结合变促生了很多大数据应用，因此带来了很多商业机会。例如，现在很多商业银行对自己大量客户的交易信息分析，规划新的理财产品，与其他商家合作，联合搞定向促销等等。
再次，大数据时代不再有个人隐私，将形成新的信息安全机制。
现在还经常听到诸如某某窥探我的隐私之类的话语，但是，在大数据时代几乎没有个人隐私，这不是骇人听闻。因为，现在微博、搜索引擎、社交网络、电商购物，已经成了我们生活中必不可少的一部分。根据每个人在互联网上留下的痕迹，通过大数据分析，很容易分析出一个人的爱好、习惯、性格、癖好等等。所以，大家都被“第三只眼”实时监控着，在大数据时代，几乎没有个人隐私！
没有个人隐私，是否就代表每个人可以随便传播别人隐私了呢？答案当然是否定的。因为传播别人隐私是不道德的，甚至是违法的。所以，现在新的信息安全规则正在重新定位，其中一个基调是：让数据使用者承担责任，不能滥用别人的隐私；我个人感觉这也比较合理。
总结
大数据只是“新概念”，并不是“新事物”。过去数据就存在，只是我们没有收集这些数据。但是，现在收集了这些数据，这个世界变得不一样了；它更新了人们过去对数据应用的认识，加快了商业和社会发展的新陈代谢，从中也让大家也看到了很多机会。大数据时代，已经到来。极目远眺，也看不到尽头。

C. 大数据究竟能给我们带来什么

1，大数来据改变了生产生活方式。

大数源据让企业拥有了增值的潜力与爆发力：通过对销售大数据的分析应用，企业可以对消费者的需求有更精准的把握，从而进行更对路的生产；通过对用户评价大数据的分析挖掘，企业能够更有针对性地改善用户体验，从而促进产品营销。

2，大数据改变了思维方式。

这种改变是双向度的：被动改变与主动改变相互交织，外在对手与内在对手共存共生。某种程度上，大数据促进了商业生态系统的重构，从产品供应、营销模式到竞争策略，谁掌握了大数据，谁就掌握了用户。

3，大数据将改变了管理模式。

理念创新必然带来技术创新，技术创新必然呼唤机制创新，管理模式的及时跟进将决定大数据价值的充分发挥。大数据的意义不在于数据本身，而在于对数据的分析与应用，从而释放出数据所蕴含的巨大价值。

(3)大数据总结百度文库扩展阅读：

已经有不少国家和企业开始在这一新领域谋篇布局。作为拥有庞大人群和应用市场的中国，也力争在这次科技变革中实现创新与引领，已经取得了大数据的三大理论创新成果——《DT时代——大数据如何改变世界》、《块数据——大数据时代真正到来的标志》、《创新驱动力》。

D. 这两年在大数据行业中的工作总结

这两年在大数据行业中的工作总结
今天呢，主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大家在评论区踊跃。 谢谢。
今天的主题，主要是从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，博主总结两年的见闻，和我学习的成果，也不知理解有无偏差吧，希望大家能给出建议。
大数据开发
大数据开发，有几个阶段：
1.数据采集【原始数据】
2.数据汇聚【经过清洗合并的可用数据】
3.数据转换和映射【经过分类，提取的专项主题数据】
4.数据应用 【提供api 智能系统 应用系统等】
数据采集
数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫（使用python或者nodejs制作爬虫软件），ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。
数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。
数据汇聚
数据的汇聚是大数据流程最关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产了，到了一定的量就是一笔固定资产。
数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量？，数据是否可用？ 需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。
数据转换和映射
经过数据汇聚的数据资产如何提供给具体的使用方使用？在这一步，主要就是考虑数据如何应用，如何将两个？三个？数据表转换成一张能够提供服务的数据。然后定期更新增量。
经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。
数据应用
数据的应用方式很多，有对外的、有对内的，如果拥有了前期的大量数据资产，通过restful API提供给用户？或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据，供自己的应用查询？这里对数据资产的要求比较高，所以前期的工作做好了，这里的自由度很高。
总结：大数据开发的难点
大数据开发的难点主要是监控，怎么样规划开发人员的工作？开发人员随随便便采集了一堆垃圾数据，并且直连数据库。 短期来看，这些问题比较小，可以矫正。 但是在资产的量不断增加的时候，这就是一颗定时炸弹，随时会引爆，然后引发一系列对数据资产的影响，例如数据混乱带来的就是数据资产的价值下降，客户信任度变低。
如何监控开发人员的开发流程？
答案只能是自动化平台，只有自动化平台能够做到让开发人员感到舒心的同时，接受新的事务，抛弃手动时代。
这就是前端开发工程师在大数据行业中所占有的优势点，如何制作交互良好的可视化操作界面？如何将现有的工作流程、工作需求变成一个个的可视化操作界面？ 可不可以使用智能化取代一些无脑的操作？
从一定意义上来说，大数据开发中，我个人认为前端开发工程师占据着更重要的位置，仅次于大数据开发工程师。至于后台开发，系统开发是第三位的。好的交互至关重要，如何转换数据，如何抽取数据，一定程度上，都是有先人踩过的坑，例如kettle，再例如kafka，pipeline ，解决方案众多。关键是如何交互？ 怎么样变现为可视化界面？ 这是一个重要的课题。
现有的各位朋友的侧重点不同，认为前端的角色都是可有可无，我觉得是错误的，后台的确很重要，但是后台的解决方案多。 前端实际的地位更重要，但是基本无开源的解决方案，如果不够重视前端开发， 面临的问题就是交互很烂，界面烂，体验差，导致开发人员的排斥，而可视化这块的知识点众多，对开发人员的素质要求更高。
大数据治理
大数据治理应该贯穿整个大数据开发流程，它有扮演着重要的角色，浅略的介绍几点：
数据血缘
数据质量审查
全平台监控
数据血缘
从数据血缘说起，数据血缘应该是大数据治理的入口，通过一张表，能够清晰看见它的来龙去脉，字段的拆分，清洗过程，表的流转，数据的量的变化，都应该从数据血缘出发，我个人认为，大数据治理整个的目标就是这个数据血缘，从数据血缘能够有监控全局的能力。
数据血缘是依托于大数据开发过程的，它包围着整个大数据开发过程，每一步开发的历史，数据导入的历史，都应该有相应的记录，数据血缘在数据资产有一定规模时，基本必不可少。
数据质量审查
数据开发中，每一个模型（表）创建的结束，都应该有一个数据质量审查的过程，在体系大的环境中，还应该在关键步骤添加审批，例如在数据转换和映射这一步，涉及到客户的数据提供，应该建立一个完善的数据质量审查制度，帮助企业第一时间发现数据存在的问题，在数据发生问题时也能第一时间看到问题的所在，并从根源解决问题，而不是盲目的通过连接数据库一遍一遍的查询sql。
全平台监控
监控呢，其实包含了很多的点，例如应用监控，数据监控，预警系统，工单系统等，对我们接管的每个数据源、数据表都需要做到实时监控，一旦发生殆机，或者发生停电，能够第一时间电话或者短信通知到具体负责人，这里可以借鉴一些自动化运维平台的经验的，监控约等于运维，好的监控提供的数据资产的保护也是很重要的。
大数据可视化
大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，大数据可视化不仅仅是图表的展现，重要的事说三遍，大数据可视化归类的数据开发中，有一部分属于应用类，有一部分属于开发类。
在开发中，大数据可视化扮演的是可视化操作的角色， 如何通过可视化的模式建立模型？ 如何通过拖拉拽，或者立体操作来实现数据质量的可操作性？ 画两个表格加几个按钮实现复杂的操作流程是不现实的。
在可视化应用中，更多的也有如何转换数据，如何展示数据，图表是其中的一部分，平时更多的工作还是对数据的分析，怎么样更直观的表达数据？这需要对数据有深刻的理解，对业务有深刻的理解，才能做出合适的可视化应用。
智能的可视化平台
可视化是可以被再可视化的，例如superset，通过操作sql实现图表，有一些产品甚至能做到根据数据的内容智能分类，推荐图表类型，实时的进行可视化开发，这样的功能才是可视化现有的发展方向，我们需要大量的可视化内容来对公司发生产出，例如服装行业，销售部门：进货出货，颜色搭配对用户的影响，季节对选择的影响 生产部门：布料价格走势？ 产能和效率的数据统计？ 等等，每一个部门都可以有一个数据大屏，可以通过平台任意规划自己的大屏，所有人每天能够关注到自己的领域动向，这才是大数据可视化应用的具体意义。
写在最后
洋洋洒洒写了很多，对我近两年的所见所闻所学所想进行了一些总结，有些童鞋会问，不是技术么？为什么没有代码？ 博主要说，代码博主要学的，要写的，但是与工作无关，代码是我个人的技能，个人傍身，实现个人想法的重要技能。 但是，代码与业务的关系不大，在工作中，懂业务的人代码写的更好，因为他知道公司想要什么。 如果你业务很差，那也没关系，你代码好就行了呀，根据别人的交代干活，也是很不错的。技术和业务是相辅相成的，稍后博主总结代码的精进。
写完了，焦虑一丝未少，我的代码规范性不够，目前技术栈js、java、nodejs、python 。
主业js熟练度80%吧，正在研究阮一峰的es6（看的差不多）和vuejs的源码（有点搁浅），vuejs算是中等，css和布局方面可以说还可以，另外d3.js，go.js都是处于会用，能干活。 nodejs呢，express和koa无问题，看过一些express的源代码，还写过两个中间件。
java、python都处于能做项目的程度，目前也不想抽很多精力去深入它们，就想要保持在想用能用的地步吧。
未来的几年，努力工作，多学学人工智能、大数据开发的知识，未来这块应该还有一些热度的吧。
最后，和大家共勉，更希望大家能给一些规划建议，三人行，必有我师焉。

E. 何谓大数据大数据的特点,意义和缺陷.

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据，更多的功能是分析过去，提醒现在，展望未来。广泛应用于商业领域，借以实现精准营销，预测趋势，实现商业利益的最优与最大。体现的价值为：

（1）利用大数据针对大量消费者的消费习惯，精准提供产品或服务；

（2）利用大数据做服务转型，做小而美模式；

（3）不能充分利用大数据价值的企业，将会在互联网压力之下摇摇欲坠。

国家通过结合大数据和高性能的分析，是指效率更加提高，同时也能降低国家运行成本。如：

（1）为成千上万的车辆规划实时交通路线，躲避拥堵；

（2）及时解析问题和缺陷的根源，是制度更加完善。

（3）使用点击流分析和数据挖掘来规避欺诈行为。

大数据的缺陷：

企业遭到黑客攻击，客户的资料大量非法流出，再利用大数据分析挖掘，人群进行分类排除，从而让人更容易受骗。

(5)大数据总结百度文库扩展阅读：

2016年3月17日，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布，其中第二十七章“实施国家大数据战略”提出：把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

具体包括：加快政府数据开放共享、促进大数据产业健康发展。

F. 大数据的内容和基本含义

“大数据”是近年来IT行业的热词，大数据在各个行业的应用逐渐变得广泛起来，如2014年的两会，我们听得最多的也是大数据分析，那么，什么是大数据呢，什么是大数据概念呢，大数据概念怎么理解呢，一起来看看吧。
1、大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
2、大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。
3、大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。
4、大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。
5、大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。
6、大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

G. 简述什么是大数据

大数据是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集不回能用传答统的数据库进行转存、管理和处理，是需要新处理模式才能具有更强大的决策力、洞察发现力和流程优化能力的海量、高增差率和多样化的信息资产。

大数据的主要特点就是数据量大、数据处理速度快、数据真实性高、数据类别复杂等，它们合起来被称为4大数据也可以应用在警察预测犯罪的发生、预测选举结果，同时还能通过手机定位数据和交通数据建立城市规划，现在医疗行业也在做大数据的分析。

(7)大数据总结百度文库扩展阅读：

社会发展速度非常快，科技也很发达，信息的流通和人们之间的交流也非常密切，而大数据就是这个时代高科技的产物。对于大部分行业而言，怎么运用这些大规模数据是赢得竞争的关键，但同时，大数据在经济发展中的意义不能取代一切对于社会问题的理性思考。

数据行业非常的受欢迎，人才需要求量也非常大，而且企业给大数据工程师的薪资比一般工程师的薪资也要高很多。

H. 大数据分析是什么优缺点是什么大数据的优缺点

数据分析是指抄用适当的袭统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
大数据分析的优点：能够准备得出可靠信息，有助于企业发展，已经找到自己的方向；
缺点：信息透明化，大数据比你更了解你自己。
大数据优点：
(1)及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。
(2)为成千上万的快递车辆规划实时交通路线，躲避拥堵。

(3)分析所有SKU，以利润最大化为目标来定价和清理库存。

(4)根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。
(5)从大量客户中快速识别出金牌客户。
(6)使用点击流分析和数据挖掘来规避欺诈行为。
大数据的缺陷：
当前，大部分中国企业在数据基础系统架构和数据分析方面都面临着诸多挑战。根据产业信息网调查，目前国内大部分企业的系统架构在应对大量数据时均有扩展性差、资源利用率低、应用部署复杂、运营成本高和高能耗等缺陷。

I. 如何理解大数据

1、我理解的大数据就是：数据量大(Volume)、数据种类多样(Variety)、 要求实时性强(Velocity) 。对它关注也是因为它蕴藏的商业价值大(Value)。也是大数据的4V特性。符合这些特性的，叫大数据。
2、对它关注一个原因就它的大价值，比方ebay,建立的大数据分析平台可以准确分析用户的购物行为。通过对顾客的行为进行跟踪、对搜索关键字广告的投入产出进行衡量，优化后eBay 产品销售的广告费降低了99%，顶级卖家占总销售额的百分比却上升至32%。就大数据价值这一块，例子很多，详情可以再自己查查。
再一个对它关注的原因就是因为这么大量和复杂的数据确实不好管理，这样就有了处理大数据的一些技术，比如Hadoop。Hadoop是个开源的，像网络做搜索，就用Hadoop管理数据。淘宝在2011年11月11日，搞得优惠活动，你想想在零点的时候，淘宝点击有多高，每一笔买卖算一个数据请求，那怎么保证网站的正常运转啊？这些就是一些技术方面的关注了。
3、它的作用更多，拿球赛说，我们现在可以通过比赛录像找出对手缺点了。有个大数据应用是视频教练工具，用这个工具，球员可以比较和对比同一投球手的不同投球，或是几天或几周的投球情况的时间序列数据。
4、解决的问题。你问的大数据解决什么问题，应该是处理大数据的技术解决什么问题。通过我上面说的，你大概也能知道一点了，管理大规模的复杂数据需要用到大数据的技术，通过大数据的技术把这些大数据管理分析好了，可以使企业领导对各方面有更明确的认识，做出更好的决策。
总结下：大数据更多的体现数据的价值。各行业的数据都越来越多，在大数据情况下，如何保障业务的顺畅，有效的管理分析数据，能让领导层做出最有利的决策。这是关注大数据的原因。也是大数据技术要解决的问题。
这些都是我自己写的我个人的理解，供你参考。再有不明白的可以网络，或者加追问咱们共同探讨。嘿嘿。