用户数据大数据

『壹』 大数据是什么多大的数据叫大数据

你好
多大的数据才算“大数据”
什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。
若能给你带来帮助，请帮忙点击采纳，谢谢！！！

『贰』 大数据下的用户分析，用户分析的基础数据有哪些

用户的购抄买量，购袭买频率，购买的时间空间差异等，这些为内部数据，可以通过自身或者第三方系统获得。
用户的评价， 用户的喜好，这些为外部数据。这些数据就需要借助大数据了。即为网络数据采集。
用户画像基础数据：网络行为数据

活跃人数
访问/启动次数
页面浏览量
访问时长
装机量
激活率
渗透率
外部触点

用户画像基础数据：网站内行为数据

唯一页面浏览次数
页面停留时间
直接跳出访问数
访问深度
进入或离开页面
浏览路径
评论次数与内容

用户画像基础数据：用户内容偏好数据

使用APP/登陆网站
时间/频次
浏览/收藏内容
评论内容
互动内容
用户生活形态偏好
用户品牌偏好
用户地理位置

用户画像基础数据：用户交易数据

贡献率
客单件/客单价
连带率
回头率
流失率
促销活动转化率
唤醒率

『叁』 大数据的定义是什么

大数据并抄不只是数据量大而已，它是数据存储+分布式调度+数据分析的结合
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，简单来说大数据就是海量的数据，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。
大数据的7大特征：海量性，多样性，高速性，可变性，真实性，复杂性，价值性
随着大数据产业的发展，它逐渐从一个高端的、理论性的概念演变为具体的、实用的理念。
很多情况下大数据来源于生活。
比如你点外卖，准备什么时候买，你的位置在哪，商家位置在哪，想吃什么……这都是数据，人一多各种各样的信息就越多，还不断增长，把这些信息集中，就是大数据。
大数据的价值并不是在这些数据上，而是在于隐藏在数据背后的——用户的喜好、习惯还有信息。

『肆』 知乎核心用户大数据报告

最近写了个爬虫，将知乎 3W 核心用户的公开资料爬了下来。虽然知乎声称注册用户有 6500 万，日活跃用户有 1850 万，但其中很大一部分用户是三无用户。由于该部分用户公开的数据并不多，再且新版知乎服务器对于单 IP 最大请求量有限制（大概每秒一次左右），所以我只爬了最核心的 3W 用户。

我的爬虫规则是这样的：从关注量上万的知乎大 V 中随机抽取 10 个作为种子，依次爬取其关注的人，再从其关注的人爬取关注的人的关注的人，如此递归。也就是说爬虫的规则保证了进入数据库的每一个人至少有一个关注者。以下的数据分析均来自于爬虫所得到的资料，所以要是报道上面出了偏差，还请大家见谅。

首先是对知乎用户的职业描述进行词云分析，列出前一百的高频词，结果如下。

在职业描述中进行高频词分析，“互联网”以 4552 次频率完胜，然后是”大学“紧随其后，其频率是 2163 。这和我们平时所看到的互联网从业者和名校学生占领内容输出的主力一致。这一百个高频词也囊括了知乎用户的兴趣，居住地等信息，不过这些我们以后还会仔细分析。

我们先来看看知乎的各种“最”。最高赞同数，最多关注者，写得最多答案，分别是哪些呢？

首先是最高赞同数的排行榜。

在赞同数上面， @张佳玮 老师以一己之力超越了第二名一倍不止，可谓是稳拿的冠军。然后前五名是 @肥肥猫 ，@朱炫 ，@唐缺 ，@马前卒 。轮子哥排在了第六名。

然后我们来看最多关注者排行榜。

在关注者排行榜上， @张佳玮 老师还是遥遥领先于 @李开复 老师。再往后走就是知乎的大佬 @黄继新 和 @周源 ，再往后是 @yolfilm 。

我们再来看写的答案最多排行榜。

@Phil 以极高的产量勇夺答案数最高 Top1，而素有”轮带逛“之称的 @vczh 只能屈居第二。排行前五的有 @王若枫 、@柴健翌 、@zhen-liang 等大 V 。

再来看看提问最多排行榜。

@David Chang 以 2684 个提问排行第一，以未来知识图谱闻名的 @图灵Don 排行第二。排行前五的还有 @歆盐 ， @程瀚 、 @张亮 。

然后是 BAT 三厂的员工数量比较，这个比较基于爬取到的的用户职业描述词频进行统计。

可以看到鹅厂员工在知乎比例最高，阿里次之（词频： 0.004554 ），熊厂稍稍落后。

都说知乎是 985 / 211 满天飞的地方，那么清北复交浙到底哪家强呢？

可以看到北京大学和清华大学的词频不相上下，后面那三位还需加把劲啊。

在移动智能时代，Android 、iOS 、WEB 前端工程师在当今软件开发中简直大放异彩。那么知乎哪一种程序员最多呢？

结果是前端词频远高于 Android 和 iOS ，其实差那么一点点就是 Android 和 iOS 的和了。这么说吧，你可能是坚定乔布斯 less is more 信念的果粉，也可能是拥抱开源的 Android 粉，可是所有人都需要浏览网页，不是吗：）

然后我还比较好奇知乎用户的普遍兴趣爱好是什么。

结果发现健身独占鳌头般占领榜首。看来知乎上还是普遍推崇健身提高颜值提高自身吸引力。可是为什么阅读的比例是最底的呢？为此我只能假设知乎上的同学学习效率都比较高，在完成基本的阅读任务后去了另外的领域探索更大的世界。又或者说阅读，相对于旅游健身摄影来说，对于提升自身的价值性价比并不是很高，因而大家更倾向于去健身房，去旅游，去拍照吧。

知乎用户地域分布。

词频集中分布在北上广深杭四川浙江江苏等地方。和个人的主观印象是相似的。毕竟以上颜色较深的都是互联网行业比较发达的省份。

然后就是大家最关心的知乎男女比例问题了。

在爬到的用户数据中，男性比例占了67.8%，女性只占了32.2%。也就是说男女比例比2：1还要大。

看到这里，你可能会反驳我说知乎初始用户的性别就是男性啊，这样子搞个大新闻是不行的。我也觉得挺有道理的，于是进一步筛选了核心中的核心部分用户，筛选条件为粉丝数大于200且赞同数大于400的用户，这下采样应该准确了吧。然后有了下图。

女性的比例降到了30.1%，男性比例相应为69.9%。这个数据比之前的数据更为不平衡。所以说女性用户在知乎更为稀缺，也显得更为珍贵。

所以，与其说知乎是一个高质量的问答社区，还不如说：

作者：彭家进 来源：知乎

『伍』 大数据时代的用户数据如何区别保护

大数据时代的用户数据如何区别保护
大数据时代，是物联网的时代，随着云存储和云计算的发展，以智能手机、智能家电、可穿戴设备为代表的智能终端的普及，通过各种智能终端上传和收集的用户数据将越来越多，对用户数据的分析和挖掘及利用，将是大数据的商业价值所在，蕴藏和巨大价值的用户数据的性质及使用规则是我们值得思考的问题。
用户数据的“区分所有权”构想
提到用户数据，我们首先想到的是用户的“隐私权”。民法大家王利明教授在其主编的《人格权法新论》一书中提到：隐私权是自然人享有的对其个人的与公共利益无关的个人信息、私人活动和私有领域进行支配的一种人格权。可见隐私权是一项“个体”权益，强调权利的身份和人格的属性。
用户数据的商业价值核心并不是“个人”的人格权益，其必要条件是具备足够多的用户个体样本，其更强调“集合”的权利，单个用户数据的商业价值是有限的。而用户数据的核心价值在于通过对云端存储的海量的用户个人状况、行为、需求的样本分析和挖掘，一方面为上游硬件商提供产品的开发依据，另一方面对用户的消费、生活提供“量身打造”的服务，从而形成物联网的全产业链循环，实现更高效的管理社会资源并创造更多的价值。
可见，虽然用户数据来源于“个体”数据，但最终使社会获益的是用户的“集合”数据。因此，在界定用户数据的性质方面，笔者建议根据单个数据是否具有身份属性，将用户数据分为身份数据和样本数据，并对这两类数据加以区别保护。
用户的身份数据是指可以通过单一的个体数据，即能锁定特定用户的数据。如姓名、身份证号、各种账号信息、联系方式等。比如我们通过一个电话，就能联系到一个特定的用户。因此，此类信息具有较强的身份属性，须定义为“隐私权”的范围，其权利主体应为用户个人所有，其使用和经营，须经过用户的许可，否则将被判定为侵权。现行法律法规如《全国人民代表大会常务委员会关于加强网络信息保护的决定》、工信部出台的《电信和互联网用户个人信息保护规定》以及消费者权益保护法、《网络交易管理办法》中规定的个人信息，当属于用户的身份数据范畴。
样本数据是指通过个体数据汇聚成的用户个人状况、行为、需求的数据库以及通过分析和挖掘以上数据获得的相关数据。此类数据的所有权应为用户和数据收集方共有，但经营使用权建议应掌握在能够发挥其价值的数据收集者手中。将所有权和经营权区分开来，既能从法律上保证用户的个体权益，又符合经济学的原理。
样本数据的经营规则
用户身份数据的使用规则可以依据现有的法律法规执行。我们仅需要通过立法明确以上法律所适用的数据的范围，并在执行层面的政策上制定可操作的保护用户身份数据和隐私权的规章制度。
对于样本数据的使用和经营规则，现有法律并没有明确依据。根据上文的阐述，笔者已将其所有权拟定为用户和数据收集者共有，经营使用权则建议应掌握在能够发挥其价值的数据收集者手中。这样设计的目的在于，一是保留用户的“被遗忘权”；二是发挥物尽其用的作用。
首先，保留用户的“被遗忘权”是用户数据使用的基础。
大数据时代到来，人们最担心的是自己将被暴露得一览无余，没有隐私可言。因此，个体信息是否公开，公开的程度，需要个体能够掌控，即用户自主决定其向外界公开的个人信息的广度和深度，也可随时自行或要求收集数据方，删除其掌握的任何关于用户个体的数据。用户要求收集者删除其样本信息时，须提供可以辨识其个体信息的依据(一般须为身份信息)，以证明其要求删除的信息是属于自己的样本信息。
其次，数据收集者在收集样本数据时，须向用户群体公示其收集途径和方式，以及用户删除自己样本信息的途径和方法。只有这样，用户才能知晓其被收集者收集的数据是什么，以及自己的样本信息被经营者使用的状况是否安全，从而判断其是否愿意继续使用数据收集者的产品，并将自己的样本信息交给数据收集者经营。一旦用户选择使用某一数据收集者的产品，数据收集者将与用户共有其收集的用户样本数据。
第三，数据收集者在遵守法律对用户隐私保护前提下，无需用户授权，可自由地使用和经营其收集到的用户的样本数据，直至用户自行或要求其删除样本数据。
当前，各数据收集者之间进行不同程度的共享和授权数据的需求已是大数据的发展趋势。云与云的互联互通才能使数据样本变得足够庞大，使数据分析和挖掘的结果更有价值，使用户不同智能终端之间的连接变得可能，从而真正的实现大数据的物联网。
样本数据的共享和授权中涉及到大量个体信息，如果用户此类活动需要经过个体用户的授权，将会极大地阻碍商业效率，其数据和信息的收集是随时随地的，要求单个用户对单个的样本授权，也会影响用户的体验。因此最现实的方式是数据的收集者在经营和使用其收集的数据时，无需个体用户的单独授权。
最后，数据收集者通过样本数据所获取的收益，个体用户须有分配权。
个体用户对数据经营的收益分配权容易理解。数据的源头是个体，个体是样本数据的所有者，因此其理所应当得到经营数据的利益。分配的方式和数量可由数据收集者确定并公示，一旦用户使用特定数据收集者的产品，即表明其同意以此对价获取收益。当然，用户领取收益的前提是提供可以辨识其个体信息的依据(一般须为身份信息)，以证明其是对应个体样本数据的提供者。

『陆』 大数据的特点 大数据的特点有什么

1、大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

2、大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

3、多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

4、高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

5、价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

『柒』 大数据的定义是什么

大数据首先是一个非常大的数据集，可以达到TB(万亿字节)甚至ZB(十万亿亿字节)。这里面的数据可能既有结构化的数据，也有半结构化和非结构化的数据，而且来自于不同的数据源。

结构化的数据是什么呢？对于接触过关系型数据库的小伙伴来说，应该一点都不陌生。对了，就是我们关系型数据库中的一张表，每行都具有相同的属性。如下面的一张表：

（子标签的次序和个数不一定完全一致）

那什么又是非结构化数据呢?这类数据没有预定义完整的数据结构，在我们日常工作生活中可能更多接触的就是这类数据，比如，图片、图像、音频、视频、办公文档等等。

知道了这三类结构的数据，我们再来看看大数据的数据源有哪些呢?归纳起来大致有五种数据源。

一是社交媒体平台。如有名气的Facebook、Twitter、YouTube和Instagram等。媒体是比较受欢迎的大数据来源之一，因为它提供了关于消费者偏好和变化趋势的宝贵依据。并且因为媒体是自我传播的，可以跨越物理和人口障碍，因此它是企业深入了解目标受众、得出模式和结论、增强决策能力的方式。

二是云平台。公有的、私有的和第三方的云平台。如今，越来越多的企业将数据转移到云上，超越了传统的数据源。云存储支持结构化和非结构化数据，并为业务提供实时信息和随需应变的依据。云计算的主要特性是灵活性和可伸缩性。由于大数据可以通过网络和服务器在公共或私有云上存储和获取，因此云是一种高效、经济的数据源。

三是Web资源。公共网络构成了广泛且易于访问的大数据，个人和公司都可以从网上或“互联网”上获得数据。此外，国内的大型购物网站，淘宝、京东、阿里巴巴，更是云集了海量的用户数据。

四是IoT(Internet of Things)物联网数据源。物联网目前正处于迅猛发展势头。有了物联网，我们不仅可以从电脑和智能手机获取数据，还可以从医疗设备、车辆流程、视频游戏、仪表、相机、家用电器等方面获取数据。这些都构成了大数据宝贵的数据来源。

五是来自于数据库的数据源。现今的企业都喜欢融合使用传统和现代数据库来获取相关的大数据。这些数据都是企业驱动业务利润的宝贵资源。常见的数据库有MS Access、DB2、Oracle、MySQL以及大数据的数据库Hbase、MongoDB等。

我们再来总结一下，什么样的数据就属于大数据呢？通常来大数据有4个特点，这就是业内人士常说的4V，volume容量、 variety多样性、velocity速度和veracity准确性。

『捌』 了解用户的十个大数据分析途径

1.将网络传输中的数据看做“金矿”并进行挖掘。你的网络中包含了大量其它公司无法从中获益的数据，收割这些数据中的价值是你真正理解用户体验的第一步。

2.不要总是用假设去了解你的用户，并且知道他们需要什么。拥抱用户，并且切实的了解用户行为，要比去假设要好的多。保持客观，从实际数据中获得见解。

3.尽可能的收集数据，从而减少盲点。盲点可能导致丢失关键信息，从而得到一个歪曲的用户体验观。确认你收集了一切可以影响到用户体验和行为分析的数据。

4.对比数据的体积，我们该更看重数量。收集好数据之后，专注于重要的数据来做分析方案。

5.迅速。用户需求优先级总是在变化的，技术需要迅速的做出分析并做调整。这样才能保证你分析出的不是过时结果，对于随时都在改变的需求，你需要迅速的收集数据并做出响应的处理。

6.实时的业务运作。这就需求对数据的实时分析并获取见解，从而在情况发生后可以实时的做出调整，从而保证最佳的用户体验及经营结果。

7.分析不应该给产品系统带来风险，也就是分析永远都不应该给用户体验带来负面的影响。所以尽可能多的捕捉数据，避免盲点才能让分析出的见解不会对业务有负效应。

8.利用好你数据的每一个字节，聚合数据可能会暗藏关键见解。这些信息片段可能会反应最有价值的见解，可以帮助持续的提升用户体验及经营效果。

9.着眼大局。捕捉与你站点或者网络应用程序交互的所有数据，不管是来自智能手机、平板或者是电脑。丰富数据，将不同储存形式之间的数据关联起来，确信这些点都被连接了起来。在处理中关联的越早，获得的见解就越完整、精准、及时和有效。

10.和平台无关，确保你的大数据分析能力不会受到设备的类型限制(笔记本、台式机、智能手机、平板等)。

关于了解用户的十个大数据分析途径，青藤小编今天就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

以上是小编为大家分享的关于了解用户的十个大数据分析途径的相关内容，更多信息可以关注环球青藤分享更多干货

『玖』 大数据是什么

作者：李丽
链接：https://www.hu.com/question/23896161/answer/28624675
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。
"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。
研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。
二、大数据分析
从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？
1、可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了
2、数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3、预测性分析能力
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4、数据质量和数据管理
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
三、大数据技术
1、数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2、数据存取：关系数据库、NOSQL、SQL等。
3、基础架构：云存储、分布式文件存储等。
4、数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
6、数据挖掘：分类
（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or
association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text,
Web ,图形图像，视频，音频等)
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
四、大数据特点
要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。
1、
数据体量巨大。从TB级别，跃升到PB级别。
2、
数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
3、
价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
4、
处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。
五、大数据处理
大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理
六、大数据应用与案例分析
大数据应用的关键，也是其必要条件，就在于"IT"与"经营"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是关于各行各业，不同的组织机构在大数据方面的应用的案例，在此申明，以下案例均来源于网络，本文仅作引用，并在此基础上作简单的梳理和分类。
大数据应用案例之：医疗行业
[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。
[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。
[3] 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
大数据应用案例之：能源行业
[1] 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。
大数据应用案例之：通信行业
[1] XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。
[2] 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。
[3] 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
[4] NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

『拾』 在客户信息的大数据中还包含哪些内容

大数据的周期运转可以看出客户的喜爱，与常用软件。

从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：
一、大数据采集
大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。
数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle也依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle和Talend本身，也集成了大数据集成内容，可实现hdfs，hbase和主流Nosq数据库之间的数据同步和集成。
网络数据采集：一种借助网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的数据采集方式。
文件采集：包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。
二、大数据预处理
大数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。
数据清理：指利用ETL等清洗工具，对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。
数据集成：是指将不同数据源中的数据，合并存放到统一数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。
数据转换：是指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。
数据规约：是指在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据方聚集、维规约、数据压缩、数值规约、概念分层等。
三、大数据存储
大数据存储，指用存储器，以数据库的形式，存储采集到的数据的过程，包含三种典型路线：
1、基于MPP架构的新型数据库集群
采用SharedNothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点，在企业分析类应用领域有着广泛的应用。
较之传统数据库，其基于MPP产品的PB级数据分析能力，有着显著的优越性。自然，MPP数据库，也成为了企业新一代数据仓库的最佳选择。
2、基于Hadoop的技术扩展和封装
基于Hadoop的技术扩展和封装，是针对传统关系型数据库难以处理的数据和场景（针对非结构化数据的存储和计算等），利用Hadoop开源优势及相关特性（善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等），衍生出相关大数据技术的过程。
伴随着技术进步，其应用场景也将逐步扩大，目前最为典型的应用场景：通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种NoSQL技术。
3、大数据一体机
这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统，以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。
四、大数据分析挖掘
从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面，对杂乱无章的数据，进行萃取、提炼和分析的过程。
1、可视化分析
可视化分析，指借助图形化手段，清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析，即借助可视化数据分析平台，对分散异构数据进行关联分析，并做出完整分析图表的过程。
具有简单明了、清晰直观、易于接受的特点。
2、数据挖掘算法
数据挖掘算法，即通过创建数据挖掘模型，而对数据进行试探和计算的，数据分析手段。它是大数据分析的理论核心。
数据挖掘算法多种多样，且不同算法因基于不同的数据类型和格式，会呈现出不同的数据特点。但一般来讲，创建模型的过程却是相似的，即首先分析用户提供的数据，然后针对特定类型的模式和趋势进行查找，并用分析结果定义创建挖掘模型的最佳参数，并将这些参数应用于整个数据集，以提取可行模式和详细统计信息。
3、预测性分析
预测性分析，是大数据分析最重要的应用领域之一，通过结合多种高级分析功能（特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等），达到预测不确定事件的目的。
帮助分用户析结构化和非结构化数据中的趋势、模式和关系，并运用这些指标来预测将来事件，为采取措施提供依据。
4、语义引擎
语义引擎，指通过为已有数据添加语义的操作，提高用户互联网搜索体验。
5、数据质量管理
指对数据全生命周期的每个阶段（计划、获取、存储、共享、维护、应用、消亡等）中可能引发的各类数据质量问题，进行识别、度量、监控、预警等操作，以提高数据质量的一系列管理活动。