大数据案件分析与预测

1. 大数据时代的案例分析

个案一
你开心他就买你焦虑他就抛
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

2. 如何进行大数据分析及处理

探码科技大数据分析及处理过程

聚云化雨的处理方式

• 聚云：探码科技全面覆盖各类数据的处理应用。以数据为原料，通过网络数据采集、生产设备数据采集的方式将各种原始数据凝结成云，为客户打造强大的数据存储库；

• 化雨：利用模型算法和人工智能等技术对存储的数据进行计算整合让数据与算法产生质变反应化云为雨，让真正有价值的数据流动起来；

• 开渠引流，润物无声：将落下“雨水”汇合成数据湖泊，对数据进行标注与处理根据行业需求开渠引流，将一条一条的数据支流汇合集成数据应用中，为行业用户带来价值，做到春风化雨，润物无声。

3. 什么是大数据，大数据的典型案例有哪些

随着大数据时代的到来，大数据早已被逐步的运用在我们生活中的方方面面，那么除了之前众所周知的大数据杀熟事件，对于大数据你还了解多少呢？科学运用案例你又知道多少?今天就跟随千锋小编一起来看看。
洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。
google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。
统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。
麻省理工学院利用手机定位数据和交通数据建立城市规划。
梅西百货的实时定价机制，根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。
……
种种的案例实在是太多，或许我们永远说不完一样，所以我们就来看一看大数据被科学运用的一个经典案例：

“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。
如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店，直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象，开始在卖场尝试将啤酒与尿布摆放在相同的区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件，从而获得了很好的商品销售收入，这就是“啤酒与尿布” 故事的由来。
当然“啤酒与尿布”的故事必须具有技术方面的支持。1993年美国学者Agrawal提出通过分析购物篮中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，找出客户的购买行为。艾格拉沃从数学及计算机算法角度提 出了商品关联关系的计算方法——Aprior算法。沃尔玛从上个世纪 90 年代尝试将 Aprior 算法引入到 POS机数据分析中，并获得了成功，于是产生了“啤酒与尿布”的故事。
其实大数据，其影响除了以上列举的方面外，它同时也能在经济、政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。

4. 大数据的应用案例以及未来发展趋势

赶超发达国家的重要机遇
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度，不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出来大数据这个概念，如今，这个概念几乎应用到了所有人类智力与发展的领域中。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器、智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据，大数据时代已经到来。
当前全球和我国大数据都呈现了井喷式爆发性增长，大数据已经渗透到各个行业和业务职能领域，成为重要的生产因素，大数据的演进与生产力的提高有着直接的关系。其发展特点，一是数据量呈现指数级增长。二是不同行业的大数据内容和开发应用特点各有不同，如证券、投资服务以及银行等金融服务领域拥有最高的平均数字化数据存储量，通信和媒体公司、公共事业公司以及政府等组织也有规模显著的数字化数据存储，这些行业更加具有通过大数据来创造价值的潜力。三是可以预见到大数据高速增长的现有趋势将继续推动数据增长，例如在各部门和地区之间，企业正在加快收集数据的步伐，推动了传统的事务数据库的增长；医疗卫生等面向消费者的行业中，多媒体的广泛使用刺激了大数据的增长；社交媒体的广泛普及以及物联网中应用的不断创新都进一步推动了大数据不断增长……这些相互交叉的动力刺激了数据的增长，并将继续推动数据池的迅速扩张。
发展大数据及其相关服务业将成为新兴经济体特别是我国在战略性新兴产业领域发挥后发优势赶超发达国家的重要机遇。只要条件具备，发展中经济体能够利用大数据发挥巨大的潜力。例如，亚洲地区移动手机用户最多，终端设备最多，其中中国设备数量最多，个人位置数据在亚洲已经领先。此外，在IT资产方面，尽管一些新兴市场组织落后于发达市场，但发展中经济体可以用最新技术跳跃式前进。大数据的应用不仅仅是商务，通过用户行为分析实现精准管理、科学决策和人性化服务是大数据的典型应用，大数据在各行各业特别是公共服务领域具有广阔的应用前景，包括消费行业、金融服务、食品安全、医疗卫生、军事、交通环保、电子商务、气象等。发展大数据产业机遇可贵潜力巨大。从经济和产业发展维度看大数据及相关产业发展的潜力，我国独特的位势和经济社会高速稳定发展，给大数据及其应用带来了巨大的发展空间。大数据在我国各领域和不同行业的应用潜力巨大、机遇重大。大数据的核心技术进展和大数据应用有可能带来我国新兴战略性产业发展的新机遇。
信息服务业发展的重要推力
研究表明，大数据是继传统IT之后下一个提高生产率的技术前沿和信息服务业发展的重要推动力。大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素。
例如医疗卫生行业，能够利用大数据避免过度治疗、减少错误治疗和重复治疗，从而降低系统成本、提高工作效率，改进和提升治疗质量；公共管理领域，能够利用大数据有效推动税收工作开展，提高教育部门和就业部门的服务效率；零售业领域，通过在供应链和业务方面使用大数据，能够改善和提高整个行业的效率；市场和营销领域，能够利用大数据帮助消费者在更合理的价格范围内找到更合适的产品以满足自身的需求，提高附加值。数据已经成为可以与物质资产和人力资产相提并论的重要的生产要素，伴随着信息化发展，企业将收集更多的信息，从而带来数据呈现指数级的增长。大数据在同时为商业和消费者创造价值方面有巨大的发展潜力。
大数据应用能够发挥重要的经济作用，不但有利于私人商业活动，更有利于国民经济和公民。数据可以为世界经济创造重要价值，提高企业和公共部门的生产率与竞争力，并为消费者创造大量的经济剩余。例如，能够富有创造性而有效地利用大数据来提高效率和质量。麦卡锡公司研究报告指出，预计美国医疗行业每年通过数据获得的潜在价值可超过3000亿美元，能够使得美国医疗卫生支出降低超过8%，充分利用大数据的零售商有可能将其经营利润提高60%以上。通过利用大数据实现政府行政管理方面的运作效率提高。估计欧洲发达经济体可以节省开支超过1000亿欧元，其中尚不包括可以用来减少欺诈、错误以及税差的影响作用。可以预见的是，随着人们存储、汇聚和组合数据然后利用其结果进行深入分析的能力超过以往，随着越来越尖端技术的软件与不断提高的计算能力相结合，从数据中提取洞见的能力也在显著提高。
大数据及其开发利用能够催生新的产业形态，拓展成为战略性新兴产业的重要组成部分。大数据的生产、整合、开发利用具有广泛的高附加值，可以形成和应用于各行业的关键发现，大数据的有效利用可以创造巨大的潜在价值，许多行业和承担业务职能的组织可以利用大数据提高人力、物力资源的分配和协调能力，减少浪费，增加透明度，并促进新想法和新见解的产生。其价值一是提高透明度，让利益相关方能够更加容易地及时获取信息，例如在公安部门，让原本相互分离的部门之间更加容易地获取相关数据，就可大大降低搜索和处理时间；在制造业，整合来自研发、工程和制造部门的数据以便实现并行工程，可以显著缩短产品上市时间并提高质量。二是可以通过实验来发现需求、暴露可变因素并提高业绩。随着组织创造并存储更多数字形式的交易数据，并以实时或接近实时的方式收集更多准确而详细的绩效数据，组织能够通过安排对比实验，运用数据分析获取更好的决策，例如在线零售商，通过将流量和销售结合的试验论证决定价格调整和促销活动的制定。三是更加精准地组织市场，根据客户需求细分人群。利用大数据使组织能够对人群进行非常具体的细分，以便精确地定制产品和服务以满足用户需求。例如在公共部门如公共劳动力机构，利用大数据为不同的求职者提供工作培训服务，确保采用最有效和最高效的干预措施使不同的人重返工作岗位。四是可以协助决策者更加科学地进行决策。大数据的自动处理能够更好地为决策者提供更加精准恰当的决策支持，通过对大数据的自动处理来替换或支持人为决策。有些组织已经在通过分析来自客户、雇员甚至嵌入产品中的传感器的整个数据集而做出更有效的决策。五是能够创新商业模式、产品和服务。例如在医疗保健领域，通过分析病人的临床和行为数据已经创造了瞄准最适当群体的预防保健项目。例如互联网公司收集大量的在线行为数据，创新速度非常快。
应组织实施大数据产业专项
发展大数据及其相关服务业具有重要意义，有望使各个行业产生更多收益。随着我国经济和社会信息化的高速发展，不仅信息产业自身获取了巨大的数据池，各个行业都存在利用大数据获取价值的潜力。大数据促使信息化建设模式大转变，结构化数据向非结构化数据演进，使得未来IT投资重点不再是建系统为核心，而是围绕大数据为核心。政府和企业决策者应对大数据发展研究制定发展战略和策略给予高度重视。
大数据真正的问题是大数据应用，让大数据更有意义。目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心。非结构化海量信息的智能化处理包括自然语言理解、多媒体内容理解、机器学习等。例如2012年3月29日白宫发布美国政府的大数据计划：通过提高从大型复杂的数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究。
由此，我们提出组织实施大数据产业专项的初步设想。一是围绕拓展新兴信息服务业态，组织实施以大数据示范、加工、处理、整合和深加工的信息资源与内容服务业示范工程，面向重点行业和重点民生领域包括金融证券、医疗卫生、税务海关、交通运输、社会保障、电子商务等领域，开展大数据重大应用示范，提升基于大数据的公共服务能力；二是加快推动北斗导航核心技术研发和产业化，推动北斗导航与移动通信、地理信息、卫星遥感、移动互联网等融合发展，支持位置信息服务市场拓展，完善北斗导航基础设施，推进服务模式和产品创新，在重点区域和领域开展示范应用；三是大力发展地理信息产业，拓宽地理信息服务市场，推进大数据技术和服务模式融合创新，支持大数据服务创新和商业模式创新；四是组织实施基于大数据的信息内容加工服务业典型示范工程，包括关键技术产品产业化和大数据生产、转换、加工、投送平台及专用工具的产业化项目，为丰富信息消费内容产品供给提供支撑；五是组织实施自主可控的大数据关键技术产品产业化项目，主要包括商业智能、数据仓库、数据集市、元数据、可视化技术等。

5. 大数据分析的分析步骤

大数据分析的五个基本方面
1. Analytic Visualizations（可视化分析）不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
2. Data Mining Algorithms（数据挖掘算法）可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
3. Predictive Analytic Capabilities（预测性分析能力）数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4. Semantic Engines（语义引擎）我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5. Data Quality and Master Data Management（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。

6. 如何进行大数据分析及处理

探码科技大数据分析及处理过程

聚云化雨的处理方式

• 聚云：探码科技全面覆盖各类数据的处理应用。以数据为原料，通过网络数据采集、生产设备数据采集的方式将各种原始数据凝结成云，为客户打造强大的数据存储库；

• 化雨：利用模型算法和人工智能等技术对存储的数据进行计算整合让数据与算法产生质变反应化云为雨，让真正有价值的数据流动起来；

• 开渠引流，润物无声：将落下“雨水”汇合成数据湖泊，对数据进行标注与处理根据行业需求开渠引流，将一条一条的数据支流汇合集成数据应用中，为行业用户带来价值，做到春风化雨，润物无声。

7. 大数据分析的典型案例有什么

我说几个我知道的，智慧图做了西单大悦城，k11 ，帮他们实现了业态规划，图聚也有，但是定位太差，数据准确度没法说。