大数据去ioe

① IoT和IoE分别是什么意思区别在哪里

一、IoT，IoE分别是什么意思？

1、IoT

物联网（英语：Internet of Things，缩写IoT）是互联网、传统电信网等信息承载体，让所有能行使独立功能的普通物体实现互联互通的网络。物联网一般为无线网，而由于每个人周围的设备可以达到一千至五千个，所以物联网可能要包含500兆至一千兆个物体。

二、IoT和IoE的区别在哪里

1、从IoT和IoE对象的不同区分

万物联网(IoE)包含了四个重要要素，是人、流程、数据和对象，

然而物联网(IoT)只注重于对象这项元素。

2、IoT和IoE之间的关系作用区分

万物联网对物联网有更进一步的提高功能以改善商业和产业的成果，最终将透过促进物联网的进步来使人们有更美好的生活型态。

(1)大数据去ioe扩展阅读

1、物联网的提出

Peter T. Lewis 在1985提出物联网的概念。

比尔·盖茨在1995年出版的《未来之路》一书中提及物互联。

1998年麻省理工学院提出了当时被称作EPC系统的物联网构想。

1999年，在物品编码（RFID）技术上Auto-ID公司提出了物联网的概念。

2005年11月17日，世界信息峰会上，国际电信联盟发布了《ITU互联网报告2005：物联网》，其中指出“物联网”时代的来临。

2、万物互联的提出

IoE由科技先驱和3Com公司的创始人罗伯特·梅特卡夫提出。罗伯特·梅特卡夫认为，网络的价值与联网的用户数的平方呈正比。从本质上讲，网络的力量大于部分之和，使得万物互联，令人难以置信的强大。

参考资料

网络-万物互联

网络-物联网

② 什么是去ioe

所谓去“IOE”，是对去IBM、Oracle、EMC的简称，三者均为海外IT巨头，其中IBM代表硬件以及整体解决方案服务商，Oracle代表数据库，EMC代表数据存储。去“IOE”策略更广泛的理解是对一些核心领域要求其IT系统及设备做到自主可控，比如金融、电信、能源等领域，在这些领域，“IOE”为代表的国外IT厂商占据绝对优势，其中尤以IBM大型服务器垄断地位尤为明显，业内人士估计在该领域IBM市场占有率高达70%。 2012年6月25日，美国国际贸易委员会25日宣布对中国大陆及台湾多家企业生产的电子成像设备发起“337调查”，以确定是否存在专利侵权行为，其中包括中国内地的华为技术有限公司、中兴通讯股份有限公司。这为中国去IOE提供了前科。 2013年6月，棱镜门事件爆发，“棱镜”事件泄密人斯诺登披露，自2009 年以来，美国国家安全局一直在侵入中国内地和中国香港的电脑系统，一时间舆论哗然。“棱镜”事件为国家信息安全敲响了警钟，尤其是政府、大型金融机构和大型国有企业尤为重视。 2013年7月，受“棱镜”事件影响，部分银行开始做去“IOE”筹划（I是IBM，O是Oracle，E是EMC），准备在三到五年内逐步淘汰外资，在银行IT系统和办公系统实现中资化。银行“核心系统”是记录保存银行客户信息和存贷款操作等银行最关键、最敏感的业务数据。

③ 去IOE是什么意思

具体来说，阿里巴巴的“去IOE”运动就是用成本更加低廉的软件——MYSQL替代Oracle，使用PC Server替代EMC2、IBM小型机等设备，以消除“IOE”对自己数据库系统的垄断。

去IOE意味着接下来政府必须将数据安全牢牢掌握在国内企业手中，防止数据丢失造成的一系列严重后果。也是在此背景之下，阿里云与12306以及之前的中国气象总局、药监局展开深度合作才显得水到渠成。

④ 政策频出 大数据产业步入快速发展期

政策频出 大数据产业步入快速发展期_数据分析师考试

随着互联网基础设施的完善和相关分析技术的成熟，大数据产业正步入快速发展期，并持续获得政策力挺。

22日，国务院新闻办公室就2015年上半年工业通信业发展情况举行发布会，工业和信息化部新闻发言人、总工程师张峰在新闻发布会上表示，工信部在下一步贯彻“互联网+”指导意见中，将重点推进组织实施智能制造重大工程，推进重要工业云、工业领域大数据中心建设。值得注意的是，工信部将出台互联网与工业融合、服务型制造、工业云和大数据等指导意见，加快法律法规制定修订，组建“互联网+”制造的标准推进联盟，制订智能制造综合标准体系。

目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。

机构预计，在企业和政府部门需求的共同推动下，大数据产业将迎来年均逾100%的增长率，到2016年市场规模有望达到百亿元。从事大数据采集整合、数据存储运算、数据分析挖掘、数据应用和消费服务等分领域，将获得市场扩张机遇。

从企业层面来看，大数据应用广泛，包括对海量数据处理、挖掘和应用等，而这些应用又将带动数据存储设备和提供解决方案，大数据分析、挖掘和加工类企业等环节发展，在去IOE和国产化浪潮的推动下，相关产业发展前景值得期待。

以上是小编为大家分享的关于政策频出 大数据产业步入快速发展期的相关内容，更多信息可以关注环球青藤分享更多干货

⑤ “去IOE”7年 银行IT架构国产化还需多久

7月底，农行（601288.SH）宣告成立金融 科技 子公司农银金融 科技 有限责任公司，注册资本6亿。目前已有11家银行成立金融 科技 子公司，包括五家国有大行、五家股份行和一家城商行。新一家金融 科技 子公司的成立振奋市场，而国内银行金融 科技 是否能够与国际抗衡，是否能完成“进口替代”的话题再次浮出水面。

长久以来，IOE技术架构是银行业的标准配置和唯一选择，而在2013年之后，由于金融系统IT架构定价权和 游戏 规则控制在海外厂商手中，并且随着移动互联网的普及，高频交易让传统系统不堪重负，银行业也开始艰难谋求去IOE。

时隔7年，在金融 科技 助推下，银行们通过自我研发去IOE仍在进行中，也有银行依靠互联网等外部力量以求快速实现IT架构国产化。

银行业去IOE始于2013年左右。图 站酷海洛

IOE，分别指IBM（国际商用机器公司）、Oracle（甲骨文）和EMC（易安信），三者分别是小型机、数据库和高端存储的领导厂商，一定程度上主导了企业的IT架构。它们组成的系统一度被视为大型金融企业后台的“黄金架构”。

中国银行业自上世纪90年代开始逐步实现电子化，陆续采用数据、操作、应用大集中的管理模式，即数据中心大集中时代，以革除各家分支行各自为政的弊病，实现网点和业务的数据集中。而IBM以其强大的数据处理能力，装机量在国内一枝独秀。

当时，各类银行争相引进海外业务系统产品，实现流程改造和管理方式改革。

银行业去IOE始于2013年左右。

一直以来，由于银行业采用IOE为代表的IT基础体系，使得如此重要的金融机构IT整体都处于海外厂商的控制之中。可想而知，如若存在技术漏洞，或被主动植入漏洞，或者是国与国之间产生矛盾，供应商被要求停止技术服务，则金融业暴露在安全风险之中。

因此，国家层面基于金融与信息安全的导向推动提出了去IOE的想法，2012年6月国务院发布《关于大力推进信息化发展和切实保障信息安全若干意见》（国发〔2012〕23号），金融监管部门也期望银行逐年减轻对IOE的依赖程度。

尽管去IOE化在2014年、2015年就成为了金融 科技 领域的热门话题，但是它的进展速度显然没有它的热度上得快。

广发证券研报显示，去IOE在开始几年在传统银行间开展得并不顺利。

主要原因包括：第一，大型银行当前集中处理的业务模式对于服务器的稳定性要求极高。而IBM大型机/小型机的稳定性无人能及。其次，中小银行采用开放式平台架构，可以不用IBM服务器。但国产设备的性能、安全性、稳定性一直难以被信任。此外，服务器、存储、操作系统、数据库等基础设施层次相互依赖，难以单一替换。因此，过去5-10年，难以真正意义上撼动海外厂商在国内银行业的地位。

金融壹账通总经理助理、Gamma平台CEO区海鹰在接受媒体采访时对21世纪经济报道记者表示，去IOE仍是银行业头疼的问题。“因为金融是国家与 社会 最重要的一个稳定因素，银行业内部使用的技术中IOE占比非常高，如何去IOE对于银行业来说是一个非常大的挑战。”

区海鹰表示，去IOE只能“小步慢走”式迁移，而且这个工作量非常大。应用层、硬件层迁移已经非常耗费精力，而底层的改变要用到全部国产的服务器、网络，难度可想而知，“估计这个改造本身就是5-10年的工作”。

2019年10月，中国互联网金融协会发布的《中国商业银行数字化转型调查研究报告》显示，参与调研的75%的银行已经或正在启动数字化转型。这其中，不少银行通过自行研发实现了国产化架构支撑关键业务。

据微众银行年报披露，截至2018年底，微众银行已建成229个关键系统，1202个子系统。依靠分布式架构及开源技术的深度应用，行内系统成功支持了年内亿级客户量、亿级日交易量，达到国有大型银行同等规模。与此同时，行内账户运维成本持续下降45%。

今年5月，陆金所也宣布去“O”已经完成95%，预计到今年中实现开源数据库的完全替代。陆金所选择了MySQL的开放式架构作为Oracle核心数据库的替代方案。经测算，完全“去O”之后，系统软硬件成本将节约近90%。

如果说，微众银行等互联网银行实现去IOE更为轻车熟路，那么更多的银行通过外部合作，来降低对海外厂商的依赖，近年来尤其实现提速。

2019年5月，华为正式面向全球推出了GaussDB数据库，其GaussDB OLTP数据库已在招商银行综合支付交易系统成功上线投产，也已在工商银行内上线投产。同月，达梦发布DM8.0，10月23日，该新核心系统所引入的达梦数据库正式通过湖北银行项目方的验收。

去年10月，蚂蚁金服OceanBase登顶TPC-C，这是国产数据库首破OLTP的benchmark世界纪录。OceanBase落地西安银行，西安银行完成实施互联网金融业务平台MySQL数据库、互联网交易资金存管平台Oracle数据库向OceanBase分布式数据库的完整迁移。同月，中兴GoldenDB成功帮助中信银行替换DB2，换“心”后的中信银行信用卡核心交易系统对外投产，这是全国性股份制商业银行的首例。11月，腾讯宣布开源TBase数据库，TDSQL数据库落地张家港农商银行新一代核心业务系统。

对于互联网金融公司和银行的 科技 子公司在去IOE领域的竞争，一位金融 科技 业内人士认为，互联网 科技 公司的 科技 创新能力确实非常强，而且也有很大的服务C端用户的规模。银行业尤其是大行金融 科技 子公司从纯技术的角度与互联网公司旗鼓相当，但是互联网公司本身自带流量，具有很大的优势。

但上述人士坦言，数据库市场被国外厂商垄断，自研企业实力与Oracle仍有一定差距。智研咨询发布的《2020-2026年中国数据库市场深度分析及未来发展前景预测报告》显示：2018年我国数据库软件市场规模为139.25亿元，其中，关系型数据库规模约118.36，占比约85%。Oracle数据库关系型数据库市场份额超过46%，占数据库市场约39.1%。

国产数据库方面，既有传统大学成立的数据库企业，包括人大金仓、武汉达梦、神舟通用、南大通用、山东瀚高等，也有近几年主要以阿里、腾讯、华为为代表的企业研发也加快了追赶脚步。

从国产数据库的技术来源看，国产关系型数据库多源自或者借鉴开源MySQL、PostgreSQL等数据库及其变种，或收购商业源码（例如Informix）+自研的方式，大数据平台多源自或直接整合开源大数据生态组件，纯自研的国产数据库较少，数据库种类不够丰富，核心竞争力亟待突破。

更多内容请下载21 财经 APP

⑥ 未来10年最有前景的十大高薪职业

未来10年最有前景的十大高薪职业

我们每个人都希望找到一份既高薪又有前景的工作，每个职业都有各自的优劣势，因此要综合考虑行业前景、承受压力、福利待遇、上升空间及入职门槛等等各种因素，下面是我为大家列举了国内未来10年最有前景的十大高薪职业，希望能帮你找到合适自己发展的工作。

互联网服务人员

行业背景：

互联网行业正在以摧枯拉朽之势改变着越来越多的传统行业，而它们巨大的吸金能量和对人才的巨大需求和渴望，也使得这两年互联网企业的涨薪速度曲线几近陡直向上。一般来说，在一线城市，在实际上入职后的2、3年里就很容易拿到10万元以上的年薪。而在三线互联网公司，同等条件下，普通技术员工的年薪一般能达到15万元左右。而准二线的互联网公司的普通员工薪水基本也能达到或超过20万元，与许多传统行业相比，这样的收入水平绝对令人艳羡。工作经验超过5年后，互联网企业中的收入差距就会拉大。

未来趋势：

互联网本身是个瞬息万变的大行业，不同子行业的热门程度往往与所在行业的垄断程度、发展速度和从业公司数量有关，目前较为热门的有电商、视频、搜索等。从技术人员的专业技能来看，目前除了.net、c#等过时的技术外，其他方向的技能，包括PHP、java、PM，尤其是Android、IOS语言的平台开发，往往都能有较多的从业选择。比如大数据开发、云计算、搜索、移动互联网等热门领域都有大量的高薪工作需求。

网络营销师

行业背景：

网络营销是企业营销实践与现代信息通讯技术、计算机网络技术相结合的产物，是指企业以电子信息技术为基础，以计算机网络为媒介和手段而进行的各种营销活动的总称。21世纪，将是一个全新的、无接触的、网络化的市场时代，科技、经济和社会的发展使信息社会的内涵有了进一步的改变，网络技术的发展和应用改变了信息的分配和接受方式，也改变了人们工作、生活、学习、和交流的环境。而网络营销师一般的薪酬都在5000-8000，3年的经验：8000-15000，优秀网络营销师年薪都在30万左右。

未来趋势：

据有关统计数字表明，目前我国有大部分企业已加入互联网，并涉及网络营销，其中以计算机行业、通讯行业、金融行业较为普遍，计算机行业占34%，通讯行业为23%，金融行业为11%，其他为32%。在这个科技时代，网络营销师已经成为了时代进步比不可少的人才。现今市场上网络营销人才几乎没有后备人才，如果不能继续培养大批人才，可能会诱发某些电商企业的发展停滞，因此网络营销人才就变得非常受青睐。

生物医药研发师

行业背景：

随着医药行业的不断发展，各国都在不断加强本国的医药研发产业建设，不断探索新方向和新模式。当前，我国生物医药正逐渐向国际化发展，生物医药研发支出在全球所占比重5年间增长率达到32.8%。医药师人才的培养更加受关注，这就使得生物医药的研发人员成了近年来医药领域的香饽饽。

医药行业一直被HR们视为高薪行业。当前，一般医药人才人均薪资水平在15万元左右，新入职的医药研发人员薪酬也在6万~8万元，而高端人才的薪资水平可达30万元左右。这一薪资水准还保持着每年10%左右的涨幅。

未来趋势：

医药是国家的战略性新兴产业，其制药技术将成为未来创新主动力，也是企业核心竞争力。业内人士分析，在未来至少10~20年的时间内，国内的生物医药研发大趋势还会继续保持。这无疑将使得未来一段时间内国内相关领域对医药研发师，特别是高端医药研发师的需求会持续旺盛。

理财规划师

行业背景：

资料显示，中国个人理财市场将不断增长，并且以每年10%至20%的速度增长。目前，一方面社会对金融理财的需求非常急迫，市场需求潜力巨大;另一方面，理财产品明显捉襟见肘。应届毕业生想从事此类专业性极强的行业，考取国家职业资格证书是不二选择。理财规划师职业资格分为3个等级，分别是助理理财规划师、理财规划师、高级理财规划师，持证上岗，月薪一般能达到1万元，随着工作经验和职业资格的提升，薪资还有大幅上升空间。

未来趋势：

理财师，尤其是能够为客户提供全方位的专业理财建议，通过不断调整存款、股票、债券、基金、保险、动产、不动产等各种金融产品组成的投资组合，设计合理的税务规划，满足居民长期的生活目标和财务目标的人才，更是难求。专家预计，我国理财规划师的缺口为20万人。未来5到10年，理财规划师将成为国内最具有吸引力的职业。有专家认为，国内理财规划师的年薪应该在10万到100万元人民币之间。

律师

行业背景：

作为传统的高薪职业，律师的社会地位及收入水平一直处于较高阶层。在美国，排名前50的律师事务所的律师平均年收入超过500万美元，英国律师最高年收入也达100万英镑以上。据统计以苹果公司与三星公司持续发酵的知识产权纠纷案为例，根据加州地方法院做出的一审判决，三星电子因侵犯苹果若干专利而需支付的赔偿高达10.5亿美元。按照1%至5%的通行提成惯例，苹果公司所聘请的律师依靠此笔涉外知识产权业务所获取的收入就可达上千万美元。

未来趋势：

随着市场经济和全球贸易的迅猛发展，包括中国在内的世界各国都在尽力实施专利战略，以适应日益激烈的国际竞争。在这样的竞争格局下，中国企业在践行全球战略过程中所面对的海外商标侵权、专利侵权、销售产品侵权、参展侵权及委托加工出口产品侵权等风险将会不可避免地持续加剧，而相关企业聘请专业涉外知识产权律师担任常年法律顾问或代理诉讼的需求也会随之渐趋增长。

信息安全分析师

行业背景：

2013年前特工斯诺登揭露美国政府非法侵入中国网络等的消息，把网络信息安全问题再一次暴露在公众面前。毋庸置疑，此次棱镜门事件将加速推动我国信息安全的进程。棱镜门之后，中国政府对信息安全问题的重视程度空前。近日，国家对win8说不，已经迈出了保障信息安全的第一步，采用国产信息化产品才能从根本上确保信息化基础设施的安全，已经成为业界的普遍共识。由此兴起的去IOE化和去IOH化等抵制国外产品的自发行为，使得我国信息安全产业有望获得快速发展，并推动行业人才需求。

未来趋势：

从宏观角度来分析，越来越大的市场规模，会导致人才需求剧增。智慧城市的建设也对信息安全体系提出了全新的要求，云计算、移动互联网、大数据、移动支付等领域的应用信息安全逐渐成为市场的主要发展方向。据了解，目前普通信息安全分析师的月收入在5000～15000元不等，根据自身所具备的实际能力不同，薪酬也会有所不同。高级信息安全分析师的月收入在10000～30000元之间，而如果是高层次、实用型、复合型的网络与信息安全利用和工程设计、管理人才，薪酬还要更高。

文学作家

行业背景：

文学作家这一职业由来已久，早在几个世纪前，那些能写出脍炙人口作品的作家已堪称富豪。时至今日，现代作家也同样不遑多让，根据美国《福布斯》杂志的统计，全球最富有的10位艺术家总就有两位依靠流行文学作品入榜，其中英国女作家J.K.罗琳凭借《哈利?波特》系列，在几年间就挣得6亿英镑，成为比英国女王更有钱的富豪。

未来趋势：

随着互联网的飞速发展，中国正在空前地迈向一个信息时代。新媒体技术催化了流行文学传播的速度及广度，而网络、手机、数据库技术的不断发展和广泛应用，也在传统刊物投稿或纸质出版的基础上为各类型的码字爱好者们提供了更多样的发展机遇及发展渠道。对比中国作家富豪榜的历届榜单，流行文学作家的上榜人数及吸金能力年年攀升。而与此同时，中国娱乐影视同样发展迅猛，如《小时代》等流行文学作品的影视改编以及韩寒等明星作家领衔的广告代言也呈现出逐年递增的发展趋势。无论在正职或副职的`发展上，成名后的流行文学作家都具有颇为可观的钱景。

酒店高级管理人员

行业背景：

从1982年中国首个由外企投资的酒店落户在北京开始，此后的二十年中，中国酒店业便伴随着国际化的渗透与发展，取得了不凡的成绩和进步。在与国际品牌酒店的交流、合作过程中。中国本土酒店人慢慢开始发现自身管理上的不足和差距。越来越多的酒店人选择到西方国家深造，接受更专业的酒店管理教育。直至今日，一批又一批的的中国酒店人归国发展，已成为国内酒店业的中坚力量，并正以实际行动来告诉全世界的酒店业，中国本土酒店人的时代已经到来。

未来趋势：

酒店高管薪酬地区之间差距大，国际品牌与国内品牌酒店之间差异明显。从多年前的十万年薪进入到新世纪的百万底薪外加提成，酒店行业的高管薪酬是否已经失控?近年来，国际人才市场上酒店管理人才出现供不应求，酒店管理专业是全球十大热门行业之一。目前中国是世界第四大旅游目的国，也是世界第六大旅游消费国。中国旅游业的快速发展对旅游管理人才提出了更大的需求和更高的标准。对酒店管理留学人才的迫切需求开始凸显。

心理咨询师

行业背景：

心理咨询最早出现在上世纪初，之后广泛应用于各行各业。从对正常人的指导和帮助到对心理疾病患者的心理治疗，心理咨询涉及教育辅导、心理健康咨询、婚姻家庭咨询等各个方面。近年来，国内都市化的发展和社会生活节奏的加快，让越来越多的人认识到心理健康的重要性，心理咨询师的市场也随之不断拓展。目前，国内的心理咨询收费从每小时100元至3000元不等，平均收费300元/小时，好的心理咨询师每小时的咨询费用可以达到1200元左右，但仍低于国外水准。

未来趋势：

作为高知识含量的职业，心理咨询师行业一直存在很大缺口。据统计，全国学习或接受心理咨询师培训的人数约为100万人，只有不到5%从事心理咨询工作。在上海，每年有1500人参加国家二级、三级心理咨询师专业培训，总计已有2.5万人取得了国家心理咨询职业证书。但与巨大的心理咨询服务需求相比，合格的专业人员和机构仍严重匮乏。

公共营养师

行业背景：

面对当前社会60%的亚健康，10%的病人和国家的全民营养干预，这样一个13亿的高附加值吃饭市场--你们准备好了吗?因为缺乏营养指导，膳食营养搭配不合理，造成近三成广州人患肥胖症，三成中小学生营养缺乏，广州女性则普遍缺铁严重。营养学是一门学问，专门研究营养搭配、营养互补和营养平衡等。如何做到科学合理调配饮食以促进身体健康，减少各种慢性疾病的发生是目前摆在我们面前的实际问题，我国是营养不良问题比较严重和复杂的国家，而营养师是应社会、市场的需要而产生的职业技能人才。

未来趋势：

公共营养师是国家人力资源和社会保障部颁布的2005年3季度第4批新职业之一。是应社会、市场的需要而产生的职业技能人才，指接受专业知识技能培训，通过国家职业资格考试认证，取得从业资格。对此国家还就有关营养师行业做出了相关政策措施，以提高在未来国内人民的健康发展。公共营养师在美国每小时的收入可达150美元左右，而在刚刚起步的中国，一般每小时的收入为200-1000之上，优秀的营养师年薪大约都在15万之上，在今后发展中将会更加的受欢迎，青睐。

⑦ 大数据有哪些误区

误区1、大数据学习技术驱动论：大数据的核心目标是数据驱动的智能化，要内解决具体的问题，学习之容前要明确问题，理解问题，所谓问题导向、目标导向，这个明确之后再研究和选择合适的技术加以应用，这样才有针对性。大数据学习应该是业务驱动。

误区2、大数据学习重复造轮子：IT前沿领域的开源化已成不可逆转的趋势，Android开源让智能手机平民化，让我们跨入了移动互联网时代，智能硬件开源将带领跨入物联网时代，以Hadoop和Spark为代表的大数据开源生态加速了去IOE（IBM、ORACLE、EMC）进程，倒逼传统IT巨头拥抱开源，谷歌和OpenAI联盟的深度学习开源（以Tensorflow,Torch,Caffe等为代表）正在加速人工智能技术的发展。所以大数据学习要善用开源。

误区3、大数据学习求大求全：大数据技术庞大复杂，我们的精力很有限，短时间内很难掌握多个领域的大数据理论和技术，学习过程中应要把握好碎片化和系统性的关系。大数据学习要以点带面。

⑧ 结合案例说明，利用大数据为prada带来什么好处

有一个有趣的故事是关于奢侈品营销的。PRADA在旗舰店中每件衣服上专都有RFID码。每属当一个顾客拿起一件PRADA进试衣间，RFID会被自动识别。同时，数据会传至PRADA总部。每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间，数据都被存储起来加以分析。如果有一件衣服销量很低，以往的作法是直接干掉。但如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多。那就能另外说明一些问题。也许这件衣服的下场就会截然不同，也许在某个细节的微小改变就会重新创造出一件非常流行的产品。

⑨ 再谈大数据行业里的两大误区

再谈大数据行业里的两大误区

大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种论坛、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫“街词”，不跟风说两句“大数据长，大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲，大数据这个“圈”太乱了，一点不比“贵圈”好。
先从概念上来说，大数据是什么？其实数据处理从人类诞生时期就有了，古人结绳记事就是基本的统计，统计自己吃了几顿饭打了几次猎等等；再往近说，皇帝每晚翻嫔妃的牌子也是数据处理，在翻牌子之前，要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标；更近的说，数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说，大数据并不新鲜，只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段，顺应这些技术炒出来的概念，但是这些概念都基于一个基本的理念“开源”，这个理念是之前任何阶段都没有过，可以节省费用提高效率，所以大家才都往这个行业里扔火柴（话说现在很多人跟风乱吵，个人认为也不是坏事）。误区一：只有搞大数据技术开发的，才是真正“圈内人”。笔者曾经参加过若干会议，70%是偏技术的，在场的都是国内各个数据相关项目经理和技术带头人，大家讨论的话题都是在升级CDH版本的时候有什么问题，在处理Hive作业的时候哪种方式更好，在Storm、Kafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会者都一个态度：不懂大数据技术的人没资格评论大数据，您要不懂Hadoop 2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka采集就别参加这个会！对了，最近Google完全抛弃MR只用Dataflow了，您懂吗？不懂滚粗！在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人，用什么按摩手法进行全流程治疗，就不叫大数据分析了吗？技术发展到什么程度，只有一小部分是由科学家追求极致的精神驱动，大部分原因是因为业务发展到一定程度，要求技术必须做出进步才能达成目标的。所以，真正的大数据“圈内人”至少要包含以下几种人：一、业务运营人员。比如互联网的产品经理要求技术人员，必须在用户到达网站的时候就算出他今天的心情指数，而且要实现动态监测，这时候只能用Storm或者Spark来处理了；比如电信运营商要求做到实时营销，用户进入营业厅的时候，必须马上推送短信给用户，提示他本营业厅有一个特别适合他的相亲对象（呈现身高、三围、体重等指标），但是见面前要先购买4G手机；再比如病人来到银行开户，银行了解到用户最近1周曾经去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员，往往是驱动技术进步的核心原因。二、架构师。架构师有多么重要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里讨论问题的时候，工程师往往想着用什么样的代码能马上让他闭嘴，而架构师往往会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的若干问题，按照我这个方案来，可以解决后续的若干问题！”一个非技术企业的IT系统水平，往往有70%以上的标准掌握在架构设计人员手里，尽快很多优秀的架构师都是从工程师慢慢发展学习而来的，IT架构的重要性，很多企业都意识到了，这就是很多企业有CTO和CIO两个职位，同样重要！架构之美，当IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼中，IT开发一定要架构现行，开发在后！三、投资人。老板，不用说了，老板给你吃穿，你给老板卖命，天生的基础资料提供者，老板说要有山便有了山，老板说要做实时数据处理分析，便有了Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark……四、科学家。他们是别人眼中的Geek，他们是别人眼中的高大上，他们是类似于霍金一样的神秘的早出晚归昼伏夜出的眼睛男女，他们是驱动世界技术进步的核心力量。除了世界顶级的IT公司（往往世界技术方向掌握在他们手中），其他公司一般需要1-2个科学家足以，他们是真正投身于科学的人，不要让他们去考虑业务场景，不要让他们去考虑业务流程，不要让他们去计算成本，不要让他们去考虑项目进度，他们唯一需要考虑的就是如何在某个指标上击败对手，在某个指标上提高0.1%已经让他们可以连续奋战，不眠不休，让我们都为这些科学家喝彩和欢呼吧。在中国，我认为真正的大数据科学家不超过百人……五、工程师。工程师是这样一群可爱的人，他们年轻，冲动，有理想，又被人尊称为“屌丝”“键盘党”，他们孜孜不倦的为自己的理想而拼搏，每次自己取得一点点进步的时候，都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感，自负，从来不屑于和业务人员去争论。工程师和科学家的不同点在于，工程师需要频繁改动代码，频繁测试程序，频繁上线，但是最后的系统是由若干工程师的代码组合起来的。每个自负的工程师看到系统的历史代码都会鄙视的发出一声“哼，这垃圾代码”，之后便投入到被后人继续鄙视的代码编写工作中去。六、跟风者。他们中有些是培训师，有些是杀马特洗剪吹，有些是煤老板有些是失足少女。他们的特点就是炒，和炒房者唯一不同的就是，他们不用付出金钱，他们认为只要和数据沾边就叫大数据，他们有些人甚至从来没碰过IT系统，他们是浑水摸鱼、滥竽充数的高手，他们是被前几种人鄙视的隐形人。不过我想说，欢迎来炒，一个行业炒的越凶，真正有价值的人就更能发挥自己的作用。误区二：只有大数据才能拯救世界大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP（Online Analytical System），从技术角度来说，包含我总结的两条腿：一条腿是批量数据处理（包括MR、MPP等），另一条腿实时数据流处理（Storm、内存数据库等）。在此基础上，部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框架是，一方面以Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理，把按照业务逻辑处理完的数据直接送入到应用数据库中；另一方面以Storm流处理引擎处理实时的数据，根据业务营销的规则触发相应的营销场景。同时，用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。以上描述可以看出，大数据说白了就是还没有进入真正的交易系统，没有在OLTP（Online Transaction system）方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起，我认为大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组织架构都是重要因素。最后还想说，大数据处理技术，再炫如Google的Dataflow或成熟如Hadoop 2.0、数据仓库、Storm等，本质上都是数据加工工具，对于很多工程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务应用而言的，一个炫词对于业务如果没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求，否则技术只会妨碍业务和生产力的发展。
随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今天你可能是科学家，明天就会变成架构师，今天的工程师也会变成几年后的科学家，部分人还终将步入跟风者的行列。误区三：数据量特别大才叫大数据在“数据界”存在这样有一波人，他们认为“只有Peta级以上的才叫大数据，甚至到了Zeta以上才叫大数据，目前还没有到真正的大数据时代！”，每次听到这样的话，我就知道这些人受IOE某巨头的4V理论中的“容量”影响太巨大了。对此，我想说的第一句话是“尽信书不如无书，尽信巨头不如去IOE”，去IOE不只是要从硬件做起，还要从思想上敢于挑战巨头做起，尽管很多IT界的经典理论都是传统巨头提出的，但是随着挑战者的出现，萌发了新的思想和技术后，传统巨头会被慢慢颠覆，这也是我们人类前进向前的一个重要因素。如果我们还停留在迷信巨头的时代，如此刻板教条的去追求一个概念，那么就不会有现在的Hadoop，不会有现在的Spark，不会有现在的特斯拉，不会有机器学习人工智能，更不会有未来的第N次工业革命。首先我想强调，大数据技术真的不是一个新鲜词，在之前的文章中我已经说过，大数据的本质还是数据，数据这个行业已经发展了若干年，而数据量的规模永远是超出该时代的想象的，比如十几年前，一张软盘的数据量也就1.44M，当时的数据如果达到1T都让旁人咂舌。那么按数据量的标准，当时如果有人收集了1T数据就已经进入大数据时代了吗？显然不是！所以我想说，数据量的大小并不是衡量大数据的标准，如果按数据量去判断是否大数据的话，那么“大数据”这个词真的是一个伪命题，就如同“老虎比如是老的，小伙必须是小的，巨头必须是脑袋大的，飞人必须是长翅膀的”这种纯粹字面意思去定义的话题一样。那么再回过来说，大数据的概念是什么？首先，大数据是一个完整的生态体系，从数据的产生、采集、加工、汇总、展现、挖掘、推送等方面形成了一个闭环的价值链，并且通过每个环节的多种技术处理后，为所在业务场景提供有价值的应用和服务。其次，大数据的核心是什么？一方面是开源，一方面是节流，目前大数据技术的核心目标都是通过低成本的技术更好的满足对数据的需求（尤其是处理近年来更多的非结构化数据），并在在满足需求的基础上尽可能多的为企业节省投资。说一千道一万，大数据的核心理念还是满足应用需求，有明确目标的技术叫生产力，没有业务目标的技术叫“浪费生命力”。误区四：为了大数据而大数据这个误区我认为是目前最严重的。在部分企业中，追求技术一定要最新、最好、最炫，一定要拿到国际先进、世界一流才行。所有的企业，不分行业不分性质不分地域不分年代，一律高喊“赶超BAT，大数据助力**企业达到**目标”，接下来就是先去IOE，然后投资买集群，把之前的各种高性能小型机大型机都不用了，之前买的O记授权全部停了，之前的几十年投资一夜之间作废，又投入了更多的资源去追赶“大数据”。同学们，这种劳民伤财的事情相信大家每天都会听到或者亲眼看到，很多企业不计成本就是为了博领导一笑，这得是多么大的误区啊。对此我想说：第一，从技术上来说，比如BAT或者很多互联网企业去追求大数据，是因为业务发展的需要。任何一个互联网企业一出生就是为了流量和点击而活着，这就意味这大量的非结构化数据需要进行快速处理，这时候就决定了互联网企业只能通过一些并发手段去分解底层的数据，然后进行快速加工，并满足其服务用户和市场的需要。互联网企业的业务流程和业务模型就决定了必须得采用大数据技术。反之，很多企业根本用不着这些技术，有些企业简单的一两个Excel文件里面做几个公式就可以满足它的发展，而且数据的周期还是按月处理的，根本不需要运用这些技术。第二，从投资上来说，互联网企业出生都是平民，根本买不起大型设备，就算一夜暴富后，也没有一个传统的小型机大型机可以更好的满足它们的发展，故只能另辟蹊径创造价值链和标准了，在之前的低投资、轻量级架构上，不断进行小量的线性硬件投资满足业务的发展。反倒是一些传统企业，甚至是巨无霸，其投资计划已经在一年前明确，而且在原来的基础上投资会更有ROI（投资回报率），现在反倒为了追求大数据的口号，牺牲了之前的大量投资，除了“得不偿失”，剩下的只能是满地的节操了。大数据技术甚至任何一种技术都是为了满足特定的业务目标而生的，在具备了明确的业务目的后，顺势设计符合自身业务架构的技术架构，才是一种科学的健康的发展观。如果您是一位老板、CEO或者投资人，千万要明白，大数据技术对于企业来说，有时候像水，而企业的业务目标就是那艘船，“水能载舟，亦能覆舟”。随着生产关系的不断调整，又会出现若干轮生产力的不断进步，大数据之后的技术也会日新月异的进步着，比如现在开始潮流涌现的“机器学习、深度学习”等诸多的人工智能方面的技术，也出现了比如“小数据”、“微数据”等更细方向技术的细分，在技术的洪流到来时，只要保持清晰的以满足业务为导向的头脑，根据自身的业务需要设计自身的技术架构，就不会被各种流派，各种概念淹没。

⑩ 去IOE是什么意思

较为出名的“去IOE”事件要追溯到去年5月份——阿里巴巴首先发动了“去IOE”运动。

IBM是服务器提供商，Oracle是数据库软件提供商，EMC则是存储设备提供商，三者构成了一个从软件到硬件的企业数据库系统。由这三驾马车构成的数据库系统几乎占领了全球大部分商用数据库系统市场份额。除阿里巴巴这样需要大量数据运算的电商企业，其他如石油、金融行业也广泛地使用这套系统。

具体来说，阿里巴巴的“去IOE”运动就是用成本更加低廉的软件——MYSQL替代Oracle，使用PC Server替代EMC2、IBM小型机等设备，以消除“IOE”对自己数据库系统的垄断。这一行动也被业内解读为低成本化——基于“IOE”在业内的垄断，整套系统维护费用非常昂贵，仅仅Oracle系统三年的销售价格就达到八位数，而阿里旗下的用户群每年都在增长，在应用云计算的过程中，“IOE”系统并不适合云服务横向扩展，也就是多个数据库系统同时运行，因此云服务一旦扩张，这部分维护成本将非常高。

今年5月17日，最后一台小型机在阿里巴巴支付宝下线，标志着阿里已经完成去IOE化。上海财大经济学院副教授、高等研究院市场机制设计和信息经济研究中心主任李玲芳对《第一财经日报》称，阿里巴巴的“去IOE”为市场带来了一个成功的范本，证明“去IOE”是有可能的。

除了降低成本，“去IOE”化还有信息安全的说法。前有“棱镜门”事件引起了信息安全的担忧，就在两天前的8月25日，中国互联网络信息中心(CNNIC)官方微博的通告称，CN域名遭遇了规模最大的一次攻击事件。而“IOE”都属于外资企业，因而去IOE化带有一定的保护网络安全意味。