大数据应用难题

① 大数据爆发性增长 存储技术面临难题

大数据爆发性增长 存储技术面临难题

随着大数据应用的爆发性增长，大数据已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。从目前技术发展的情况来看，大数据存储技术的发展正面临着以下几个难题：

1、容量问题

这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。

“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。

2、延迟问题

“大数据”应用还存在实时性的问题。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

3、并发访问

一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

4、安全问题

某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

5、成本问题

成本问题“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。

对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

6、数据的积累

许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

7、数据的灵活性

大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

存储介质正在改变，云计算倍受青睐

存储之于安防的地位，其已经不仅是一个设备而已，而是已经升华到了一个解决方案平台的地步。作为图像数据和报警事件记录的载体，存储的重要性是不言而喻的。

安防监控应用对存储的需求是什么？首先，海量存储的需求。其次，性能的要求。第三，价格的敏感度。第四，集中管理的要求。第五，网络化要求。安防监控技术发展到今天经历了三个阶段，即：模拟化、数字化、网络化。与之相适应，监控数据存储也经历了多个阶段，即：VCR模拟数据存储、DVR数字数据存储，到现在的集中网络存储，以及发展到云存储阶段，正是在一步步迎合这种市场需求。在未来，安防监控随着高清化，网络化，智能化的不断发展，将对现有存储方案带来不断挑战，包括容量、带宽的扩展问题和管理问题。那么，基于大数据战略的海量存储系统--云存储就倍受青睐了。

基于大数据战略的安防存储优势明显

当前社会对于数据的依赖是前所未有的，数据已变成与硬资产和人同等重要的重要资料。如何存好、保护好、使用好这些海量的大数据，是安防行业面临的重要问题之一。那么基于大数据战略的安防存储其优势何在？

目前的存储市场上，原有的视频监控方案容量、带宽难以扩展。客户往往需要采购更多更高端的设备来扩充容量，提高性能，随之带来的是成本的急剧增长以及系统复杂性的激增。同时，传统的存储模式很难在完全没有业务停顿的情况下进行升级，扩容会对业务带来巨大影响。其次，传统的视频监控方案难于管理。由于视频监控系统一般规模较大，分布特征明显，大多独立管理，这样就把整个系统分割成了多个管理孤岛，相互之间通信困难，难以协调工作，以提高整体性能。除此之外，绿色、安全等也是传统视频监控方案所面临的突出问题。

基于大数据战略的云存储技术与生俱来的高扩展、易管理、高安全等特性为传统存储面临的问题带来了解决的契机。利用云存储，用户可以方便的进行容量、带宽扩展，而不必停止业务，或改变系统架构。同时，云存储还具有高安全、低成本、绿色节能等特点。基于云存储的视频监控解决方案是客户应对挑战很好的选择。王宇说，进入二十一世纪，云存储作为一种新的存储架构，已逐步走入应用阶段，云存储不仅轻松突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，这对于拥有大量数据的安防监控用户来说是一个新选择。

以英特尔推出的Hadoop分布式文件系统（HDFS）为例，其提供了一个高度容错性和高吞吐量的海量数据存储解决方案。目前已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为海量数据存储的事实标准。

随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。HDFS通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆性的发展。最重要的是，其可以满足以下特性：可自我修复的分布式文件存储系统，高可扩展性，无需停机动态扩容，高可靠性，数据自动检测和复制，高吞吐量访问，消除访问瓶颈，使用低成本存储和服务器构建。

以上是小编为大家分享的关于大数据爆发性增长 存储技术面临难题的相关内容，更多信息可以关注环球青藤分享更多干货

② 如何用大数据解决生活中的问题

1、应用于能源

随着工业化进程的加快，大量温室气体的排放，全球气候发生了变化，因此推动低碳环保显得尤为重要。将大数据技术应用到能源领域可以为低碳做出巨大贡献。低碳能源大数据主要由能源信息采集、能源分布式运行、能源数据统计分析、能源调度四个模块组成。通过这四个模块，可以科学、自动、高效地实现能源生产和能源管理，实现节能。

2、医学应用

大数据在医疗领域的应用主要是通过收集和分析大数据进行疾病的预防和治疗。患者佩戴大数据设备后，该设备可以收集有意义的数据。通过大数据分析，可以监测患者的生理状态，从而帮助医生及时、准确、有效地治疗患者。据新华网报道，大数据分析可以让我们在几分钟内解码整个DNA，找到新的治疗方法，更好地理解和预测疾病模式。

3、对于金融业来说

大数据在金融业的主要应用是金融交易。许多股权交易都是使用大数据算法进行的，大数据算法可以快速决定是否出售商品，使交易更加简洁和准确。在这个大数据时代，把握市场机遇，快速实现大数据商业模式创新显得尤为重要。

4、应用于地理信息

地理信息系统(GIS)需要及时处理相关的空间信息，以及存储的大量数据和工作任务。将大数据技术合理地应用到地理信息系统中，不仅可以及时处理地理信息，而且可以提高处理结果的准确性。

5、应用于消费

为了在未来的市场中站稳脚跟，建立大数据库，充分利用大数据技术显得尤为重要。淘宝、京东等企业将通过大数据技术自动记录用户交易数据，对用户信用进行分析和记录，形成长期庞大的数据库，为后续金融业务布局提供征信和风控数据。

6、应用于制造业

大数据影响生产力，使机器设备在应用中更加智能化、自主化，使生产过程更加简洁、准确、安全，提高生产能力。此外，大数据技术可以帮助企业了解客户的偏好，从而生产出市场需要的产品。

关于如何用大数据解决生活中的问题，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

③ 大数据急需攻克的五大世界性难题

大数据急需攻克的五大世界性难题

世界人民的健康记录：医学领域最急需的资源，人脑图谱：了解身体的各个部分如何运作，统筹世界范围内的铀原料供应：追踪武器化活动与能源供给等这些人们最关注的世界性难题，IBM、谷歌等巨头级企业已经开始对这类高难度挑战发起冲击，这很令人期待。

尽管计算性能、存储容量以及分析技术一直在不断进步，某些现实挑战对于大数据而言仍然过于庞大以至于无法应对。在今天的文章中，我们将探讨五个此类难题 ——看看如何才能将其解决。

如果大数据能够在传统领域之外进一步解决世界性难题，结果会怎么样？到目前为止，IBM、谷歌以及惠普等巨头级企业已经开始对这类高难度挑战发起冲击，其中包括分析繁忙的高速公路上到底会有多少车辆通过某条桥梁，或者计算会有多少用户查看网络浏览器中的一条小广告。谷歌公司甚至公布了一项雄心勃勃的计划，称将解决人类衰老这一历史性难题。

但仍有几大世界性难题等待着我们攻克。在某些情况下，分析所需要的数据根本无迹可寻。在其它情况下，足以应对如此庞大数据量的计算机还没有被发明出来。目前有五大课题值得我们关注。会有大数据技术企业站出来排忧解难吗？我们等待时间带来答案。

世界人民的健康记录：医学领域最急需的资源

大多数人都拥有一份电子健康记录（简称HER），不过其中的内容颇为有限——甚至只包含最近一次健康检查的基本结果。目前足以支撑全世界健康记录资料库的工具与技术已经到位。这样的全球性数据库一旦出现，制药企业就能对其进行分析以开发人民群众最急需的疫苗及药物——也就是说，根据供应链的实际需要进行优先选择。

既然前景一片光明，为什么我们还没有感受到由此带来的益处呢？这是由于目前还缺乏一套访问全球数据的可行机制。“健康记录被保存在一大堆彼此隔离的系统当中，而资料持有者没有足够的动力来分享这些信息，”分布式数据库供应商Cloudant公司联合创始人兼首席科学家 MikeMiller表示。“即使我们真的把所有数据都归拢在一起，也仍然需要通过机器学习算法及实时分析对其进行全面优化。这也正是我们目前正在努力钻研的课题。”

人脑图谱：了解身体的各个部分如何运作

人类大脑模型能够为科学研究带来巨大帮助。医生可以查看肿瘤的生长情况或者了解大脑如何通过一系列功能控制身体的其它器官。目前已经有包括欧洲人类大脑项目在内的多个科学项目尝试在未来十年之内创建出大脑模拟系统。

障碍何在？要完成这项工作，我们需要一台运算速度千倍于当前水平的超级计算机。大脑当中存在数以百万计的神经递质，而且它们彼此之间互相连通、共同数据我们所接触到的“数据”。

“这样的计算规模要求我们从传统的硅芯片领域脱离出来，迈向生物芯片时代——这是分子计算的前提条件，”曾任克林顿政府前副助理国务卿（负责运输体系技术政策）、现任霍华德大学教授的OliverG.McGee解释道。“从直观角度看，分子计算在数据管理方面的运算速度比传统硅芯片高750倍，只有这样的机制才能处理颅腹脑体系当中的关系认知奥秘。”

统筹世界范围内的铀原料供应：追踪武器化活动与能源供给

毫无疑问，在全球范围内收集任何数据都将是一项极为艰巨的任务，但追踪全球铀原料供应至少拥有其积极意义——当然，前提是所有信息碎片都能严丝合缝地被拼接在一起。

数据收集企业Connotate公司CEOKeithCooper指出，我们目前只能解决其中一部分难题，因为某些国家并没有公开其铀原料供应记录。“目前，很多铀储量丰富的国家虽然已经拥有便捷的互联网体系，但却仍然拒绝以标准化方式公布其资源流向。”幸运的是，计算宏观形势倒不太困难——毕竟将铀原料投入武器化领域的国家数量有限。

我们真正需要追踪并掌握的是全球可用铀原料当中最为宝贵的、仅占15%的浓缩铀，他解释道。“我们需要识别并追踪所有与浓缩铀相关的销售活动（通过黑市或者合法渠道）以及矿藏分布，并通过论坛、博客、监管机构及其它周边体系进行数据统计，包括各政府及非政府组织对于铀原料生产数据及开采活动的报道等。为了处理收集到的这些结果，我们还需要设计出一套智能化人机交流方案。”

全球实时犯罪数据：更加主动的警务处理能力

很多地方性执法机构已经掌握着非常丰富的犯罪数据，警务人员则可以在自己的警车内轻松访问犯罪记录数据库，从而根据犯罪嫌疑人的具体情况做出反应。

障碍何在？这些数据只包含过往的罪行，Cloudant公司的Miller表示，其中无法体现刚刚发生或者正在进行中的犯罪活动。由于无法在犯罪活动进行的过程中进行阻止，警方只能被迫采取更为被动的应对措施。

不过情况已经有所转变，Miller指出。举例来说，加利福尼亚州奥克兰市警方已经配备声学监控器用于识别枪声。技术人士将其称为 “ShotSpotter”，配合大数据分析机制即可用于追踪潜在的犯罪发生地点，警员则根据分析结论立即前往对应位置。实时犯罪数据所带来的易处并不局限于执法领域：TruliaLocal热点地图能够提供犯罪活动报告，从而帮助住房买家选择更友善、更安全的生活环境。

追踪儿童行踪：更好、更及时的AmberAlert

时至今日，我们已经拥有很多种通报失踪儿童的方式，例如美国所采用的AmberAlert系统。不过这些通告机制的最大问题在于，只能在事后发起提醒。追踪儿童位置所必要的技术已经存在，当下大部分智能手机都能通过谷歌位置报告功能将儿童的当前所在地发送给父母。与此同时，大众汽车的Car-Net以及福特汽车的MyKey应用也能在青少年驾车到达特殊地理位置时发送报告。

障碍何在？分析。数字营销企业RoundarchIsobar公司副总裁JaisonManian指出，预测技术能够助我们一臂之力。大数据厂商能够分析儿童的行为模式，当然前提是家长愿意分享相关数据。

“预测分析能够追踪儿童的日常行动模式，并在出现严重偏差时立即向父母发出警示，”他表示。只要满足警示条件，信息会被实时发出 ——这能有效阻止重大事故的发生。

以上是小编为大家分享的关于大数据急需攻克的五大世界性难题的相关内容，更多信息可以关注环球青藤分享更多干货

④ 大数据存在的安全问题有哪些

【导读】互联网时代，数据已成为公司的重要资产，许多公司会使用大数据等现代技术来收集和处理数据。大数据的应用，有助于公司改善业务运营并预测行业趋势。那么，大数据存在的安全问题有哪些呢?今天就跟随小编一起来了解下吧!

一、分布式系统

大数据解决方案将数据和操作分布在许多系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。但是这样的系统容易受到安全威胁，黑客只要攻击一个点就可以渗透整个网络。

二.数据存取

大数据系统需要访问控制来限制对敏感数据的访问，否则，任何用户都可以访问机密数据，有些用户可能会出于恶意使用。此外，网络犯罪分子可以入侵与大数据系统相连的系统，窃取敏感数据。因此，使用大数据的公司需要检查和验证每个用户的身份。

三.数据不正确

网络犯罪分子可以通过操纵存储的数据来影响大数据系统的准确性。因此，网络犯罪分子可以创建虚假数据，并将这些数据提供给大数据系统。比如医疗机构可以利用大数据系统研究患者的病历，而黑客可以修改这些数据，产生不正确的诊断结果。

四.侵犯隐私

大数据系统通常包含机密数据，这是很多人非常关心的问题。这样的大数据隐私威胁已经被全世界的专家讨论过了。此外，网络犯罪分子经常攻击大数据系统以破坏敏感数据。这种数据泄露已经成为头条新闻，导致数百万人的敏感数据被盗。

五、云安全性不足

大数据系统收集的数据通常存储在云中，这可能是一个潜在的安全威胁。网络犯罪分子破坏了许多知名公司的云数据。如果存储的数据没有加密，并且没有适当的数据安全性，就会出现这些问题。

以上就是小编今天给大家整理分享关于“大数据存在的安全问题有哪些?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。

⑤ 腾讯与清华大学牵手大数据科研，大数据研究的难题有哪些

据媒体报道，2021年5月18日腾讯与清华大学签署卫生健康大数据科研，并表示未来将紧密合作从理论、技术、政策等多维度展开创新性研究。此消息在社交平台上引起了网民们的广泛关注与讨论。

部分网民们认为，当前我们已经步入了风险社会，所谓风险社会即是预知以及不可预知的风险交织在我们的社会之中，而未来通过大数据来介入公共卫生治理定有大成效；也有部分网民认为当前的全民健康管理以及重大公共卫生挑战需要有大数据的帮助。而笔者以下想讲一下大数据研究的难题有哪些？并想针对此讲讲自己的看法。

而在信息生态方面，当前为应对在公共卫生方面的种种挑战，各部门已经正在试图建构公共卫生分析系统以预防未来的公共卫生挑战。但是其中的一个问题是如何通过大数据研究来建设一个完整且闭合的大数据信息生态。

⑥ 大数据存在哪些问题

数据存储问题：随着技术不断发展，数据量从TB上升至PB，EB量级，如果还用传统内的数据存储方式容，必将给大数据分析造成诸多不便，这就需要借助数据的动态处理技术，即随着数据的规律性变更和显示需求，对数据进行非定期的处理。同时，数量极大的数据不能直接使用传统的结构化数据库进行存储，人们需要探索一种适合大数据的数据储存模式，也是当下应该着力解决的一大难题。

分析资源调度问题：大数据产生的时间点，数据量都是很难计算的，这就是大数据的一大特点，不确定性。所以我们需要确立一种动态响应机制，对有限的计算、存储资源进行合理的配置及调度。另外，如何以最小的成本获得最理想的分析结果也是一个需要考虑的问题。

专业的分析工具：在发展数据分析技术的同时，传统的软件工具不再适用。目前人类科技尚不成熟，距离开发出能够满足大数据分析需求的通用软件还有一定距离。如若不能对这些问题做出处理，在不久的将来大数据的发展就会进入瓶颈，甚至有可能出现一段时间的滞留期，难以持续起到促进经济发展的作用。

⑦ 大数据常见问题有哪些

为什么大数据工程师被称为企业最需要的人才?

大数据是能为企业创造价值的源动力，大数据的应用能够为企业提升订单量、交易额、合理规划商业布局以及对用户进行精准营销、挖掘深层次用户，大数据工程师是最能为企业赚钱的人，最能帮助高层指定正确战略决策的人群，因此自然会收到企业的重视。

为什么大数据工程师一入职就能成为IT金领?

最主要的原因是大数据工程师可以为企业创造价值，而不是消耗企业的成本，再有就是大数据本身对人才技术层面和行业层面都有较高的要求，普通开发人员难于胜任，因此会造成入职即成为金领的现状。

为什么大数据也要学java?

整个大数据体系是构建在java平台之上的，java作为大数据平台的基础架构支持，直接决定了大数据架构的稳定性、高效性、扩展性等等，因此只有掌握底层的java核心技术，才能够保证上层建筑的稳定运行。

为什么大数据也要学Python?

在一些数据分析领域，python提供了比较多的算法库实现，并且python由于其简单性，会加快开发速度，对很多常规的任务都能够使用python来完成，而且对于非计算机人员，python是比较容易接受和上手的语言，因此python在开发中也是较常见的语言。

关于大数据常见问题有哪些，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑧ 大数据面临的技术挑战

上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。

其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。

机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？

过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。

一、数据收集

传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。

但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。

二、数据储存

仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。

三、数据处理

大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。

四、数据挖掘

如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。

五、数据安全

大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。

上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。

⑨ 大数据时代,面临的七个挑战和八大趋势

大数据时代,面临的七个挑战和八大趋势

大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。

大数据发展的挑战

目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。

挑战一：业务部门没有清晰的大数据需求

很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。

挑战二：企业内部数据孤岛严重

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。

挑战三：数据可用性低，数据质量差

很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。

挑战四：数据相关管理技术和架构

技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。

挑战五：数据安全

网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。

挑战六：大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。

挑战七：数据开放与隐私的权衡

在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

大数据发展趋势

虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。

趋势一：数据资源化，将成为最有价值的资产

随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。

趋势二：大数据在更多的传统行业的企业管理落地

一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。

趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现

来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。

趋势四：数据将越来越开放，数据共享联盟将出现

大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。

趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要

随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势六：大数据促进智慧城市发展，为智慧城市的引擎

随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。

趋势七：大数据将催生一批新的工作岗位和相应的专业

一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。

趋势八：大数据在多方位改善我们的生活

大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容，更多信息可以关注环球青藤分享更多干货

⑩ 大数据在安防领域主要有哪些应用难点在哪

一、安防大数据主要应用领域
（一）大数据是视频智能分析基础
在大数据应用时代，视频因其信息含量最高、数据量最大，分析运算最复杂而成为大数据时代采集分析传输存储应用最具挑战的国际技术难题！智能视频分析研究永无止境，分析算法必须以监控视频为资源，研究实时或历史监控视频中的目标特征提取、增强与行为分析等关键技术，才能推动监控视频应用模式从事后被动处置向事前主动预防转变。
（二）帮助实现智慧城市智能化
我国智慧城市建设面临的重大挑战之一，是城市系统之间由于标准问题无法有效集成，形成信息孤岛。因此，在大数据融合技术领域，一方面要加强大数据标准建设，另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发，为给予底层数据集成的信息共享提供标准和技术保障。大规模数据在智慧城市系统流动过程中，出于传输效率、数据质量与安全等因素的考虑，需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合，这也是目前国际产业界普遍采用的技术方案。大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。
（三）提高警务办事效率
互联网技术的飞速发展已经为构建一个大型全国性的专业报警运营服务平台提供了有力的技术支撑。通过这个报警平台，报警运营服务商手中会累积海量的用户数据，例如用户的身份信息、警情数据、消费记录、维修记录等，这些都是非常宝贵的资源。报警运营服务商可以在此基础上，应用大数据技术进行分析和挖掘，充分发挥大数据的商业价值。
公安如公安系统中的图侦技术，应用模式多样，思维活跃，围绕着“发现线索”的目的可衍生出多种的技战法，只有从这些具体的技战法中才能提炼出需求，真正告诉系统的设计者“我们要什么”。
那么，图侦里的大数据应用需要哪些？像商业大数据那样找规律的应用似乎还远了点，目前最实在的就是从海量视频数据里把有相同线索特征的图像给找出来，让干警发现出新的案件线索。至于“怎么找？”这就是由公安来提的应用模式了。因此，视频大数据的发展并不是简单的由技术厂商做主导，而是需要公安体制内既有刑侦实战经验，又有科技化功底的复合型人才，共同来参与视频大数据应用的发展。
（四）让智能家居“聪明”起来
智能家居会产生大数据，同时也是大数据的重要应用领域，不然它极有可能将停滞不前。家庭产生的大数据能让智能家居更“聪明”，但需要根据实际情况进行有效处理，而不是任何数据的“一锅端”，通过大数据与云计算技术的结合应用，智能家居系统能够第一时间对用户家庭中智能设备的数据、信息进行有效分析、记忆，并将得到的相应规律反过来应用于智能设备，提升智能家居的智能效果。
二、安防大数据应用难点
（一）数据整合问题
不同来源的大数据，分别存储于相互独立的系统中，将这些数据集中于统一的平台，是安防大数据实施的基础性工作，但行业、部门壁垒是最大障碍。即使只是公安内部的视频数据，各省、地市也互不相通，想采集集中也不是一件容易的事。即使集中后，如何找到这些不同类型数据之间的关系，从而挖掘出有价值的数据，也是难点。
（二）数据挖掘、分析算法的成熟度问题
对于安防数据中最重要的视频数据，对其进行智能视频分析和挖掘是很困难的事情。目前，除了车牌识别、人数统计等算法较为成熟外，对视频进行事件分析、人脸识别、摘要等技术都还没达到大规模的商用水平，这也极大地制约了安防大数据的实施。
（三）时效性问题
安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据(特别是视频数据)应用形式，还要增加以事前预警、实时处理，这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的要求。
（四）信息安全与用户隐私问题
安防行业，特别是公安行业对数据的安全性要求非常高，这也是造成数据的区域隔离的重要原因。同时，在利用安防大数据上，如何保护用户的隐私，也是一个非常重要的课题，目前主要采用数据脱敏的办法。当务之急就是将安防数据安全级别需要有明确的分级定义，不能一味强调安全而各自封闭，否则必将导致安防大数据分析成为无源之水。
（五）视频图像数据挖掘的难点
1.识别什么特征？一副图像或者一段视频可以有无数角度的标签属性去描述，什么才是我们需要的属性？这与我们需要得到的目的密切相关，这就需要公安图侦的人才来归纳终结。
2.识别算法开发难，由于是平面图像，因此特征的识别主要原理就是看图像区域中的轮廓、颜色、纹理与特征库进行比较。但是在同一个物体在不同监控角度的摄像头中显示出的轮廓都不相同，因此无法做到识别。
3.大规模数据处理难，即使做到了识别算法，但是如果要通过数据处理服务器的形式对大规模的视频进行结构化处理，这个建造成本巨大，其能源的耗费在中国这个夏季需要限电的情况里也不切实际。
（六）警务服务平台大数据难点：
1.如何将不同报警运营服务商之间的数据整合在一起？
2.我国多数报警运营网络尚未完成规模化建设，用户规模大、跨省市运营的网络很少，每家报警运营服务商的警情并发量不大，而且报警运营服务商之间普遍存在信息孤岛，很难通过大数据分析实现数据的增值。
3.大数据的挖掘是一个长期的过程，需要企业不断的尝试，挖掘出有意义的信息或规律，并将结果拿到市场上检验。
4.大数据自身也面临着挑战，数据的运用仍面临多种技术难关的束缚，大数据方面的人才比较缺乏，大数据的产品尚不成熟等问题都制约着大数据在报警运营服务领域的发展。
总结
针对这些问题和难点，个人就一个方面提出自己的见解，大数据的信息采集和监测。就目前来说，大数据跟互联网是一个互相关联的整体。那么，在数据挖掘方面，对论坛，贴吧，微博，微信的信息采集就变得十分必要了。数据挖掘以后，还要对数据进行筛选和处理。此时，信息的监测就发挥作用了。就目前来说，能把信息采集和信息监测结合起来，运用到实际中的企业不多，可以留意一下这家，两个字的，快乐的“乐”，思考的“思”，在这方面具备一定的积淀和实力。大数据是一个新的行业。因此要找具备一定技术的，才能应用于安防领域，并产生应有的效果。