档案大数据一座待挖掘

A. 大数据价值挖掘的三要素

大数据价值挖掘的三要素
如何充分利用大数据，挖掘大数据的商业价值，从而提升企业的竞争力，已经成为企业关注的一个焦点。
全面解决方案才能奏效
当前，越来越多企业将大数据的分析结果作为其判断未来发展的依据。同时，传统的商业预测逻辑正日益被新的大数据预测所取代。但是，我们要谨慎管理大家对大数据的期望值，因为海量数据只有在得到有效治理的前提下才能进一步发展其业务价值。
最广为人知的大数据定义是Gartner给出的大数据的3V特性：巨大的数据量（Volume）、数据的快速处理（Velocity）、多变的数据结构和类型（Variety）。根据这一定义，大家首先想到的是IT系统中一直难以处理却又不容忽视的非结构化数据。也就是说，大数据不仅要处理好交易型数据的分析，还把社交媒体、电子商务、决策支持等信息都融入进来。现在，分布式处理技术Hadoop和NoSQL已经能对非结构化数据进行存储、处理、分析和挖掘，但未能为满足客户的大数据需求提供一个全面的解决方案。
事实上，普遍意义上的大数据范围更加广泛，任何涉及海量数据及多数据源的复杂计算，均属大数据范畴，而不仅局限于非结构化数据。因此，诸如电信运营商所拥有的巨量用户的各类详细数据、手机开关机信息、手机在网注册信息、手机通话计费信息、手机上网详细日志信息、用户漫游信息、用户订阅服务信息和用户基础服务信息等，均可划归为大数据。
与几年前兴起的云计算相比，大数据实现其业务价值所要走的路或许更为长远。但是企业用户已经迫不及待，越来越多企业高层倾向于将大数据分析结果作为其商业决策的重要依据。在这种背景下，我们必须找到一种全面的大数据解决方案，不仅要解决非结构化数据的处理问题，还要将功能扩展到海量数据的存储、大数据的分布式采集和交换、海量数据的实时快速访问、统计分析与挖掘和商务智能分析等。
典型的大数据解决方案应该是具有多种能力的平台化解决方案，这些能力包括结构化数据的存储、计算、分析和挖掘，多结构化数据的存储、加工和处理，以及大数据的商务智能分析。这种解决方案在技术应具有以下四个特性：软硬集成化的大数据处理、全结构化数据处理的能力、大规模内存计算的能力、超高网络速度的访问。
软硬件集成是必然选择
我们认为，大数据解决方案的关键在于如何处理好大规模数据计算。过去，传统的前端数据库服务器、后端大存储的架构难以有效存储大规模数据并保持高性能数据处理。这时候，我们让软件和硬件更有效地集成起来进行更紧密的协作。也就是说，我们需要软硬一体化的专门设备来应对大数据的挑战。
一直以来，甲骨文公司在传统的关系型数据库领域占有绝对优势，但并未因此固步自封。面对大数据热潮，甲骨文公司根据用户的需求不断推陈出新，将在数据领域的优势从传统的关系型数据库扩展到全面的大数据解决方案，成为业界首个通过全面的、软硬件集成的产品来满足企业关键大数据需求的公司。
甲骨文公司以软硬件集成的方式提供大数据的捕获、组织、分析和决策的所有能力，为企业提供完整的集成化大数据解决方案，其中的核心产品包括Oracle大数据机、Exalytics商务智能云服务器和OracleExadata数据库云服务器。
Oracle大数据机用于多结构化大数据处理，旨在简化大数据项目的实施与管理，其数据加工结果可以通过超高带宽的InfiniBand网络连接到OracleExadata数据库云服务器中。OracleExadata可提供高效数据存储和计算能力，配备超大容量的内存和快速闪存，配合特有的软硬件优化技术，可对大数据进行高效的加工、分析和挖掘。同时，甲骨文公司在OracleExadata以及数据库软件层面提供了非常高效和便捷的高级数据分析软件，使数据能够更快、更高效地得到分析、挖掘和处理。
通过Oracle大数据机快速获得、组织大数据之后，企业还要根据对大数据全面、实时的分析结果做出科学的业务决策。OracleExalytics商务智能云服务器能以前所未有的速度运行数据分析应用，为客户提供实时、快速的可视分析。同样，它通过InfiniBand网络连接到OracleExadata上进行数据加载和读取，让大数据直接在内存中快速计算，满足大数据时代对数据分析展现的快速响应需求。OracleExalytics实现了新型分析应用，可用于异构IT环境，能存取和分析来自任何Oracle或非Oracle的关系型数据、OLAP或非结构化数据源的数据。
Oracle大数据机、OracleExalytics商务智能云服务器和OracleExadata数据库云服务器一起，组成了甲骨文最广泛、高度集成化系统产品组合，为企业提供了一个端到端的大数据解决方案，满足企业对大数据治理的所有需求。
坚持开放的战略
从当前的情况来看，在大数据应用领域，仅靠一家厂商的产品难以解决所有问题。因此对于大数据解决方案供应商来说，采用开放的策略是必然选择。甲骨文公司坚持全面、开放、集成的产品策略。这一策略在大数据领域同样适用。
这首先体现在大数据战略在技术上支持Hadoop和开源软件。除了集成化产品，甲骨文公司还拥有一系列领先技术，以帮助用户全面应对大数据应用的挑战，其中包括OracleNoSQL数据库，以及针对Hadoop架构的系列产品。
OracleNoSQL数据库专门为管理海量数据而设计，可以帮助企业存取非结构化数据，并可横向扩展至数百个高可用性节点。同时，该产品能够提供可预测的吞吐量和延迟时间，而且更加容易安装、配置和管理，支持广泛的工作负载。
而专门针对Hadoop架构的产品，能够帮助企业应对在组织和提取大数据方面所面临的挑战，包括Oracle数据集成Hadoop应用适配器、OracleHadoop装载器以及OracleSQL Connector等。
此外，OracleR Enterprise实现了R开源统计环境与Oracle数据库11g的集成，为进行更进一步的数据分析提供了一个企业就绪的、深度集成的环境。
值得一提的是，除对产品和解决方案不断投入，甲骨文公司还致力于和合作伙伴合作开发大数据解决方案。目前，几乎所有的甲骨文合作伙伴都在关注和测试大数据解决方案。甲骨文公司正积极寻找更多本地合作伙伴，为客户提供更加定制化的产品和解决方案。
总而言之，大数据已经和云计算、社交化、移动化一起，成为现阶段驱动企业IT模式变革的重要因素。Oracle大数据解决方案可以横跨IT架构的所有层面，与其他产品进行创新集成，并凭借卓越的可靠性、可扩展性和可管理性，为企业的IT发展，甚至业务发展提供理想的IT基础支持。

B. 什么是大数据亟待解决的问题

大数据分析能够帮用户发掘他们的价值，从而使其在市场竞争中处于更有利的地位，同时提升他们的市场生命力，但其在发展过程中仍有需要解决的问题，依然存在着这样那样的问题，在这些问题中我们不得不提其在隐私方面的问题。 隐私问题是大数据亟待解决的问题 大数据挖掘不但可以挖掘数字信息，同样还能够挖掘图像、文本、视频等等，如今我们甚至能够通过数据挖掘了解一个人的整天的行动，甚至能够预判一个即将要做的事情。但当我们的数据挖掘关系到公民的生活问题时就会遇到一个问题，那就是隐私。隐私问题 隐私是目前很多人都关注的问题，如今，电话推销的人几乎天天都有，这就是我们隐私被透露的结果。甚至有的犯罪分子利用从即时通讯上得到的信息，冒充孩子的家长来实施犯罪，这些都是我们需要解决的问题。 那么目前对个人隐私数据方面的保护如何呢？有，但是目前扔不完善。有的时候我们虽然将注册信息设为不公开，但是仍然会接到各种骚扰电话。所以在这方面的保护并不完善，这主要是背后一个庞大的利益集团在驱动。而且现在相关的法律法规并不完善，让个人信息在大数据时代泄露的时间比比皆是。 法律框架的搭建远远赶不上新技术的发展，各国对个人隐私也界定不一，为此Facebook还专门设立了首席隐私官这个职位。但是目前的措施并不能够完全保护个人隐私的安全，个人在大数据时代似乎总是站在被分析的地位。隐私问题是大数据亟待解决的问题。

C. 什么是大数据，什么又是数据挖掘

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。大数据需要特殊的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”
从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

搜索下各种网络，上面都有。说白了，就是数据量非常庞大。这确实是近几年的热点问题。

D. 大数据时代背景下的档案管理分析

大数据时代背景下的档案管理分析
在大数据时代的发展进程中，应该将大数据的价值积极的展现出来，所以相应的管理模式需要加以进一步的变革。应该将相应的管理模式加以进一步的转变，积极的采用大数据技术实现档案数据信息的相互关联，这样才能更好的实现档案资源的共享。相关的档案管理部门也应该做相互协调的工作，将档案数字资源中所蕴含的潜在价值充分的体现出来，这样才能实现进一步的整合。传统的档案管理部门中，供给式的模式占据重要位置，而在新时期的发展下，这一思维模式应该加以进一步的转变，从用户面临的问题入手，为人们的行为决策提供有益指导。以解决用户所面临的问题为目标整合档案数字资源，构建起以社会利用需求为导向的档案数字资源体系，不断提高档案服务与用户需求之间的匹配程度。
构建适应大数据要求的档案数字资源。以云计算为例，它适应了大数据时代分布式存储与海量数据并行处理的需要，实现了计算机资源的服务化，是大数据时代档案数字资源整合的基础平台和支撑技术。首先，各档案部门应根据国家统一规划以及自身基础设施建设与档案数据库资源匹配程度的具体情况，灵活选择适合的云部署方案。对于那些处在档案数字资源整合关键节点的部门应架设私有云，以动态申请公有云的方式弥补自身计算能力、存储空间等的不足。其次，云计算能统一各应用环境之间的业务逻辑、组织结构和表达方式等，消除信息孤岛，从而建立集成的档案数字资源管理平台，促成档案数字资源深层次整合与知识开发的实现。再次，云计算能实现对档案应用的整合，并以服?盏男问较蛴没Х⒉迹煌?时支持用户利用各种终端设备随时随地访问所需的云服务。这些都将在最大程度上发挥档案数字资源整合的优势，提高档案服务的效率和便捷性。
加强大数据时代档案数字资源整合的安全保障体系建设。首先，应建立IAM（身份和访问管理）和隐私保护系统，实现统一身份认证与访问权限控制，达到用户安全集成管理的目标，有效应对档案数字资源整合与大数据应用过程中的安全风险。其次，通过数据加密技术保护档案信息安全。通过SSL（Secure Sockets Layer，安全套接层协议层）加密，实现在数据集的节点和应用程序之间移动保护大数据。再次，综合运用大数据技术手段与安全保密制度，加强对重点领域档案数据的日常监管，有效应对档案数据聚集性与档案利用需求无序性造成的档案泄密风险。最后，实时开展档案数字资源异地异质备份工作，提高系统容灾能力。
最后，还要组建一支具有大数据素质的档案从业者队伍。大数据环境下，档案从业者应加强自身素质建设，在档案数字资源整合中承担起业务专家的重任，成为档案数字资源的提供者、组织者和导航者。作为档案数字资源的提供者，就要求档案从业者具有过硬的档案专业知识与技能，能正确预判大数据给本单位数据处理各环节带来的风险构成，给出基于档案专业的解决方案，从而确保档案数字资源的真实、完整与安全，最大限度地满足档案数字资源整合的需要，保证档案价值的实现。

E. 大数据的七大核心应用价值

大数据的七大核心应用价值

随着移动互联网的飞速发展，信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命，毋庸置疑，大数据市场是待挖掘的金矿，其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。
大数据可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商融入到一个大的环境中，无论是企业级市场还是消费级市场，亦或政府公共服务，都正或将要与大数据发生千丝万缕的联系。
近期有不少文章畅谈大数据的价值，以及其价值主要凸显在哪些方面，这里我们对大数据的核心具体价值进行了分门别类的梳理汇总，希望能帮助读者更好的获悉大数据的大价值。

核心价值究其用户到底是谁？
谈及价值，首先必须要弄清楚其用户到底是谁？有针对企业数据市场的，还有针对终端消费者的，还有针对政府公共服务的；其次要弄清楚大数据核心价值的表现形式、价值的体现过程以及最后呈现的结果。
商业的发展天生就依赖于大量的数据分析来做决策，对于企业用户，更关心的还是决策需求，其实早在BI时代这就被推上了日程，经过十余年的探索，如今已形成了数据管理、数据可视化等细分领域，来加强对决策者的影响，达到决策支持的效果。还有企业营销需求，从本质上来说，主要聚焦在针对消费者市场的精准营销。
对于消费者用户，他们对大数据的需求主要体现在信息能按需搜索，并能提供友好、可信的信息推荐，其次是提供高阶服务，例如智能信息的提供、用户体验更快捷等等。
还有，大数据也不断被应用到政府日常管理和为民服务中，并成为推动政府政务公开、完善服务、依法行政的重要力量。从户籍制度改革，到不动产登记制度改革，再到征信体系建设等等都对数据库建设提出了更高的目标要求，而此时的数据库更是以大数据为基础的，可见，大数据已成为政府改革和转型的技术支撑杠杆。
数据，除了它第一次被使用时提供的价值以外，那些积累下来的数据海洋并不是无用的废物，它还有着无穷无尽的“剩余价值”，关于这一点，人们已经有了越来越多的认识。事实上，大数据已经开始并将继续影响我们的生活，接下来让我们共同探索大数据的核心价值吧！当然这是需要借助于一些具体的应用模式和场景才能得到集中体现的。
《大数据时代》一书作者维克托认为大数据时代有三大转变：“第一，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不是依赖于随机采样。更高的精确性可使我们发现更多的细节。第二，研究数据如此之多，以至于我们不再热衷于追求精确度。适当忽略微观层面的精确度，将带来更好的洞察力和更大的商业利益。第三，不再热衷于寻找因果关系，而是事物之间的相关关系。例如，不去探究机票价格变动的原因，但是关注买机票的最佳时机。”大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。
随着大数据的发展，企业也越来越重视数据相关的开发和应用，从而获取更多的市场机会。
一方面，大数据能够明显提升企业数据的准确性和及时性；此外还能够降低企业的交易摩擦成本；更为关键的是，大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会，最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力，大幅提升企业的商业决策水平，降低了企业经营的风险。
一、大数据助企业挖掘市场机会探寻细分市场
大数据能够帮助企业分析大量数据而进一步挖掘市场机会和细分市场，然后对每个群体量体裁衣般的采取独特的行动。获得好的产品概念和创意，关键在于我们到底如何去搜集消费者相关的信息，如何获得趋势，挖掘出人们头脑中未来会可能消费的产品概念。用创新的方法解构消费者的生活方式，剖析消费者的生活密码，才能让吻合消费者未来生活方式的产品研发不再成为问题，如果你了解了消费者的密码，就知道其潜藏在背后的真正需求。大数据分析是发现新客户群体、确定最优供应商、创新产品、理解销售季节性等问题的最好方法。
在数字革命的背景下，对企业营销者的挑战是从如何找到企业产品需求的人到如何找到这些人在不同时间和空间中的需求；从过去以单一或分散的方式去形成和这群人的沟通信息和沟通方式，到现在如何和这群人即时沟通、即时响应、即时解决他们的需求，同时在产品和消费者的买卖关系以外，建立更深层次的伙伴间的互信、双赢和可信赖的关系。
大数据进行高密度分析，能够明显提升企业数据的准确性和及时性；大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会，最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力，大幅提升企业的商业决策水平。因此，大数据有利于企业发掘和开拓新的市场机会；有利于企业将各种资源合理利用到目标市场；有利于制定精准的经销策略；有利于调整市场的营销策略，大大降低企业经营的风险。
企业利用用户在互联网上的访问行为偏好能为每个用户勾勒出一副“数字剪影”，为具有相似特征的用户组提供精确服务满足用户需求，甚至为每个客户量身定制。这一变革将大大缩减企业产品与最终用户的沟通成本。例如：一家航空公司对从未乘过飞机的人很感兴趣（细分标准是顾客的体验）。而从未乘过飞机的人又可以细分为害怕飞机的人，对乘飞机无所谓的人以及对乘飞机持肯定态度的人（细分标准是态度）。在持肯定态度的人中，又包括高收入有能力乘飞机的人（细分标准是收入能力）。于是这家航空公司就把力量集中在开拓那些对乘飞机持肯定态度，只是还没有乘过飞机的高收入群体。通过对这些人进行量身定制、精准营销取得了很好的效果。
二、大数据提高决策能力
当前，企业管理者还是更多依赖个人经验和直觉做决策，而不是基于数据。在信息有限、获取成本高昂，而且没有被数字化的时代，让身居高位的人做决策是情有可原的，但是大数据时代，就必须要让数据说话。
大数据能够有效的帮助各个行业用户做出更为准确的商业决策，从而实现更大的商业价值，它从诞生开始就是站在决策的角度出发。虽然不同行业的业务不同，所产生的数据及其所支撑的管理形态也千差万别，但从数据的获取，数据的整合，数据的加工，数据的综合应用，数据的服务和推广，数据处理的生命线流程来分析，所有行业的模式是一致的。
这种基于大数据决策的特点是：一是量变到质变，由于数据被广泛挖掘，决策所依据的信息完整性越来越高，有信息的理性决策在迅速扩大，拍脑袋的盲目决策在急剧缩小。二是决策技术含量、知识含量大幅度提高。由于云计算出现，人类没有被海量数据所淹没，能够高效率驾御海量数据，生产有价值的决策信息。三是大数据决策催生了很多过去难以想象的重大解决方案。如某些药物的疗效和毒副作用，无法通过技术和简单样本验证，需要几十年海量病历数据分析得出结果；做宏观经济计量模型，需要获得所有企业、居民以及政府的决策和行为海量数据，才能得出减税政策最佳方案；反腐倡廉，人类几千年历史都没解决，最近通过微博和人肉搜索，贪官在大数据的海洋中无处可藏，人们看到根治的希望等等。
如果在不同行业的业务和管理层之间，增加数据资源体系，通过数据资源体系的数据加工，把今天的数据和历史数据对接，把现在的数据和领导和企业机构关心的指标关联起来，把面向业务的数据转换成面向管理的数据，辅助于领导层的决策，真正实现了从数据到知识的转变，这样的数据资源体系是非常适合管理和决策使用的。
在宏观层面，大数据使经济决策部门可以更敏锐地把握经济走向，制定并实施科学的经济政策；而在微观方面，大数据可以提高企业经营决策水平和效率，推动创新，给企业、行业领域带来价值。
三、大数据创新企业管理模式，挖掘管理潜力
当下，有多少企业还会要求员工像士兵一样无条件服从上级的指示？还在通过大量的中层管理者来承担管理下属和传递信息的职责？还在禁止员工之间谈论薪酬等信息？《华尔街日报》曾有一篇文章就说，NO。这一切已经过时了，严格控制，内部猜测和小道消息无疑更会降低企业效率。一个管理学者曾经将企业内部关系比喻为成本和消耗中心，如果内部都难以协作或者有效降低管理成本和消耗，你又如何指望在今天瞬息万变的市场和竞争环境下生存、创新和发展呢？
我们试着想想，当购物、教育、医疗都已经要求在大数据、移动网络支持下的个性化的时代，创新已经成为企业的生命之源，我们还有什么理由还要求企业员工遵循工业时代的规则，强调那种命令式集中管理、封闭的层级体系和决策体制吗？当个体的人都可以通过佩戴各种传感器，搜集各种来自身体的信号来判断健康状态，那样企业也同样需要配备这样的传感系统，来实时判断其健康状态的变化情况。
今天信息时代机器的性能，更多决定于芯片，大脑的存储和处理能力，程序的有效性。因而管理从注重系统大小、完善和配合，到注重人，或者脑力的运用，信息流程和创造性，以及职工个性满足、创造力的激发。
在企业管理的核心因素中，大数据技术与其高度契合。管理最核心的因素之一是信息搜集与传递，而大数据的内涵和实质在于大数据内部信息的关联、挖掘，由此发现新知识、创造新价值。两者在这一特征上具有高度契合性，甚至可以标称大数据就是企业管理的又一种工具。因为对于任何企业，信息即财富，从企业战略着眼，利用大数据，充分发挥其辅助决策的潜力，可以更好地服务企业发展战略。
大数据时代，数据在各行各业渗透着，并渐渐成为企业的战略资产。数据分析挖掘不仅本身能帮企业降低成本：比如库存或物流，改善产品和决策流程，寻找到并更好的维护客户，还可以通过挖掘业务流程各环节的中间数据和结果数据，发现流程中的瓶颈因素，找到改善流程效率，降低成本的关键点，从而优化流程，提高服务水平。大数据成果在各相关部门传递分享，还可以提高整个管理链条和产业链条的投入回报率。
四、大数据变革商业模式催生产品和服务的创新
在大数据时代，以利用数据价值为核心，新型商业模式正在不断涌现。能够把握市场机遇、迅速实现大数据商业模式创新的企业，将在IT发展史上书写出新的传奇。
大数据让企业能够创造新产品和服务，改善现有产品和服务，以及发明全新的业务模式。回顾IT历史，似乎每一轮IT概念和技术的变革，都伴随着新商业模式的产生。如个人电脑时代微软凭借操作系统获取了巨大财富，互联网时代谷歌抓住了互联网广告的机遇，移动互联网时代苹果则通过终端产品的销售和应用商店获取了高额利润。
纵观国内，以金融业务模式为例，阿里金融基于海量的客户信用数据和行为数据，建立了网络数据模型和一套信用体系，打破了传统的金融模式，使贷款不再需要抵押品和担保，而仅依赖于数据，使企业能够迅速获得所需要的资金。阿里金融的大数据应用和业务创新，变革了传统的商业模式，对传统银行业带来了挑战。
还有，大数据技术可以有效的帮助企业整合、挖掘、分析其所掌握的庞大数据信息，构建系统化的数据体系，从而完善企业自身的结构和管理机制；同时，伴随消费者个性化需求的增长，大数据在各个领域的应用开始逐步显现，已经开始并正在改变着大多数企业的发展途径及商业模式。如大数据可以完善基于柔性制造技术的个性化定制生产路径，推动制造业企业的升级改造；依托大数据技术可以建立现代物流体系，其效率远超传统物流企业；利用大数据技术可多维度评价企业信用，提高金融业资金使用率，改变传统金融企业的运营模式等。
过去，小企业想把商品卖到国外要经过国内出口商、国外进口商、批发商、商场，最终才能到达用户手中，而现在，通过大数据平台可以直接从工厂送达到用户手中，交易成本只是过去的十分之一。以我们熟悉的网购平台淘宝为例，每天有数以万计的交易在淘宝上进行，与此同时相应的交易时间、商品价格、购买数量会被记录，更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。运用匹配的数据，淘宝可以进行更优化的店铺排名和用户推荐；商家可以根据以往的销售信息和淘宝指数进行指导产品供应、生产和设计，经营活动成本和收益实现了可视化，大大降低了风险，赚取更多的钱；而与此同时，更多的消费者也能以更优惠的价格买到了更心仪的产品。
维克托曾预言2020年，大数据时代就会真正来临。在那个时候，最经常会用到的应用就是个性化生活所需要的，尤其是智能手机的应用。
五、大数据让每个人更加有个性
对个体而言，大数据可以为个人提供个性化的医疗服务。比如，我们的身体功能可能会通过手机、移动网络进行监控，一旦有什么感染，或身体有什么不适，我们都可以通过手机得到警示，接着信息会和手机库进行对接或者咨询相关专家，从而获得正确的用药和其他治疗。
过去我们去看病，医生只能对我们的当下身体情况做出判断，而在大数据的帮助下，将来的诊疗可以对一个患者的累计历史数据进行分析，并结合遗传变异、对特定疾病的易感性和对特殊药物的反应等关系，实现个性化的医疗。还可以在患者发生疾病症状前，提供早期的检测和诊断。早期发现和治疗可以显著降低肺癌给卫生系统造成的负担，因为早期的手术费用是后期治疗费用的一半。
还有，在传统的教育模式下，分数就是一切，一个班上几十个人，使用同样的教材，同一个老师上课，课后布置同样的作业。然而，学生是千差万别的，在这个模式下，不可能真正做到“因材施教”。
如一个学生考了90分，这个分数仅仅是一个数字，它能代表什么呢？90分背后是家庭背景、努力程度、学习态度、智力水平等，把它们和90分联系在一起，这就成了数据。大数据因其数据来源的广度，有能力去关注每一个个体学生的微观表现：如他在什么时候开始看书，在什么样的讲课方式下效果最好，在什么时候学习什么科目效果最好，在不同类型的题目上停留多久等等。当然，这些数据对其他个体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过程性的：课堂的过程，作业的情况，师生或同学的互动情景……而最有价值的是，这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活，因此它的采集也非常的自然、真实。
在大数据的支持下，教育将呈现另外的特征：弹性学制、个性化辅导、社区和家庭学习、每个人的成功……大数据支撑下的教育，就是要根据每一个人的特点，释放每一个人本来就有的学习能力和天分。
此外，维克托还建议中国政府要进一步补录数据库。政府以前提供财政补贴，现在可以提供数据库，打造创意服务。在美国就有完全基于政府提供的数据库，如为企业提供机场、高速公路的数据，提供航班可能发生延误的概率，这种服务这可以帮助个人、消费者更好地预测行程，这种类型的创新，就得益于公共的大数据。
六、智慧驱动下的和谐社会
美国作为全球大数据领域的先行者，在运用大数据手段提升社会治理水平、维护社会和谐稳定方面已先行实践并取得显着成效。
近年来，在国内，“智慧城市”建设也在如火如荼的开展。截止去年底，我国的国家智慧城市试点已达193个，而公开宣布建设智慧城市的城市超过400个。智慧城市的概念包含了智能安防、智能电网、智慧交通、智慧医疗、智慧环保等多领域的应用，而这些都要依托于大数据，可以说大数据是“智慧”的源泉。
在治安领域，大数据已用于信息的监控管理与实时分析、犯罪模式分析与犯罪趋势预测，北京、临沂等市已经开始实践利用大数据技术进行研判分析，打击犯罪。
在交通领域，大数据可通过对公交地铁刷卡、停车收费站、视频摄像头等信息的收集，分析预测出行交通规律，指导公交线路的设计、调整车辆派遣密度，进行车流指挥控制，及时做到梳理拥堵，合理缓解城市交通负担。
在医疗领域，部分省市正在实施病历档案的数字化，配合临床医疗数据与病人体征数据的收集分析，可以用于远程诊疗、医疗研发，甚至可以结合保险数据分析用于商业及公共政策制定等等。
伴随着智慧城市建设的火热进行，政府大数据应用已进入实质性的建设阶段，有效拉动了大数据的市场需求，带动了当地大数据产业的发展，大数据在各个领域的应用价值已得到初显。
七、大数据如何预言未来？
著名的玛雅预言，尽管背后有着一定的天文知识基础，但除催生了一部很火的电影《2012》外，其实很多人的生活尚未受到太大的影响。现在基于人类地球上的各种能源存量，以及大气受污染、冰川融化的程度，我们获取真的可以推算出按照目前这种工业生产、生活的方式，人类在地球上可以存活的年数。《第三次工业革命》中对这方面有很深入的解释，基于精准预测，发现现有模式是死路一条后，人类就可以进行一些改变，这其实就是一种系统优化。
这种结合之前情景研究，不断进行系统优化的过程，将赋予系统生命力，而大数据就是其中的血液和神经系统。通过对大数据的深入挖掘，我们将会了解系统的不同机体是如何相互协调运作的，同样也可以通过对他们的了解去控制机体的下一个操作，甚至长远的维护和优化。从这个角度讲，基于网络的大数据可以看作是人类社会的神经中枢，因为有了网络和大数据人类社会才开始灵活起来，而不像以前那么死板。基于大数据，个体之间相互连接有了基础，相互的交互过程得到了简化，各种交易的成本减少很多。厂家等服务提供方可以基于大数据研发出更符合消费者需求的服务，机构内部的管理也更为细致，有了血液和神经系统的社会才真的拥有生命活力。
结语
透过以上这些行业典型的大数据应用案例和场景，不难悟出大数据的典型的核心价值。大数据是看待现实的新角度，不仅改变了市场营销、生产制造，同时也改变了商业模式。数据本身就是价值来源，这也就意味着新的商业机会，没有哪一个行业能对大数据产生免疫能力，适应大数据才能在这场变革中继续生存下去。
当下，正处于数据大爆发的时代，如何获取这些数据并对这些数据进行有效分析就显得尤为重要。各种企业机构之间的竞争非常残酷。如何基于以往的运行数据，对未来的运行模式进行预测，从而提前进行准备或者加以利用、调整，对很多企业机构其实是一种生死存亡的问题。这样一种情况同样适用于国家级别。正因为这一点，目前无论是在企业级别还是国家级别都开始研究、部署大数据。
可见，大数据应用已经凸显出了巨大的商业价值，触角已延伸到零售、金融、教育、医疗、体育、制造、影视、政府等各行各业。你可能会问这些具体价值实现的推动者有哪些呢？就是所谓的大数据综合服务提供商，从实践情况看，主要包括大数据解决方案提供商、大数据处理服务提供商和数据资源提供商三个角色，分别向大数据的应用者提供大数据服务、解决方案和数据资源。
未来大数据还将彻底改变人类的思考模式、生活习惯和商业法则，将引发社会发展的深刻变革，同时也是未来最重要的国家战略之一。

F. 餐饮企业如何做好大数据挖掘

般餐企会将客户分为四类：过客、散客、回头客、忠实客。在这四种客户中，过客和散客是不需要做过多营销的，并且能够带给餐企更多利润的是回头客和忠实客，这两类客户对品牌认可度高，且会介绍给朋友。也就是说，餐企必须要对客户进行进一步精准营销，培养更多的回头客和忠实客。
举个简单的例子，家门口有两家饭店，两个都是中餐馆，味道都是尚可。其中一家，从来不主动做营销，不会给任何点餐建议；而另外一家，进去之后就会有一种宾至如归的感觉，服务员能亲切地叫出客户名字，了解喜好，甚至知道是偏好甜还是咸，能根据客户喜好引导点餐，提供贴心的一站式服务。
那选择哪一家就不言而喻了。
而这家餐厅对客户的充分了解是建立在对客户资料以及消费情况得深度挖掘下。这就是数据挖掘的魅力。
系统分析整理好的数据进行再次发掘，将客户清晰分类。客户分类的目的就是为了增加回头客，壮大忠实客户群体。在这个基础上，客户进行进一步细分如理性消费者、冲动型消费者；偏爱折扣型，喜欢尝新型。针对这些不同的客户群体，餐企再次营销就可以更精准到位。

G. 大数据未来的发展前景怎么样呢

从我国数据产量和存量来看，广东、北京、浙江、江苏、上海、等地区数据资源较为丰富，东部地区数据产量和存量均高于西部地区。从省际数据流量来看，东部地区月均互联网省际出口总流量占全国比重超过一半。

在以北上广为代表的东部地区数据资源丰富的背景下，其大数据产业发展水平快于其他地区省份。其中，北上广大数据企业数量占全国比重近70%，广东和北京大数据发展水平较高。

东部地区数据产量整体高于西部，省际数据流量远高于其他地区

2019年，我国数据产量总规模为3.9ZB。从数据产量的地区分布看，2019年全国数据产量排名前十位的省份为广东、北京、浙江、江苏、上海、山东、四川、河南、河北和湖南。

从人均数据产量来看，2019年人均数据产量排名前十位的省份分别是北京、上海、浙江、天津、广东、内蒙古、西藏、海南、江苏和辽宁。整体来看，东部地区数据产量和人均数据产量均高于西部地区。

—— 更多数据来请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》

H. 如何做好大数据时代的档案管理工作

档案是机构内部最为规范的知识，是机构存在的历史依据，做好档案专管理工作是一个机属构健康发展的需要，档案管理工作是机构管理工作的一部分，是提高机构工作质量和工作效率的基础条件，是维护历史真实面貌的一项重要工作，是衡量一个机构管理水平的重要尺度。会博通知识管理系统提供承载档案全生命周期管理的管理体系。档案的采集与形成：对于档案的信息化采集，支持多种采集渠道以及多种采集方法。机构可以按照内部管理的习惯以及需要，匹配采用符合自身需要的档案管理规范，对实体档案与电子档案进行统一管理。档案的信息化存储：对于企业来说，如何把档案进行有序化管理，是档案管理的重点，3Hmis综合档案管理能有效帮助企业，对档案进行分门别类的有序化管理。并且，系统提供例如封面、背脊、目录、备考表等表格打印，辅助档案人员轻松地完成对纸质档案的手工处理。档案的信息化利用：在如今信息化管理时代，档案并非单单把档案封存在档案室或系统中，而是利用档案借阅、归还与发放，搜索平台，提醒，历史版本，水印防扩散等功能，助力企业日后的生产经营管理提供重复利用、历史借鉴以及促进改善与创新的重要材料。

I. 大数据时代空间数据挖掘的认识及其思考

引言

空间数据挖掘（Spatial Data Mining，SDM）即找出开始并不知道但是却隐藏在空间数据中潜在的、有价值的规则的过程。具体来说，空间数据挖掘就是在海量空间数据集中，结合确定集、模糊集、仿生学等理论，利用人工智能、模式识别等科学技术，提取出令人相信的、潜在有用的知识，发现空间数据集背后隐藏的规律、联系，为空间决策提供理论技术上的依据[1]。

1.空间数据挖掘的一般步骤

空间数据挖掘系统大致可以分为以下步骤：

（1）空间数据准备：选择合适的多种数据来源，包括地图数据、影像数据、地形数据、属性数据等。

（2）空间数据预处理和特征提取：数据预处理目的是去除数据中的噪声，包括对数据的清洗、数据的转换、数据的集成等。特征提取是剔除掉冗余或不相关的特征并将特征转化为适合数据挖掘的新特征。

（3）空间数据挖掘和知识评估：采用空间数据挖掘技术对空间数据进行分析处理和预测，从而发现数据背后的某种联系。然后结合具体的领域知识进行评估，看是否达到预期效果。

2.空间数据挖掘的方法研究

空间数据挖掘是一门综合型的交叉学科，结合了计算机科学、统计学、地理学等领域的很多特性，产生了大量处理空间数据的挖掘方法。

2.1 空间关联规则

关联规则挖掘是寻找数据项之间的联系，表达式形式是X→Y，其中X与Y是两种不相交的数据项集，即X∩Y=？覫。KOPERSKI K等人将关联规则与空间数据库相结合，提出了空间关联规则挖掘[2]。空间关联规则将数据项替换为了空间谓词，一般表达形式如下：

A1∧A2∧…∧An→B1∧B2∧…∧Bm（3）

令A=（A1，A2，…，An），B=（B1，B2，…，Bm），A和B分别表示Ai和Bj的谓词集合，A和B可以是空间谓词或非空间谓词，但是必须至少包含一个空间谓词且A∩B=？覫。SHEKHAR S和HUANG Y针对空间关联规则的特点提出了把关联规则的思想泛化成空间索引点集的空间同位规则的概念，在不违背空间相关性的同时用邻域替换掉了事务[3]。时空关联不仅涉及事件在空间中的关联，还考虑了空间位置和时间序列因素。国内的柴思跃、苏奋振和周成虎提出了基于周期表的时空关联规则挖掘方法[4]。

2.2 空间聚类

空间聚类分析是普通聚类分析的扩展，不能完全按照处理普通数据的聚类分析方法来处理空间数据。由于存在地理学第一定律，即空间对象之间都存在一定的相关性，因此在空间聚类分析中，对于簇内的定义，要考虑空间自相关这一因素。通过对空间数据进行自相关分析，可判断对象之间是否存在空间相关性，从而可合理判断出对象是否可以分为一簇。

基本的聚类挖掘算法有：

（1）划分聚类算法：存在n个数据对象，对于给定k个分组（k≤n），将n个对象通过基于一定目标划分规则，不停迭代、优化，直到将这n个对象分配到k个分组中，使得每组内部对象相似度大于组之间相似度。

（2）层次聚类算法：通过将数据不停地拆分与重组，最终把数据转为一棵符合一定标准的具有层次结构的聚类树。

（3）密度聚类算法：用低密度的区域对数据对象进行分割，最终将数据对象聚类成为若干高密度的区域。

（4）图聚类算法：用空间结点表示每个数据对象，然后基于一定标准形成若干子图，最后把所有子图聚类成一个包含所有空间对象的整图，子图则代表一个个空间簇。

（5）网格聚类算法：把空间区域分割成具有多重分辨率的和有网格结构特性的若干网格单元，在网格单元上对数据进行聚类。

（6）模型聚类算法：借助一定的数学模型，使用最佳拟合数据的数学模型来对数据进行聚类，每一个簇用一个概率分布表示。

仅采用一种算法通常无法达到令人满意的预期结果，王家耀、张雪萍、周海燕将遗传算法与K-均值算法结合提出了用于空间聚类分析的遗传K-均值算法[5]。现实空间环境中，存在很多像道路、桥梁、河流的障碍物，张雪萍、杨腾飞等人把K-Medoids算法与量子粒子群算法结合进行带有空间障碍约束的聚类分析[6]。

2.3 空间分类

分类，简单地说是通过学习得到一定的分类模型，然后把数据对象按照分类模型划分至预先给定类的过程。空间分类时，不仅考虑数据对象的非空间属性，还要顾及邻近对象的非空间属性对其类别的影响，是一种监督式的分析方法。

空间分类挖掘方法有统计方法、机器学习的方法和神经网络方法等。贝叶斯分类器是基于统计学的方法，利用数据对象的先验概率和贝叶斯公式计算出其后验概率，选择较大后验概率的类作为该对象映射的类别。决策树分类器是机器学习的方法，采取从上到下的贪心策略，比较决策树内部节点的属性值来往下建立决策树的各分支，每个叶节点代表满足某个条件的属性值，从根节点到叶节点的路径表示一条合适的规则。支持向量机也是机器学习的方法，思路是使用非线性映射把训练数据集映射到较高维，然后寻找出最大边缘超平面，将数据对象分类。神经网络是一种模拟人神经的网络，由一组连接的输入和输出单元组成，赋予各个连接相应的权值，通过调节各连接的权值使得数据对象得到正确分类。

针对融入空间自相关性的空间分类挖掘，SHEKHAR S等人使用空间自回归模型和基于贝叶斯的马可夫随机场进行空间分类挖掘[7]，汪闽、骆剑承、周成虎等人将高斯马尔可夫随机场与支持向量机结合并将其用于遥感图像的信息提取[8]。

2.4 其他空间挖掘方法

空间数据挖掘的方法多种多样，其他还包括：空间分析的方法，即利用GIS的方法、技术和理论对空间数据进行加工处理，从而找出未知有用的信息模式；基于模糊集、粗糙集和云理论的方法可用来分析具有不确定性的空间数据；可视化方法是对空间数据对象的视觉表示，通过一定技术用图像的形式表达要分析的空间数据，从而得到其隐含的信息；国内张自嘉、岳邦珊、潘琦等人将蚁群算法与自适应滤波的模糊聚类算法相结合用以对图像进行分割[9]。

3.结论

空间数据挖掘作为数据挖掘的延伸，有很好的传统数据挖掘方法理论的基础，虽然取得了很大进步，然而其理论和方法仍需进一步的深入研究。伴随着大数据时代，面对越来越多的空间数据，提升数据挖掘的准确度和精度是一个有待研究的问题。同时现在流行的空间数据挖掘算法的时间复杂度仍停留在O（nlog（n））~O（n3）之间，处理大量的异构数据，数据挖掘算法的效率也需要进一步提高。数据挖掘在云环境下已经得到很好的应用[10]，对于处理空间数据的空间云计算是有待学者们研究的方向。大多数空间数据挖掘算法没有考虑含有障碍约束的情况，如何解决现实中障碍约束问题值得探讨。带有时间属性的空间数据呈现出了一种动态、可变的空间现象，时空数据挖掘将是未来研究的重点。

由于数据挖掘涉及多种学科，其基本理论与方法也已经比较成熟，针对空间数据挖掘，如何合理地利用和拓展这些理论方法以实现对空间数据的挖掘仍将是研究人员们需要长期努力的方向。

参考文献

[1] 李德仁，王树良，李德毅.空间数据挖掘理论与应用（第2版）[M].北京：科学出版社，2013.

[2] KOPERSKI K， HAN J W. Discovery of spatial association rules in geographic information databases[C]. Procedings of the 4th International Symposium on Advances in Spatial Databases， 1995： 47-66.

[3] SHEKHAR S， HUANG Y. Discovering spatial co-location patterns： a summary of results[C]. Procedings of the 7th International Symposium on Advances in Spatial and Temporal Databases， 2001：236-256.

[4] 柴思跃，苏奋振，周成虎．基于周期表的时空关联规则挖掘方法与实验[J]．地球信息科学学报，2011，13（4）：455-464.

[5] 王家耀，张雪萍，周海燕.一个用于空间聚类分析的遗传K-均值算法[J].计算机工程，2006，32（3）：188-190.

[6] Zhang Xueping， Du Haohua， Yang Tengfei， et al. A novel spatial clustering with obstacles constraints based on PNPSO and K-medoids[C]. Advances in Swarm Intelligence， Lecture Notes in Computer Science （LNCS）， 2010： 476-483.

[7] SHEKHAR S， SCHRATER P R， VATSAVAI R R， et al．Spatial contextual classification and prediction models for mining geospatial data[J]． IEEE Transactions on Multimedia， 2002， 4（2）：174-187.

[8] 汪闽，骆剑承，周成虎，等.结合高斯马尔可夫随机场纹理模型与支撑向量机在高分辨率遥感图像上提取道路网[J].遥感学报，2005，9（3）：271-275.

[9] 张自嘉，岳邦珊，潘琦，等.基于蚁群和自适应滤波的模糊聚类图像分割[J].电子技术应用，2015，41（4）：144-147.

[10] 石杰.云计算环境下的数据挖掘应用[J].微型机与应用，2015，34（5）：13-15.

来源 | AET电子技术应用