⑴ 大数据为生命周期管理带来挑战
大数据为生命周期管理带来挑战
无论数据的规模和类型是什么，它们必须要在生命周期中接受管理，即便管理工具并不成熟也必须如此。
伴随着大数据的出现，整合的生命周期管理（Integrated Lifecycle Management，简称为ILM）遇到了一个全新的领域。核心挑战来自三个方面：首先大数据的规模没有上限，其次许多新数据的生命周期都极为短暂，再次由于数据或多或少具有大数据的3V特征（数据规模大、处理速度快和数据种类繁多）因而难以保持始终如一的品质。
以上这些是我从Loraine Lawson所写的文章中总结出来的。她的观点与我对这一问题的总体看法基本一致。但是我并不认同她关于“与小型数据分析环境相比，ILM对于大数据环境来说更为重要”的说法。无论是以前，还是进入到了大数据时代，让所有的商业数据资产处于安全、可控和受管理的状态都同等重要，它们之间的重要性没有发生丝毫的改变。
它们之间的不同之处在于，在大数据环境中，由于以下几个方面正在迅速发生变化，使得全面的ILM越来越难以确保数据资产处于安全、可控和受管理的状态之下。
■新的大数据平台：除了MPP 关系型数据库系统、纵列数据库、多维数据库外， Hadoop、NoSQL、内存数据库、图形数据库等新的技术平台逐渐在企业计算环境中发挥越来越重要的作用。现有的ILM工具几乎不可能支持这些新的平台。同时，为了能够在公有云上处理大数据，你可能需要使用由服务提供商提供的ILM功能。为了降低在新环境中的风险，以及维护核心数据的高度可信性，你需要仔细测试新的大数据平台，以确保它们具备ILM功能（数据安全、管理、归档和保留），以及这些功能是否与你计划赋予它们的角色相对应。
■新的大数据主题域：大数据并没有改变企业对存储和管理办公系统（例如客户、财务和人力资源等）记录的数据管理枢纽的需求。这些是现有企业级数据仓库（EDW）的功能。目前大部分EDW是运行在传统的基于关系型数据库系统的数据平台上，并集成有功能强大的ILM。不过，这些记录数据域系统可能无法在最新的大数据平台上运行，因为许多平台已经将重点放在了处理由社交、事件、传感器、点击流、地理空间，以及其他新来源所产生的新数据之上。然而，这些新的数据域通常生命周期都非常短。从这个意义上说，我们可能不需要将其中的大部分数据保存在永久性记录系统中。
■新的大数据扩展：大数据并不意味着你的新平台能够支持无限大的容量、极高的速度或无数的数据种类。由于受到技术上和经济上的束缚，新数据的庞大规模导致它们不可能被随意存储在任何地方。这一现实将迫使大数据管理人员将更多的精力放在调整多温度存储管理、归档和保留策略上。随着大数据环境的扩展，你需要确保ILM需求不超过现有容量（存储容量）、速度（带宽、管理器和存储速度）和类型（元数据深度）所能支持的范围。
此外，我还与一些专家进行了探讨。这些专家认为，除非我们真的想删除数据，否则大数据革命可使我们无需删除任何数据。目前大数据看起来似乎将持续以指数级速度增长，并且大数据平台的成本似乎也将持续大幅下降，但是我对大数据云的执行和管理将跌至接近零成本的观点存在严重怀疑。
如果我的预感正确，那么我们将无法阻止大数据源源不断的涌到云上——即便我们想阻止也无能为力。幸运的是，生命周期管理能够为无用数据划上一个终点，而这正是我们将ILM摆在需求第一位的关键原因。
⑵ 大数据生命周期管理是指什么
大数据生命周期管理就是大数据平台的数据生命周期管理，在大数据平台下，版数据的生命周期管理会显权得非常重要。这是因为往往在大数据平台下，预处理的数据量非常大，处理后的有效数据量往往比较小，因此选择合理的数据管理策略会非常重要。
⑶ 大数据生命周期分为采集、存储、分析和日常维护四个阶段。对还是不对
对的，大数据采集与预处理在大数据生命周期中，数据采集处于第一环节。根据Map Rece生成的应用系统分类，大数据采集主要有四个来源。管理信息系统，网络信息系统，物理信息系统，科学实验系统。对于企业不同的数据集，可以有不同的结构。如文件、XML、关系表等，并在用于多个异构数据集，需要进一步整合处理的，从不同的数据集的数据的易购。整理、清洗、转换后，生成到一个新的数据集，为后续进行查询和分析研究问题以及处理企业提供信息统一的可视图。针对管理信息系统中异构数据库集成技术，Web信息系统中的实体识别技术和DeepWeb集成技术。传感器网络信息数据融合发展技术已经有很多问题研究主要工作，取得了较大的进展，已经推出了多种数据清洗和质量管理控制工具。例如，美国SAS公司的Data Flux，美国IBM公司的Data Stag，、美国Informatica公司的Informatica Power Center。
⑷ 信息系统的生命周期可以分为几个阶段
信息系统的生命周期可以分为4个阶段:立项、开发、运维、消亡。
(1)立项阶段:即概念阶段或需求阶段。这一阶段根据用户业务发展和经营管理的需要，提出建设信息系统的初步构想;然后对企业信息系统的需求进行深入调研和分析，形成《需求规范说明书》并确定立项。
(2)开发阶段:以立项阶段所做的需求分析为基础，进行总体规划。之后，通过系统分析、系统设计、系统实施、系统验收等工作实现交付系统。
(3)运维阶段:信息系统通过验收，正式移交给用户以后，就进入运维阶段。系统运维可分为4种类型:更正性维护、适应性维护、完善性维护、预防性维护。
(4)消亡阶段:信息系统不可避免地会遇到系统更新改造、功能扩展，甚至废弃重建等情况。对此，在信息系统建设的初期就应该注意系统消亡条件和时机，以及由此而花费的成本。
⑸ 在客户信息的大数据中还包含哪些内容
大数据的周期运转可以看出客户的喜爱，与常用软件。
从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：
一、大数据采集
大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。
数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle也依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle和Talend本身，也集成了大数据集成内容，可实现hdfs，hbase和主流Nosq数据库之间的数据同步和集成。
网络数据采集：一种借助网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的数据采集方式。
文件采集：包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。
二、大数据预处理
大数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。
数据清理：指利用ETL等清洗工具，对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。
数据集成：是指将不同数据源中的数据，合并存放到统一数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。
数据转换：是指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。
数据规约：是指在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据方聚集、维规约、数据压缩、数值规约、概念分层等。
三、大数据存储
大数据存储，指用存储器，以数据库的形式，存储采集到的数据的过程，包含三种典型路线：
1、基于MPP架构的新型数据库集群
采用SharedNothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点，在企业分析类应用领域有着广泛的应用。
较之传统数据库，其基于MPP产品的PB级数据分析能力，有着显著的优越性。自然，MPP数据库，也成为了企业新一代数据仓库的最佳选择。
2、基于Hadoop的技术扩展和封装
基于Hadoop的技术扩展和封装，是针对传统关系型数据库难以处理的数据和场景（针对非结构化数据的存储和计算等），利用Hadoop开源优势及相关特性（善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等），衍生出相关大数据技术的过程。
伴随着技术进步，其应用场景也将逐步扩大，目前最为典型的应用场景：通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种NoSQL技术。
3、大数据一体机
这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统，以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。
四、大数据分析挖掘
从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面，对杂乱无章的数据，进行萃取、提炼和分析的过程。
1、可视化分析
可视化分析，指借助图形化手段，清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析，即借助可视化数据分析平台，对分散异构数据进行关联分析，并做出完整分析图表的过程。
具有简单明了、清晰直观、易于接受的特点。
2、数据挖掘算法
数据挖掘算法，即通过创建数据挖掘模型，而对数据进行试探和计算的，数据分析手段。它是大数据分析的理论核心。
数据挖掘算法多种多样，且不同算法因基于不同的数据类型和格式，会呈现出不同的数据特点。但一般来讲，创建模型的过程却是相似的，即首先分析用户提供的数据，然后针对特定类型的模式和趋势进行查找，并用分析结果定义创建挖掘模型的最佳参数，并将这些参数应用于整个数据集，以提取可行模式和详细统计信息。
3、预测性分析
预测性分析，是大数据分析最重要的应用领域之一，通过结合多种高级分析功能（特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等），达到预测不确定事件的目的。
帮助分用户析结构化和非结构化数据中的趋势、模式和关系，并运用这些指标来预测将来事件，为采取措施提供依据。
4、语义引擎
语义引擎，指通过为已有数据添加语义的操作，提高用户互联网搜索体验。
5、数据质量管理
指对数据全生命周期的每个阶段（计划、获取、存储、共享、维护、应用、消亡等）中可能引发的各类数据质量问题，进行识别、度量、监控、预警等操作，以提高数据质量的一系列管理活动。
⑹ 大数据的生命周期的九个阶段
大数据的生命周期的九个阶段
企业建立大数据的生命周期应该包括这些部分：大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进。
一、大数据的组织
没有人，一切都是妄谈。大数据生命周期的第一步应该是建立一个专门预算和独立KPI的“大数据规划、建设和运营组织”。包括高层的首席数据官，作为sponsor，然后是公司数据管理委员会或大数据执行筹划指导委员会，再往下就是大数据的项目组或大数据项目组的前身：大数据项目预研究团队或大数据项目筹备组。这个团队是今后大数据战略的制定和实施者的中坚力量。由于人数众多，建议引入RACI模型来明确所有人的角色和职责。
二、大数据的现状评估和差距分析
定战略之前，先要做现状评估，评估前的调研包括三个方面：一是对外调研：了解业界大数据有哪些最新的发展，行业顶尖企业的大数据应用水平如何？行业的平均尤其是主要竞争对手的大数据应用水准如何？二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户，对我们的大数据业务有何期望？三是自身状况摸底，了解自己的技术、人员储备情况。最后对标，作差距分析，找出gap。
找出gap后，要给出成熟度现状评估。一般而言，一个公司的大数据应用成熟度可以划分为四个阶段：初始期（仅有概念，没有实践）；探索期（已经了解基本概念，也有专人进行了探索和探讨，有了基本的大数据技术储备）；发展期（已经拥有或正在建设明确的战略、团队、工具、流程，交付了初步的成果）；成熟期（有了稳定且不断成熟的战略、团队、工具、流程，不断交付高质量成果）。
三、大数据的战略
有了大数据组织、知道了本公司大数据现状、差距和需求，我们就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心，它将成为整个组织大数据发展的指引。
大数据战略的内容，没有统一的模板，但有一些基本的要求：
1. 要简洁，又要能涵盖公司内外干系人的需求。
2. 要明确，以便清晰地告诉所有人我们的目标和愿景是什么。
3. 要现实，这个目标经过努力是能达成的。
四、大数据的定义
我认为：“数据不去定义它，你就无法采集它；无法采集它，你就无法分析它；无法分析它，你就无法衡量它；无法衡量它，你就无法控制它；无法控制它，你就无法管理它；无法管理它，你就无法利用它”。所以“在需求和战略明确之后，数据定义就是一切数据管理的前提”。
五、 数据采集
1. 大数据时代的数据源很广泛，它们可能来自于三个主要方面：现有公司内部网各应用系统产生的数据（比如办公、经营生产数据），也有来自公司外互联网的数据（比如社交网络数据）和物联网等。
2.大数据种类很多，总的来讲可以分为：传统的结构化数据，大量的非结构化数据（比如音视频等）。
3. 数据采集、挖掘工具很多。可以基于或集成hadoop的ETL平台、以交互式探索及数据挖掘为代表的数据价值发掘类工具渐成趋势。
4. 数据采集的原则：在数据源广泛、数据量巨大、采集挖掘工具众多的背景下，大数据决策者必须清楚地确定数据采集的原则：“能够采集到的数据，并不意味着值得或需要去采集它。需要采集的数据和能够采集到的数据的"交集"，才是我们确定要去采集的数据。”
六、数据处理和分析
业界有很多工具能帮助企业构建一个集成的“数据处理和分析平台”。对企业大数据管理者、规划者来讲，关键是“工具要满足平台要求，平台要满足业务需求，而不是业务要去适应平台要求，平台要去适应厂商的工具要求”。那么这个集成的平台应该有怎样的能力构成呢？它应该能检索、分类、关联、推送和方便地实施元数据管理等。见下图：
七、 数据呈现
大数据管理的价值，最终要通过多种形式的数据呈现，来帮助管理层和业务部门进行商业决策。大数据的决策者需要将大数据的系统与BI（商业智能）系统和KM（知识管理）系统集成。下图就是大数据的各种呈现形式。
八、 审计、治理与控制
1.大数据的审计、治理和控制指的是大数据管理层，组建专门的治理控制团队，制定一系列策略、流程、制度和考核指标体系，来监督、检查、协调多个相关职能部门的目标，从而优化、保护和利用大数据，保障其作为一项企业战略资产真正发挥价值。
2.大数据的治理是IT治理的组成部分，大数据的审计是IT审计的组成部分，这个体系要统筹规划和实施，而不是割裂的规划和实施。
3.大数据的审计、治理与控制的核心是数据安全、数据质量和数据效率。
九、 持续改进
基于不断变化的业务需求和审计与治理中发现的大数据整个生命周期中暴露的问题，引入PDCA等方法论，去不断优化策略、方法、流程、工具，不断提升相关人员的技能，从而确保大数据战略的持续成功！
⑺ 大数据背景下的信息安全问题探讨
大数据背景下的信息安全问题探讨
大数据具有体量巨大、类型繁杂、处理速度快、价值密度低四大特点，因此，对于个人来说，难以处理极其庞大的数据，只有国家和大型企业等组织或集团才有可能获取到各种敏感信息；大数据所搜集提取的个人信息可能连本人都不完全知晓，比如个人的行为特征、语言风格、爱好兴趣等。在大数据时代如何保护个人敏感信息或隐私，必将成为高难度的世界课题。
2013年6月，美国前中情局雇员斯诺登曝光了始于2007年小布什时期美国国家安全局和联邦调查局启动的代号为“棱镜”的秘密项目。美国国家安全局通过接入雅虎、谷歌、微软、苹果等9家美国互联网公司中心服务器，对邮件、图片、视频、电话等10类数据进行监控，以搜集情报，监视民众的网络活动。“棱镜”项目缘于2004年美国政府的“星风”监视计划。但是，当时小布什政府由于法律程序等敏感问题而做出让步，美国本土的监听项目有所缩减。为了“星风”计划的继续进行，小布什政府通过司法程序将“星风”监视计划分拆成由国家安全局执行的4个监视计划，包括“棱镜”、“主干道”、“码头”和“核子”，均交由美国家安全局执掌。“棱镜”项目用于监视互联网个人信息。“主干道”和“码头”项目负责存储和分析通信和互联网上数以亿兆计的“元数据”。元数据主要指通话或通信的时间、地点、使用设备、参与者等，不包括电话或邮件等的内容。“核子”项目负责内容信息的获取，截获电话通话者对话内容及关键词，通过拦截通话以及通话者所提及的地点，来实现日常的监控。由此可见，斯诺登不仅揭露了美国的大规模窃听计划，更揭示了大数据时代国家信息安全保护问题。大数据的分析与使用，无论对个人（如跟踪健康状况防范疾病）、对企业（如了解市场偏好以有效安排产品设计生产营销）乃至对国家（如防范疫情或恐怖主义）显然都有巨大的好处，从商业用途来说，谷歌、微软、雅虎等互联网公司，完全可以通过它们掌握到的数以百万计、千万计甚至亿万计的数据，经由“超级计算”，准确推断消费者的爱好及习惯、商品的销售额、疾病疫情的发展趋势。商业如此，在政治、经济、军事等方面亦存在诸多的用途和潜在利益。像“棱镜”计划里涉及的谷歌、雅虎、苹果、微软等大网站，人们每天由于各种业务需要，会把大量个人信息输入其中，但常常并不被事先告知数据的用途。而这些数据会被企业或政府用来进行一些特殊的计算或分析，如通过对大数据的分析预测来对人们尚未实施的行为进行惩罚。比如“大数据之父”舍恩伯格曾披露过一个例子：在美国有一个计划名为“预测式配警”，通过对大数据分析来预测美国某个城市的某条街道的某个时段是犯罪高峰时段，然后在那个位置部署更多的警力。从此该地区居民将长时间被监控，这是一种变相的侵犯或惩罚。他们不是因为做错事，而是因为某个计算机的算法预测他们可能做错事而被惩罚了，显然这是不公平的。美国国安局拥有的正是类似的一套基于“大数据”的新型情报收集系统，这套名为“无界爆料”的系统，以30天为周期，从全球网络系统中接收到970亿条讯息，再通过比对信用卡或者通讯记录等方式，能几近真实地还原个人的实时状况。当然，像谷歌这样的商业组织也有可能掌握同样量级的信息而进行商业预测分析。因此，必须建立一套规则予以规范和约束对大数据的收集和使用。第一，虽然这些信息储存在不同的服务器上，但这些数据是用户的资产，拥有权属于用户自己而不是这些公司，这是必须明确的，就像财产所有权一样，个人隐私数据也应该有所有权。第二，利用大数据、云计算技术给用户提供信息服务的公司或企业，需要把收集到的用户数据进行安全存储和传输，这是企业的责任和义务。第三，如果企业或政府要使用用户的信息，一定要让用户有知情权和选择权，泄露用户数据甚至牟利，不仅要被视作不道德的行为，而且是非法行为。大数据时代的数据存储和应用方式是跨地域甚至是跨国界的。作为国家层面要将大数据上升为国家战略，奥巴马政府在2012年3月将“大数据战略”上升为最高国策，像陆权、海权、空权一样，将对数据的占有和控制作为重要的国家核心能力。我国也应从国家高度重视大数据，在对其进行安全保护、政策制定需要重视三个方面：一是要正视数据霸权，要清醒认识到我国在网络控制权、关键技术和高端设备等方面，还受制于西方。二是要明确主权，数据作为一种重要的战略资源，无论是个人拥有还是国家拥有，都要纳入到主权范围里面来考虑。三是要有治权，因为有主权不一定能够管治。比如：数据存到国外，云计算跨越国境，可能不在你的主权范围之内。要区别对待不同的数据，对确需保护的数据，必须有切实可靠的手段进行有效管理。如果做不到对数据的有效管理，大数据就必然面临失控的危险。政策界定安全责任问题。大数据的安全问题涉及政府、相关企业、网络运营商、服务提供者，以及数据产生者、使用者等方方面面，必须对各自的安全责任有明晰的政策界定。信息安全风险存在于数据的全生命周期之中，从技术思路、产品开发、用户使用、服务管理，各个环节均要分担相应的安全责任。监管保障基础设施安全问题。大数据的发展离不开电信网络甚至工控系统等关键基础设施，其安全可靠同样依赖于这些基础设施，受供应链全球化、产业私有化的影响，网络与关键基础设施间的安全日趋复杂，一国的大数据可能存放在别国的网络中，一国的基础设施可能同时服务于多个国家，高度的全球相互依赖性，挑战着原有的国家主权观念。所以，关键基础设施的安全监管体系十分重要，我国需要尽快确立对供应链的实质性国家安全审查和对基础网络的常态化安全监管。
网络空间冲突管理问题。大数据的资源价值越来越高，围绕大数据的争夺和冲突就越来越激烈。大数据的生成、处理和利用方式，将极大改变各种冲突的表现方式和破坏烈度。通过立法与国际合作应对包括知识产权的保护、网络犯罪的处置、网络破坏活动特别是网络恐怖主义的打击以及网络战争的威胁。
⑻ 大数据生命周期的多个阶段分析
大数据生命周期的多个阶段分析
如今，各个企业对于大数据的应用都甚为积极，但企业在建立大数据的生命周期时应注意，其中包括了这些部分：大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进这几方面，下面就来详细了解下。
大数据的现状评估和差距分析
在定战略之前，先要做必要的现状评估，评估前的调研包括三个方面：一是对外调研：了解业界大数据有哪些最新的发展，行业顶尖企业的大数据应用水平如何？行业的平均尤其是主要竞争对手的大数据应用水准如何？二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户，对我们的大数据业务有何期望？三是自身状况摸底，了解自己的技术、人员储备情况。最后对标，作差距分析，找出gap。找出gap后，要给出成熟度现状评估。一个公司的大数据应用成熟度可以划分为四个阶段：初始期;探索期;发展期;成熟期。
大数据的发展战略
有了大数据组织、知道了本公司大数据现状、差距和需求，企业就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心，它将成为整个组织大数据发展的指引。大数据战略的内容，没有统一的模板，但有一些基本的要求：
要现实，这个目标经过努力是能达成的。
要简洁，又要能涵盖公司内外干系人的需求。
要明确，以便清晰地告诉所有人我们的目标和愿景是什么。
对于大数据的定义
如果不对大数据进行定义，你将无法采集到它，你没法采集它就不能分析它;而不能分析它，你就不能衡量它的价值，既然不能衡量它的价值，你也就无法真正的控制它;如果你不能很好的控制它，那么你就无法管理并且利用它。在需求和战略明确之后，数据定义就是一切数据管理的前提。
⑼ 数据安全的全生命周期，对于企业有什么意义
帮助企业解决云上数据安全治理问题、提升数据隐私保护能力。腾讯云安全就是企业信息系统所需要的安全保障。
⑽ 什么是信息的生命周期
信息生命周期指的是信息数据存在一个从产生， 到被使用、 维护、 存档， 直至删除的一个生命周期。 一般说来， 信息数据的生命周期分为五个阶段，为
产生、传播、使用、维护、归宿（存档或删除）。