数据质量可以解决哪些问题

㈠ 数据质量的主要优势

降低成本
通过重复使用一组单一的规则和工具和单一的开发环境来管理数据质量，从而降低成本：
在所有应用程序中
适用于所有数据域
跨所有国家/地区和语言
适用于所有数据集成项目
更高效地运作
使业务分析师和数据管理员既可以查看和参与提高数据质量，又可以针对数据质量对其应用程序和流程的影响采取有效对策
通过使业务部门能够参与数据质量流程，更快地解决业务问题
通过给予业务分析师合适的工具来自行管理数据质量任务，从而减轻对 IT 部门的依赖
可以更为高效地协作，以便在几天（而不是几月）内设计和实施满足业务需求所必需的数据规则
凭借高质量的数据为合规性方案提供支持
提高 IT 部门工作效率
通过协作工具和通用的项目环境，加速 IT 和业务部门之间的规范与复查的周期
快速访问所有数据，从而更快完成数据质量项目
跨所有应用程序，轻松构建、集中管理和快速部署可重用的数据质量规则
通过运用能够为进行匹配和地址清洗提供数据探查和预建规则的开发环境，并在此熟悉的开发环境中构建数据质量映射，加快展开项目
利用中途探查来快速验证数据质量转换情况
成批或实时地部署数据质量规则，而不必重新编码
降低风险
防范于未然，找出、解决和避免数据质量问题，从而让您的客户不会因此破费和丧失竞争优势
构建可长期持续保持的数据质量流程并信任所有的企业数据
通过在全球所有应用程序中统一实施数据质量控制，提高对企业数据对数据治理流程的支持的信心
凭借久经考验的企业级部署技术，降低故障风险

㈡ 数据质量包括什么方面

数据质量包括数据质量控制和数据治理。

数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。

一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与 IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。

(2)数据质量可以解决哪些问题扩展阅读：

控制方法：

1、探查数据内容、结构和异常

第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。

2、建立数据质量度量并明确目标

Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。

3、设计和实施数据质量业务规则

明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。

4、将数据质量规则构建到数据集成过程中

Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。

数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。

5、检查异常并完善规则

在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。

5、对照目标，监测数据质量

数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。

Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。

㈢ 提高数据质量的步骤和措施

提高数据质量的步骤和措施

由于大多数系统和应用程序会持续不断接收到新数据，数据量也在不断增加，因此确保数据质量并不是一次就能完成的。所有企业都应该使用一种反复进行的阶段性过程来管理数据质量，此过程包括数据质量评估、规划以及策略的选择和实施。

第一步对数据质量进行评估。评估当前的数据质量状态是第一步。对数据质量进行评估能帮助企业准确地了解数据的内容、质量和结构。主管人员参与数据质量评估以及分析在数据检查过程中发现的问题对于数据质量评估来说都很重要。在最有效的数据质量评估中，所有问题都将按照对业务影响从大到小的顺序列出，这将帮助IT机构节省项目成本。

第二步，制订数据质量计划。彻底了解企业数据的内容和质量后，接下来的步骤是制订一个计划，来修改当前的错误并避免未来错误的发生。有效的计划不但可以提高企业当前所有应用程序中数据的质量，还将制定一些方式以确保新应用程序从一开始就遵循数据质量规则。

第三步，选择和实施数据质量策略。选择改善企业数据质量的策略，要求决策者权衡每个数据质量计划的成本以及该策略产生的影响。目前的策略类型有两种: 在企业输入数据时提高数据质量的方法称为“上游”方法，而从运营系统提取数据的应用程序(如数据仓库)中改善数据质量的方法是“下游”方法。

上游策略研究当前应用程序的逻辑、数据和流程，解决检查过程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加更好的表验证、改善与数据输入相关的流程，它致力于企业数据的高准确性。另外，此策略还要求使用应用程序本身附带的数据质量功能。

下游策略解决目标应用程序或数据仓库(而非数据源)中的数据质量问题。由于数据可以根据需要随时进行修改，所以企业能够在流程(尤其是数据转换、名称和地址清洗以及查找验证)中改善数据质量。下游策略仅为目标应用程序或数据仓库改善数据质量，但与上游策略相比，它的实施过程更简单，成本更低。

1. 建立数据的标准，明确数据的定义。

通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。这一句话说起来容易做起来难。因为人通常本能地会拒绝改变，改变数据标准和定义并不是轻而易举的。为此，强烈建立在企业中除了设立一个高管级别的数据质量管理委员会外，还需要选定一个执行能力强的项目负责人，需要他推动相关人员接受新的数据标准和定义。

在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言，前者更容易执行一些。

2. 建立一个可重复的数据收集、数据修改和数据维护流程。

数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。

3. 在数据转化流程中设立多个性能监控点。

数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。

4. 对流程不断进行改善和优化。

我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的'质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量保证计划的总体开销。实际上，排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是，作为该项目的负责人，不能墨守成规，仅仅因为自己以前一向采用某种方法，就要求别人也必须采用这一方法，特别是当发现这些方法成本高昂的时候，就应该考虑换一种方式了。

5. 把责任落实到人。

通常，我们认为那些与数据的产生、维护相关的人员是负责任的，但是，很有可能，他们有很多其他的工作要做，因此作为数据质量的负责人光有善良的想法是难以提高数据的质量，很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。更重要的，他们还需要针对这些指标细化对他们自己的要求，当然，他们会因为达到或者超过这些指标而得到奖励。其中，一个执行力强的负责人的价值体现出来，他会针对具体情况适时调整数据质量的目标。

最后，再次强调考虑与数据管理和数据质量的改进项目有关的人的因素，他们的行为是非常重要的。从某种程度上说，要比具体选择什么软件要重要得多。上述5点有助于帮助组织规范数据质量管理中与人有关的流程。

㈣ 如何提高数据质量

如何提高数据质量
大数据时代带来了海量、多样、非结构化的数据，我们得以进行更加广泛且深入的分析，但这必须建立在高质量的数据上才有意义。本期以企业级的视角，介绍数据质量的评价、提升与监控。
大数据的时代，数据资产及其价值利用能力逐渐成为构成企业核心竞争力的关键要素;然而，大数据应用必须建立在质量可靠的数据之上才有意义，建立在低质量甚至错误数据之上的应用有可能与其初心南辕北辙背道而驰。因此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的上限，而低质量的数据则必然拉低数据应用的下限。
数据质量一般指数据能够真实、完整反映经营管理实际情况的程度，通常可在以下几个方面衡量和评价：
准确性：数据在系统中的值与真实值相比的符合情况，数据应符合业务规则和统计口径。常见数据准确性问题如：
与实际情况不符：数据来源存在错误，难以通过规范进行判断与约束;
与业务规范不符：在数据的采集、使用、管理、维护过程中，业务规范缺乏或执行不力，导致数据缺乏准确性。
完整性：数据的完备程度。常见数据完整性问题如：
系统已设定字段，但在实际业务操作中并未完整采集该字段数据，导致数据缺失或不完整;
系统未设定字段：存在数据需求，但未在系统中设定对应的取数字段。
一致性：系统内外部数据源之间的数据一致程度，数据是否遵循了统一的规范，数据集合是否保持了统一的格式。常见一致性问题如：
缺乏系统联动或联动出错：系统间应该相同的数据却不一致，缺乏必要的联动和核对。
及时性：数据在采集、传送、处理等环节快速支持应用的程度，考察数据的时间特性对应用的满足程度。及时性关系到系统能否在规定的时间内获取到系统需要的特定时间产生的数据，以完成系统功能。常见及时性问题如：
缺乏时效性：未按照规定的数据更新时间要求对数据进行更新。
可用性：用来衡量数据项整合和应用的可用程度。常见可用性问题如：
缺乏应用功能，没有相关的数据处理、加工规则或数据模型的应用功能，获取目标数据;
缺乏整合共享，数据分散，不易有效整合和共享。
其他衡量标准再如有效性可考虑对数据格式、类型、标准的遵从程度，合理性可考虑数据符合逻辑约束的程度。此前一项对某企业数据质量问题进行的调研显示常见数据质量问题中准确性问题占33%，完整性问题占28%，可用性问题占24%，一致性问题占8%，在一定程度上代表了国内企业面临的数据问题。
提高数据质量的首要任务是定义一套标准化的数据规范，对具体数据项的定义、口径、格式、取值、单位等进行规范说明，形成对该数据项的具体质量要求。依托这套规范作为衡量和提高数据质量的标尺，可在数据采集、加工和应用的各环节对关键数据项进行预防性或监测性的核检。广义的企业级数据字典可以作为数据标准化规范的载体，对企业运营过程中涉及的数据项名称、业务定义和规则等要素进行收录、规范和编制，对数据项描述信息进行标准化处理，统一定义对安全性和数据质量的要求，进而为业务运营提供可靠的数据服务、提高整体数据质量奠定基础。理想情况下广义的企业级数据字典是完备的，企业各系统全部数据项都被数据字典收录，不存在同名不同义或同义不同名的情况。与此相对，狭义的数据字典通常是针对单一系统的技术属性标准，为单一系统的开发和应用服务。
企业级数据字典通常分为三层：数据项、值域和域取值。数据项层面的规范主要包括名称、业务规则定义、数据安全要求和数据质量要求等。
数据项名称：包括数据项的中文名称、英文名称和英文简称，含义不同的数据项名称不同，物理数据库应沿用数据字典定义的全局唯一的英文简称对字段命名
业务规则定义：包括数据的业务含义、转换规则、加工规则等安全元数据：包含数据来源、所有者和访问权限等安全要求的定义
数据质量要求：在数据规范定义基础之上，提出满足业务需要的数据长度、格式、取值、数据处理、勾稽关系等要求，以此作为数据质量管理的落脚点
值域可细分为代码域、编码域、文本域、金额域、数值域、时间域等。例如“出生地”数据项对应值域为“行政区划”代码域，引用国家标准GB-T2260-2016《中华人民共和国行政区划代码》，对应的域取值为该国标定义的代码表。再如“借记卡号”数据项对应值域为“19位卡号”编码域，定义16位卡号和19位卡号两种编码方式，不需列举对应具体的域取值。
数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务要求。数据质量管理工作遵循业务引领的原则，确定重点质量管控范围，并动态调整阶段性管控重点，持续优化。可按照“谁创建、谁负责;谁加工、谁负责;谁提供、谁负责”的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施，并尽可能前移管控点，从源头上控制数据质量。
数据质量监控点通常针对关键数据项设置实施，定义数据质量监控规则，生成监控报警，按严重性等级分级报告，由相应层级进行处理和响应。关键数据项根据经验判断，一般影响较广如涉及多业务条线，或应用于关键业务环节如合约签订、会计核算、绩效分析、产品定价、资金收付等，或应用于内部经营管理、对外信息披露和行业监管要求，例如财务报告数据和新资本协议实施中明确提出的重要指标项。
数据质量监控点的控制手段分为预防型和监测型：
预防性控制防止错误数据的产生，一般部署在数据采集点，用于控制手工输入的源数据，以及批量导入的源数据校验：
数据输入校验：例如贷款利率的输入校验;
数据阈值：例如数据非空，数据取值超出值域定义合理范围，数据格式不符合标准等;
质量控制方式：系统自动校验/双人手工复核;
系统校验方式：强制，如不符合规则无法通过。
监测型控制监测错误数据，发现数据质量问题进行报警。一般部署在数据加工和应用环节，验证数据完整性、一致性和准确性等：
数据输出校验：例如贷款余额总分核对
数据一致性：例如交易头寸与总帐系统记录的交易头寸一致
质量控制方式：系统自动校验
系统校验方式：非强制，错误及差异提示
对选定的关键数据项，需定义数据质量规则以及数据质量等级。数据质量等级可利用“阈值”和“容忍度”进行分级：
良好：数据项质量评分高于“阈值”
可容忍：数据项质量评分低于“阈值”，但高于“容忍度”
报警：数据项质量评分低于“容忍度”
严重报警：数据项的质量问题将带来非常严重的影响，人工经验判断
关键数据项监控点的详细信息应在企业级数据字典中维护更新，与其开发、实施和测试情况保持同步。
在进行数据质量分等级报告及响应纠错时应遵守如下原则：
及时性。对导致数据质量等级进入“可容忍”、“报警”和“严重报警”状态的数据质量事件能够及时发现、报告和处理;
规范性：针对分级别的数据质量问题，汇报至利益相关方，配置相应资源;
高效性：数据质量问题，在分级别规定时间内被解决。应按照“可容忍”、“报警”和“严重报警”酌情规定响应时间;
有序性。在开展数据质量分等级报告工作时，应有序上报、统一领导、分级负责。
部署在UDP层面的数据质量监控程序实时或定期监测关键数据项的质量，对其数据质量进行评分，通过比较该监控点的“阈值”和“容忍度”，将数据质量进行分级，对于非“良好”的评价结果，数据质量监控程序将发送报警消息通知数据质量管理人员。报警消息内容包括问题定位头文件和具体描述。数据质量管理人员根据报警信息调查问题数据项，验证报警内容，生成预警信息通知下游用户，同时填制纠错工单通知相关责任人员。相关责任人员依据纠错通知提示的具体内容，开展数据质量问题调查，提出数据质量改进需求和解决方案，由实施运维团队在数据应用层面修正，或在数据采集和集成层面修正。若纠错告警问题由数据质量要求过于严苛或控制规则错误引起，应修改关键数据项清单及其相关监控规则，并由实施运维团队修改或取消已部署的对应监控点。

㈤ 数据解决方案中数据质量问题受哪些因素影响，怎样改进数据质量

数据中台解决方案专家袋鼠云前段时间分享过一篇关于数据质量分析及提升的文章，正好能回答你的问题：

数据质量问题受哪些因素影响？

一般来说数据质量问题由四个因素造成：

信息因素。产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一）得不到保证和变化频度不恰当等。

管理因素。是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

技术因素。主要是指由于具体数据处理的各技术环节异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。

流程因素。是指由于系统作业流程和人工操作流程设置不当而造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。

从方法论的角度，从组织管理上去改进质量，我们能做的是：确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、实施改进、评估改善效果；

从技术上去改进数据质量，我们能做的是：数据分析、数据评估、数据清洗、数据监控、错误预警；

管理因素和流程因素属于组织管理范畴，信息因素和技术因素属于技术范畴。所以，要改进数据质量问题，要从组织管理和技术两方面入手，才能从根本上，最佳地解决数据质量问题。

对主数据的质量进行改进，需要从以下如图几个方面入手：

㈥ 数据分析技术解决了哪些难题

在过去的二十多年里，几万亿美元的投资被用于建立名目繁多的各类数据采集、管理、和上报系统。单个来看，每个系统都有其存在的原因和道理。但从总体角度看，数据却是一片混乱。数据孤岛、混乱的定义、不统一的格式、各异的标准等给数据分析造成了极大障碍。通过网络、社交、视频、传感器等手段源源不断地积累的无结构、半结构数据更加大了数据清理、过滤、重组、标准化工作的难度。因此，今天数据分析面临的最大挑战就是如何应用数据科学的理论、方法论、和大数据技术高速、高质地把数据正确地整合以支持数据分析和智能决策。
数据整合的技术挑战有六个方面：
第一、大规模数据收集和管理（Data Curation at Scale）
数据收集和管理经历了三代技术更新。第一代的数据仓库（Data Warehouse）出现于1990年代。主要功能是数据提取、转换、上传（Extract, Transform, and Load- ETL）。第二代技术成熟于2000年代。它主要是在ETL的基础上增加了数据清理，不同类型数据库的兼容，相关数据自动转换（如欧元转化为美元）等功能。这两代技术都不适于大规模数据收集（成百上千个数据源）。第三代技术随大数据时代的到来而兴起于2010年代。它的核心技术是应用统计模型和机器学习使数据的收集和管理实现自动化为主，人员干预为辅使高速优质的大规模数据收集成为可能。
第二、数据管理的新思路
过去几十年里，自上而下的数据管理理念一直占有统治地位。这种思维方式的基本假设是只有通过统一规划才能达到数据的统一定义，标准，管理，储存，使用。可实践证明，由于每个公司和组织都在不断变化，中央设计的数据管理系统似乎永远无法完成。即使完成了也已经过时。系统的设计者与使用者之间总是有一道隔阂，计划赶不上变化。企业为此浪费了大量的钱财和时间。
近十年来，一种自下而上的数据管理理念逐渐引起人们的关注。它的思维方式有五个特点：（1）联邦式管理，中央和地方分权。公司总部和分公司协商数据定义和管理的职责和权力；（2）允许各级管理人员使用各种现成的工具而不是等待中央系统提供；（3）不断登记注册各种相关数据而不等待统一数据模型；（4）保持数据管理系统简单直观；（5）建立尊重数据的环境以改进数据的管理和使用。
第三、数据清理的挑战
如何处理混杂不干净的海量数据是大数据分析难以避免的挑战。至今为止还没有出现比较理想的数据清理的工作平台。产生这一情况的主要原因是数据质量问题的诊断、梳理、验证、以至修正都离不开人的参与。只有通过人工产生了数据清理的程序、逻辑和方法后，才能使用软件工具快速清理数据。每个新数据源都有其特殊的数据质量问题，这使得开发通用型数据清理平台极为困难。
第四、数据科学：数据主导的认知（Data Intensive Discovery）
近年来以数据为主导的分析（Data Intensive Analysis – DIA）成为数据科学的新热点。DIA也被称为大数据分析，是数据科学的新分支。它使人类突破了自身思维能力的极限（人脑只能同时分析10个以下变量的模型）。应用大数据技术可以高速地找出千百个变量的相关性。传统的科学实证思维模式是以理论为出发点提出假设，然后选择分析方法，再采集数据来验证假设。大数据分析拓展了人类的认知能力。这使以数据为主导的科学发现成为可能。这种新的认知框架从数据出发，发现相关性后寻找理论解释，然后应用科学的方法验证。有人称其为第四代认知框架（the Fourth Paradigm）。
第五、从软件开发运作（DevOrp）到数据应用运作（DataOrp）
软件开发经过多年的经验积累已形成了一套有效的设计、开发、测试、质量管理模式和一系列相关的工具（DevOrp）。今天，数据工程师、数据科学家、数据库管理员等也需要类似的数据应用运作程序和相关工具（DataOrp）。这是一套新的基础设施，有人称之为数据技术（DT）。
第六、数据统一是使现有数据系统产生价值的最佳战略
如何将企业里分散的数据整合以实现全公司层面的决策支持是一个令人非常头痛的事。为迎接这一挑战，一个新的理念和技术“数据统一化”（Data Unification）被越来越多的人接受。这个技术包括三个步骤：（1）数据登记注册（Catalog），即保持原始数据不变又为中心数据库提供完整数据记录，（2）数据库连接（Connect），使各个分散数据库通过互联网在需要时即时连接，（3）数据公布（Publish），按照分析需求将不同数据库的数据统一定义、连接后提供给数据分析人员。这个技术的核心是应用统计概率模型自动地在数据库连接过程中使数据统一化。数据统一化已成为大数据处理过程中的一个重要组成部分。
数据分析上的竞争将会日趋激烈。只有面对以上挑战而不断创新的企业才能率先实现以数据分析为主导的智能决策。

㈦ 数据质量分析的主要内容包括哪些

包括：
1、影响GIS数据质量的因素
2、 GIS数据源的质量问题
3、GIS数据库建立过程中的质量问题
4、GIS分析处理过程引入的数据质量问题

㈧ 浅谈数据质量管理：为了更清醒的数据

战战兢兢地写下标题，得意下“清醒”这个词用得真是独树一帜，跟外面那些妖艳贱货好不一样。我们常常说人要时刻保持清醒，这样才能不被假象所蒙蔽。那数据其实更需要这点，我们需要透过数据挖掘本质，如果数据是不具备完整人格的，缺失完整性、规范性、一致性等维度，那么我们看到的本质也是偏差的。开篇先鬼扯一下，详情请往下滑~

数据质量管理是指为了满足信息利用的需要，对信息系统的各个信息采集点进行规范，包括建立模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。

为什么有这么多人强调改善数据质量管理的重要性，用一种很抽象的比喻描述，如果把整个数据应用比作人体的话，那好的数据就相当于新鲜和沸腾的血液，能让我们的身体充满活力，高效地工作思考。而质量差的血液携带废物和毒素，随着毒素越积越多，血液以及血管就会发生病变，血液流经的全身各处器官也会大受影响。如果非要要具体的数据证明，我摘取了一些专家的统计：

那什么会影响数据质量呢？其实简单就分为2个因素。

在此附上数据的生命周期图，包括各环节的数据流转和数据处理。

那怎么样才算质量好的数据呢？借用数据质量评估六要素，顺便附上自己的一些解析：

如何通过具体工作来贯彻落实数据质量管理呢？由于数据质量管理是贯穿数据整个生命周期的，所以根据数据的各环节进行分点描述：

数据稽核是指实现数据的完整性和一致性检查，提升数据质量，数据稽核是一个从数据采集，预处理，比对，分析，预警，通知，问题修复的完整数据质量管控链条。

1、配置校验规则，例如字段映射等。
2、配置调度规则，例如调度频率等。
3、配置报表模板，例如稽核结果等。

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

如何保证数据质量？
数据分析师必修课（1）——数据质量评估
浅谈数据质量管理
利用数据质量规则库推动数据质量管理
主数据-数据质量管理
谈数据稽核(3)
中兴软创-数据稽核系统解决方案

㈨ 数据质量控制通常做法

数据质量控制通常做法如下：

步骤一：探查数据内容、结构和异常

第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。

步骤二：建立数据质量度量并明确目标

Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。

步骤三：设计和实施数据质量业务规则

明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。

步骤四：将数据质量规则构建到数据集成过程中

Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。

数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。

步骤五：检查异常并完善规则

在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。

步骤六：对照目标，监测数据质量

数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。

Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。

数据质量控制流程

第一阶段：启动

在这个阶段我们需要根据所在机构的现行组织架构和工作规范基础上，建立一套质量管控流程和规范。如建立质量管控委员会、制定质量管控管控办法等。

质量管控委员会不必是全职，可由现有组织中如信息中心相关人员兼任。数据质量管控办法，则应明确质量管控的角色、职责，建立可执行的工作流程、可量化的工作评估方法，同时也应具备绩效考核、冲突解决与管控方式等。

有了流程和规范后，相应的责任人就应明确本轮质量管控的目标。如：数据质量提升范围，或者是满足一些业务的预期。目标制定完成后我们就可以进入下一个执行阶段了。

第二阶段：执行

进入执行阶段，我们就要开始具体的质量管控工作，整个工作应该围绕启动阶段制定的目标进行。这时我们应该适当引入一些质量管控工具来帮助我们更高效地完成我们的工作。

第三阶段：检查

检查阶段，主要是对执行阶段的成果进行检查并分析原因。

第四阶段：处理（本环节一般包括以下2个方面）：

1、监控数据质量，控制管理程序和绩效

根据既定的操作程序，对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点的制定不同的评分标准，有针对性地进行评价和管控，如整改初期数据缺失严重，则可对完整性规则权重调大，以期更快看到成效或者达到更好的效果。

2、建立质量控制意识与文化

在这里沟通与推广是重点，要让所有参与者了解数据质量问题和其实质影响，宣贯系统化的数据质量管控方法，同时挖掘对各个环节参与者的价值，尤其是业务方，传达一种“数据质量问题不能只靠技术手段解决”的意识。最终形成一种数据质量的管理的文化。