大数据结构化数据是什么

1. 结构化数据和非结构化数据分别是什么数据清洗是什么

（1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。

（2）非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。

（3）数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

2. 什么是结构化数据和非结构化数据

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。

计算机信息化系统中的数据分为结构化数据和非结构化数据。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。

非结构化数据的特点：

分析数据不需要一个专业性很强的数学家或数据科学团队，公司也不需要专门聘请IT精英去做。真正的分析发生在用户决策阶段，即管理一个特殊产品细分市场的部门经理，可能是负责寻找最优活动方案的市场营销者，也可能是负责预测客户群体需求的总经理。

终端用户有能力、也有权利和动机去改善商业实践，并且视觉文本分析工具可以帮助他们快速识别最相关的问题，及时采取行动，而这都不需要依靠数据科学家。

以上内容参考：

网络-非结构化数据

3. 什么是大数据，大数据的特征和结构有那些

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。
一是数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。
二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。

4. 浠涔堟槸澶ф暟鎹锛

澶ф暟鎹鍖呮嫭缁撴瀯鍖栥佸崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鏁版嵁銆
鎴戜滑閫氬父浼氫粠瀹归噺锛坴olume锛夈佺嶇被锛坴ariety锛夈佷环鍊硷紙value锛夈侀熷害锛坴elocity锛夊洓涓鏂归潰鏉ユ弿杩帮細
绗涓銆佸ぇ閲忓寲
杩欎篃鏄澶у舵渶瀹规槗鎯冲埌鐨勩傛瘮濡傛垜浠鏃ュ父鐢熸椿绂讳笉寮鐨勫井淇°佹敮浠樺疂锛屾垜浠鐨勪换鎰忕殑鑱婂ぉ鎴栬呮敮浠橀兘浼氭湁鐩稿簲鐨勮板綍锛岃繖鏍锋瘡澶╁皢浼氫骇鐢熸暟鍗佷嚎鏉°佺櫨浜挎潯涔冭嚦鏇村氭潯鏁版嵁銆傝繖浠呬粎鏄涓澶╃殑閲忥紝閭ｄ竴涓鏈堝憿锛屼竴骞村憿锛熶笌姝ょ被浼肩殑鍦烘櫙鍦ㄥ悇琛屽悇涓氬潎鏈夋秹鍙娿
鍦 IDC 鍙戝竷銆婃暟鎹鏃朵唬 2025銆嬬殑鎶ュ憡鏄剧ず锛屽叏鐞冩瘡骞翠骇鐢熺殑鏁版嵁鎬婚噺鍦2025 骞村皢杈惧埌175ZB锛屽钩鍧囨瘡澶╃害浜х敓 491EB 鐨勬暟鎹銆傚叾涓锛屼腑鍥芥暟鎹鍦堜互 48.6ZB 鎴愪负鏈澶х殑鏁版嵁鍦堬紝鍗犲叏鐞 27.8锛咃紝浠1TB鐨勭‖鐩樻潵瀛樺偍杩欎簺鏁版嵁鐨勮瘽锛屾瘡骞撮渶瑕佷簲鐧惧氫嚎鍧椼
绗浜屻佸氭牱鍖
鍖呮嫭缁撴瀯鍖栨暟鎹銆佸崐缁撴瀯鍖栨暟鎹鍜岄潪缁撴瀯鍖栨暟鎹锛岃岃繖浜涙暟鎹鍙鑳芥潵鑷浜庝紶缁熶紒涓氭暟鎹銆佺ぞ浜ゆ暟鎹鍙婄墿鑱旂綉鏁版嵁銆
缁撴瀯鍖栨暟鎹
鏁版嵁浠ヨ屼负鍗曚綅锛屾瘡涓琛屽氨鏄涓鏉¤板綍锛屾瘡琛屾暟鎹鐨勫睘鎬ф槸鐩稿悓鐨勶紝鑳藉熺敤缁熶竴鐨勭粨鏋勮〃绀猴紝璇寸櫧浜嗗氨鏄鍙浠ョ敤鍏崇郴鍨嬫暟鎹搴擄紙RDBMS锛夋潵杩涜岀＄悊鐨勬暟鎹銆

闈炵粨鏋勫寲鏁版嵁
娌℃湁鍥哄畾鐨勬暟鎹缁撴瀯锛屼竴鑸灏嗗叾浣滀负涓涓鏁翠綋杩涜屽瓨鍌锛屾瘮濡傚悇绉嶅浘鐗囥佽嗛戙侀煶棰戠瓑銆
鍗婄粨鏋勫寲鏁版嵁
浠嬩簬缁撴瀯鍖栨暟鎹鍜岄潪缁撴瀯鍖栨暟鎹涔嬮棿锛屾瘮濡侶TML鍜孹ML鏂囨。锛屽叾鍐呴儴鐢ㄦ垚瀵圭殑鏍囩捐板綍瀵瑰簲鐨勬暟鎹锛屼絾姣忎釜鏂囨。鍐呴儴鐨勬爣绛惧張涓嶆槸缁熶竴鐨勶紝娌℃湁鍥哄畾鐨勮勫緥銆
绗涓夈佷环鍊煎瘑搴︿綆
鍗曟潯璁板綍鍩烘湰鏃犳剰涔夛紝鏃犵敤鏁版嵁澶氾紝浣嗘槸鏁翠釜鏁版嵁闆嗙患鍚堜环鍊煎ぇ銆侀殣鍚浠峰煎ぇ锛屾墍浠ラ渶瑕佸瑰ぇ鏁版嵁杩涜屽垎鏋愬拰鎸栨帢锛屼粠鏁版嵁閲戠熆涓鎺橀噾銆傛瘮濡傦紝鎴戜滑鎷垮埌涓涓鐢靛晢缃戠珯鐨勫敭鍗栬板綍鏁版嵁闆嗭紝鍗曠湅鍏朵腑浠绘剰涓鏉¤板綍锛屼笉澶栦箮鐭ラ亾浜嗘煇涓浜轰拱浜嗕粈涔堜笢瑗匡紝浣嗘槸鎴戜滑瑕佹槸鎶婅繖涓浜烘墍鏈夌殑璐涔拌板綍鎷垮湪涓璧峰垎鏋愶紝灏辫兘寰楀嚭杩欎釜浜虹殑璐涔板亸濂斤紝浠庤屽逛粬杩涜岀簿鍑嗗晢鍝佹帹鑽愩
绗鍥涖侀熷害蹇
鍦ㄨ繖涓涓囩墿浜掕仈鐨勭殑鏃朵唬锛屾瘡鏃舵瘡鍒婚兘鍦ㄤ骇鐢熸暟鎹锛岃岃繖浜涙暟鎹闇瑕佽鍙婃椂澶勭悊鎺夛紝鍥犱负瀛樺偍浠峰煎瘑搴﹁緝灏忕殑鍘嗗彶鏁版嵁闇瑕佽姳璐瑰緢澶х殑瀛樺偍鎴愭湰锛岄潪甯镐笉鍒掔畻锛屼竴鑸骞冲彴淇濆瓨鐨勫巻鍙叉暟鎹鍙鏈夊嚑澶╂垨鑰呬竴涓鏈堬紝鍐嶈繙鐨勫氨瑕佹竻鐞嗘帀锛屾墍浠ユ暟鎹澶勭悊鐨勯熷害涔熷繀椤昏窡涓婏紝璋佸跺勭悊閫熷害鏇村揩锛岃皝瀹跺氨鏇村叿绔炰簤鍔涖

5. 什么是结构化数据，非结构化数据和半结构化数据

结构化数据也称为行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。结构化数据标记是能让网站以更好的姿态展示在搜索结果当中的方式。做了结构化数据标记，便能使网站在搜索结果中良好地展示丰富网页摘要。

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。

半结构化数据具有一定的结构性，是一种适于数据库集成的数据模型。也就是说，适于描述包含在两个或多个数据库（这些数据库含有不同模式的相似数据）中的数据。它也是一种标记服务的基础模型，用于Web上共享信息。

(5)大数据结构化数据是什么扩展阅读：

结构化数据的标记方式

1、使用HTML代码标记

HTML代码标记的方式主要有3种：微数据、微格式和RDFa。但对于一些外贸站站来说，标记是以微数据为主，少许时候也会用到微格式，视不用的页面类型而定。

2、使用微数据标记

使用微数据标记的话，主流是使用schema进行标记。但由于页面上有些项, schema并没推出相应的标记代码，从而也得仍旧使用data-vocabulary来标记， 这样的话页面代码上就会出现新旧代码并存的情况。

6. 什么是结构化数据，非结构化数据

相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
字段可根据需要扩充，即字段数目不定，可称为半结构化数据，例如Exchange存储的数据。
非结构化数据库

在信息社会，信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号；而另一类信息无法用数字或统一的结构表示，如文本、图像、声音、网页等，我们称之为非结构化数据。结构化数据属于非结构化数据，是非结构化数据的特例

数据清洗从名字上也看的出就是把“脏”的“洗掉”。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗.而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。

(1)不完整的数据
这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。
(2)错误的数据
这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。
(3)重复的数据
对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来，让客户确认并整理。
数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。

随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。所谓非结构化数据库，是指数据库的变长纪录由若干不可重复和可重复的字段组成，而每个字段又可由若干不可重复和可重复的子字段组成。简单地说，非结构化数据库就是字段可变的数据库。

我国非结构化数据库以北京国信贝斯(iBase)软件有限公司的iBase数据库为代表。IBase数据库是一种面向最终用户的非结构化数据库，在处理非结构化信息、全文信息、多媒体信息和海量信息等领域以及Internet/Intranet应用上处于国际先进水平，在非结构化数据的管理和全文检索方面获得突破。它主要有以下几个优点：

(1)Internet应用中，存在大量的复杂数据类型，iBase通过其外部文件数据类型，可以管理各种文档信息、多媒体信息,并且对于各种具有检索意义的文档信息资源，如HTML、DOC、RTF、TXT等还提供了强大的全文检索能力。

(2)它采用子字段、多值字段以及变长字段的机制，允许创建许多不同类型的非结构化的或任意格式的字段，从而突破了关系数据库非常严格的表结构，使得非结构化数据得以存储和管理。

(3)iBase将非结构化和结构化数据都定义为资源，使得非结构数据库的基本元素就是资源本身，而数据库中的资源可以同时包含结构化和非结构化的信息。所以，非结构化数据库能够存储和管理各种各样的非结构化数据，实现了数据库系统数据管理到内容管理的转化。

(4)iBase采用了面向对象的基石，将企业业务数据和商业逻辑紧密结合在一起，特别适合于表达复杂的数据对象和多媒体对象。

(5)iBase是适应Internet发展的需要而产生的数据库，它基于Web是一个广域网的海量数据库的思想，提供一个网上资源管理系统iBase Web，将网络服务器(WebServer)和数据库服务器(Database Server)直接集成为一个整体，使数据库系统和数据库技术成为Web的一个重要有机组成部分，突破了数据库仅充当Web体系后台角色的局限，实现数据库和Web的有机无缝组合，从而为在Internet/Intranet上进行信息管理乃至开展电子商务应用开辟了更为广阔的领域。

(6)iBase全面兼容各种大中小型的数据库，对传统关系数据库，如Oracle、Sybase、SQLServer、DB2、Informix等提供导入和链接的支持能力。

通过从上面的分析后我们可以预言，随着网络技术和网络应用技术的飞快发展，完全基于Internet应用的非结构化数据库将成为继层次数据库、网状数据库和关系数据库之后的又一重点、热点技术。