大数据下数据库构架

A. 大数据量的系统的数据库结构如何设计

1、把你表中经常查询的和不常用的分开几个表，也就是横向切分
2、把不同类型的分成几个表，纵向切分
3、常用联接的建索引
4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率
5、用优化器，优化你的查询
6、考虑冗余，这样可以减少连接
7、可以考虑建立统计表，就是实时生成总计表，这样可以避免每次查询都统计一次
mrzxc 等说的好，考虑你的系统，注意负载平衡，查询优化，25 万并不大，可以建一个表，然后按mrzxc 的3 4 5 7 优化。 速度，影响它的因数太多了，且数据量越大越明显。
1、存储 将硬盘分成NTFS格式，NTFS比FAT32快，并看你的数据文件大小，1G以上你可以采用多数据库文件，这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。
2、tempdb tempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID 0上，这样它的性能最高,不要对它设置最大值让它自动增长
3、日志文件 日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上，这样也可以提高硬盘I/O性能。
4、分区视图 就是将你的数据水平分割在集群服务器上，它适合大规模OLTP,SQL群集上，如果你数据库不是访问特别大不建议使用。
5、簇索引 你的表一定有个簇索引，在使用簇索引查询的时候，区块查询是最快的，如用between，应为他是物理连续的，你应该尽量减少对它的updaet,应为这可以使它物理不连续。
6、非簇索引 非簇索引与物理顺序无关，设计它时必须有高度的可选择性，可以提高查询速度，但对表update的时候这些非簇索引会影响速度，且占用空间大，如果你愿意用空间和修改时间换取速度可以考虑。
7、索引视图 如果在视图上建立索引,那视图的结果集就会被存储起来，对与特定的查询性能可以提高很多，但同样对update语句时它也会严重减低性能，一般用在数据相对稳定的数据仓库中。
8、维护索引 你在将索引建好后，定期维护是很重要的，用dbcc showcontig来观察页密度、扫描密度等等，及时用dbcc indexdefrag来整理表或视图的索引,在必要的时候用dbcc dbreindex来重建索引可以受到良好的效果。 不论你是用几个表1、2、3点都可以提高一定的性能，5、6、8点你是必须做的，至于4、7点看你的需求，我个人是不建议的。打了半个多小时想是在写论文，希望对你有帮助。

B. 大数据系统架构包含内容涉及哪些

【导语】大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。大数据架构是大数据技术应用的一个非常常见的形式，那么大数据系统架构包含内容涉及哪些?下面我们就来具体了解一下。

1、数据源

所有大数据架构都从源代码开始。这可以包含来源于数据库的数据、来自实时源(如物联网设备)的数据，及其从应用程序(如Windows日志)生成的静态文件。

2、实时消息接收

假如有实时源，则需要在架构中构建一种机制来摄入数据。

3、数据存储

公司需要存储将通过大数据架构处理的数据。一般而言，数据将存储在数据湖中，这是一个可以轻松扩展的大型非结构化数据库。

4、批处理和实时处理的组合

公司需要同时处理实时数据和静态数据，因而应在大数据架构中内置批量和实时处理的组合。这是由于能够应用批处理有效地处理大批量数据，而实时数据需要立刻处理才能够带来价值。批处理涉及到长期运转的作业，用于筛选、聚合和准备数据开展分析。

5、分析数据存储

准备好要分析的数据后，需要将它们放到一个位置，便于对整个数据集开展分析。分析数据储存的必要性在于，公司的全部数据都聚集在一个位置，因而其分析将是全面的，而且针对分析而非事务进行了优化。这可能采用基于云计算的数据仓库或关系数据库的形式，具体取决于公司的需求。

6、分析或报告工具

在摄入和处理各类数据源之后，公司需要包含一个分析数据的工具。一般而言，公司将使用BI(商业智能)工具来完成这项工作，而且或者需要数据科学家来探索数据。

关于大数据系统架构包含内容涉及哪些，就给大家分享到这里了，希望对大家能有所帮助，作为新时代大学生，我们只有不算提升自我技能，充实自我，才是最为正确的选择。

C. 大数据网站架构一般是怎样的

Flickr架构、YouTube网站架构、PlentyOfFish 网站架构学习、WikiPedia技术架构学习笔记。这几个都很典型

D. 大数据下的地质资料信息存储架构设计

颉贵琴 胡晓琴

(甘肃省国土资源信息中心)

摘要 为推进我国地质资料信息服务集群化产业化工作，更大更好地发挥地质资料信息的价值，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。

关键词 大数据 地质资料 存储 NoSQL 双数据库

0 引言

新中国成立60多年来，我国形成了海量的地质资料信息，为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题，使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力，充分发挥地质资料信息的服务功能，扩大服务领域，国土资源部根据国内外地质工作的先进经验，做出了全面推进地质资料信息服务集群化产业化工作的部署。

目前，全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理，并对其中重要地质资料进行数字化和存储工作。然而，由于我国地质资源丰富，经过几十年的积累，已经形成了海量的地质资料，数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中，随着共享数据量的不断增大，传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题，需要设计更加先进的数据存储架构来实现海量地质资料的存储。

而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据，科技工作者在不断的研究中，设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，提出一种海量地质资料存储架构，改进现有系统存储架构，以便于我国全面推进地质资料信息服务集群化产业化工作。

1 工作现状

1.1 国内外地质资料信息的存储现状

在美国，主要有两大地质资料公共服务平台，分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS)，其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初，澳大利亚出台了国家地球科学填图协议，采用先进的科学方法和技术进行数据存储，从而形成了第二代澳大利亚陆地地质图。

目前，我国地质资料信息服务集群化产业化工作刚刚起步，虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台，并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致，因此各地方所使用的存储系统也不尽相同，主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展，同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而，该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题，也没有给出明确的解决方案。

1.2 大数据的存储架构介绍

大数据是近年在云计算领域中出现的一种新型数据，具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持，转而采用灵活的、分布式的数据存储方式管理数据，从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念，以键值对进行存储，采用的数据字的结构不固定，每一个元组可以有不一样的字段，且每个元组可以根据自己的需要增加一些自己的键值对，可以减少一些检索时间和存储空间。目前，应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大数据下的地质资料信息存储架构设计

根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署，国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台，实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。

为了与现有系统和现有的工作进行对接，并为将来地质资料进入大数据时代后的存储工作做准备，本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。

整个系统可以根据不同的用户等级分为不同的用户管理层，由于图幅限制，在图1 中仅仅展示了3级：国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。

每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器；甘肃省国土资源信息中心可以单独管理一个服务器，陕西省国土资源信息中心可以单独管理一个服务器；甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。

在服务器上分别安装两套数据库管理系统，一套是原有的MySQL数据库管理系统，另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件，用于进行用户层和数据库的通信以及两套数据库之间的通信。

由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时，他所影响的数据库仅仅是本地数据库，存储效率较高；当用户需要从多个数据库读取数据时，顶层的共享服务平台会根据用户需求进行任务分解，将任务分发给下层的管理层进行数据库读取，由于各个数据库并行读取，从而提高了数据库读取效率。

图1 大数据下的地质资料信息存储架构框图

2.1 用户管理层

用户管理层根据权限范围，分为多层(本文以3层为例)。

位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。

用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。

与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料，还要存储注册用户信息等数据。

下级管理层任务分配是指如果用户需要访问多个下层数据库，用户只需要输入查询这几个下层数据库的命令，而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图，则用户只需要输入这几个地方及铁矿等查询条件，系统将自动把各个省的数据库查询任务分派到下级管理层。

同理，位于下层的省级管理层和市级管理层除了没有用户访问权限功能外，其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。

2.2 MySQL和NoSQL的融合

MySQL是关系型数据库，它支持SQL查询语言，而NoSQL是非关系型数据库，它不支持SQL查询语言。用户要想透明地访问这两套数据库，必须要设计数据库管理器中间件，作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。

图2 数据库管理器模型

服务器管理器通过用户程序接口与应用程序进行通讯，通过MySQL数据库接口与MySQL服务器通讯，通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后，交由数据库访问命令解析器进行命令解析，从而形成MySQL访问命令或者NoSQL访问命令，通过相应的数据库接口访问数据库；数据库返回访问结果后经过汇总，由应用程序接口返回给应用程序。

两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中，从而便于系统的升级和优化。

2.3 系统的存储和检索模式

在本存储框架设计中，系统采用分布式网络存储模式，即采用可扩展的存储结构，利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力，提高了系统的可靠性和可用性，还易于进行系统扩展。另外，由于地质资料信息存储的特殊性，各地方用户的数据存储工作基本都是在本地服务器进行，很少通过网络进行远程存储，所以数据存储效率较高。

在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统，分别用于存储地质资料信息中的结构化数据和非结构化数据。其中，NoSQL型数据库作为主数据库，用于存储一部分结构化数据和全部的非结构化数据；而MySQL数据库作为辅助数据库，用于存储一部分结构化的数据，以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储，因此系统具有很好的适应性和灵活性。

2.4 安全性设计

地质资料信息是国家的机密，地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后，地质资料常常在计算机以及网络上进行传输，地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。

数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能，以保障地质信息在数据库中的存储安全；当用户登录系统访问数据库时，必须进行用户甄别和实名认证，这主要是对用户的身份进行有效的识别，防止非法用户访问数据库；在对地质资料进行网络传输时，应该首先将数据进行加密，然后再进行网络传输，以防止地质信息在传输过程中被窃取。

3 结语

提高地质资料数字化信息化水平，是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建，具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。

参考文献

[1]吴金朋.一种大数据存储模型的研究与应用[D].北京：北京邮电大学计算机学院，2012.

[2]吴广君，王树鹏，陈明，等.海量结构化数据存储检索系统[J].计算机研究与发展，2012，49(Suppl)：1～5.

[3]黄

，易晓东，李姗姗，等.面向高性能计算机的海量数据处理平台实现与评测[J].计算机研究与发展，2012，49(Suppl)：357～361.

E. 大数据时代如何构建高性能数据库平台

在数据爆炸的时代，给众多IT从业人员带来了相当大的困扰—伴随着大数据分析，专商业智属能的发展，数据量呈现指数增长，传统数据处理系统已不堪重负。在这样的背景下，“数据库平台的构建”逐渐成为一个备受关注的话题。
对于数据库系统而言，绝大多数情况下影响数据库性能的三个要素是：数据运算能力、数据读写时延和数据吞吐带宽，简称计算、时延、吞吐。计算指的是CPU的运算能力，时延是数据从存储介质跑到CPU所需的时间长短，吞吐则是数据从存储介质到CPU的道路宽度。一般情况下，关注计算和时延是比较多的，但是在数据量越来越多的情况下，吞吐也成为影响数据库性能的重要因素。如果吞吐带宽不够，会造成计算等待队列的增加，CPU占用率虚高不下。这种情况下，即使增加再多的计算资源也于事无补，相当于千军万马挤独木桥，马再好也是枉然。一个高性能的数据库平台，一定是计算、时延、吞吐三方面的能力齐头并进，相互匹配。
计算能力由CPU主频和核数决定，实践中看CPU占用率就能够大致确定CPU配置是否合适。时延的指标很简单，时间是衡量时延的唯一指标。吞吐量则是通过每秒在I/O流中传输的数据总量来衡量的。
以上由物联传媒转载，如有侵权联系删除

F. “大数据架构”用哪种框架更为合适

个完整的大数据平台应该提供离线计算、即席查询、实时计算、实时查询这几个方面的功能。
hadoop、spark、storm 无论哪一个，单独不可能完成上面的所有功能。

hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoop maprece、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题；spark streaming解决的是实时计算问题；另外，还需要HBase或者Redis等NOSQL技术来解决实时查询的问题。

除了这些，大数据平台中必不可少的需要任务调度系统和数据交换工具；
任务调度系统解决所有大数据平台中的任务调度与监控；数据交换工具解决其他数据源与HDFS之间的数据传输，比如：数据库到HDFS、HDFS到数据库等等。关于大数据平台的架构技术文章，可搜索"lxw的大数据田地"，里面有很多。

G. 如何架构大数据系统 hadoop

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。

一、大数据建设思路

1）数据的获得

四、总结

基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。

H. 大数据架构究竟用哪种框架更为合适

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。

一、大数据建设思路

1）数据的获得

通过大数据的引入和部署，可以达到如下效果：

1）数据整合

·统一数据模型：承载企业数据模型，促进企业各域数据逻辑模型的统一；

·统一数据标准：统一建立标准的数据编码目录，实现企业数据的标准化与统一存储；

·统一数据视图：实现统一数据视图，使企业在客户、产品和资源等视角获取到一致的信息。

2）数据质量管控

·数据质量校验：根据规则对所存储的数据进行一致性、完整性和准确性的校验，保证数据的一致性、完整性和准确性；

·数据质量管控：通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控，以达到数据质量逐步完善。

3）数据共享

·消除网状接口，建立大数据共享中心，为各业务系统提供共享数据，降低接口复杂度，提高系统间接口效率与质量；

·以实时或准实时的方式将整合或计算好的数据向外系统提供。

4）数据应用

·查询应用：平台实现条件不固定、不可预见、格式灵活的按需查询功能；

·固定报表应用：视统计维度和指标固定的分析结果的展示，可根据业务系统的需求，分析产生各种业务报表数据等；

·动态分析应用：按关心的维度和指标对数据进行主题性的分析，动态分析应用中维度和指标不固定。

四、总结

基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。

I. 大数据中MySQL的数据表结构

我们都知道当我们建立数据表(innodb或myisam)时，会生成相应的文件(如：MYD,MYI,frm)
在这里，我们探讨下使用frm文件恢复 innodb和myisam类型表的结构，不过由于他们存储引擎的特性，所以恢复的方法也不一样，以下是详细的恢复过程。

myisamchk "xxx.frm" myisamchk 可以试出来，库是不是 myisam 类型

1：恢复innodb类型数据表结构
我们先从test数据目录 一个innodb.frm文件到另外一个库(innodb)
复制代码 代码如下:
mysql> USE innodb;
mysql> DATABASE changed
mysql> SHOW CREATE TABLE innodb;
ERROR 1146 (42S02): TABLE 'innodb.innodb' doesn't exist

说明拷贝过来的文件是不能直接使用的,然后我们建立另外一个库(tmp),并在这个库里建立一个innodb类型的表

复制代码 代码如下:
mysql> CREATE DATABASE tmp;
mysql> CREATE TABLE innodb (`id` int(11) NOT NULL) ) ENGINE=InnoDB
DEFAULT CHARSET=utf8;