大数据mysql2013

㈠ mysql大数据量查询

表的结构再简单，也架不住数据量庞大啊。只有2个字段的表，查询语句上好像也做版不出什么优化。个人想权法是，防伪码不会经常被查。一般一个防伪码被查个两三次就差不多了吧，是否可以考虑把建立时间较久远的防伪码去除，只保留一段时间以内的。或者按序列号创建时间分表存储数据，时间较为久远的数据单独放一张表；近期的新序列号放在另一张表，增加序列号生成时间字段。但凡在一定的创建时间之前的老序列号，就去查老表老数据，否则就查新表新数据。序列号的生成应该是有规律的吧，大数据只能分表来提升查询效率。

㈡ 利用MySQL数据库如何解决大数据量存储问题

mysql解决大数据量存储问题的方法是分表。
1.如何去分表
根据什么策略把现有表中的数据分到多个表中，并且还有考虑到以后的扩展性上。

建立一张索引表，用户id与数据库id对应，（这里他将相同结构的表分在了不同的数据库中进一步减少压力，但同时对于数据的同步也需要通过其他手段来解决），其本质也是分表了同时分库了。这么做的好处是便于以后的扩展，但损耗一点性能，因为会多一次查询。这样索引表可能会成为新的瓶颈，除非用户不会一直增长哈。
我的做法属于另一种，写了个算法通过计算某列值，按照一定规律将数据大致均分在每个分表中。至于扩展性，写算法时候考虑进去了以后增加分表数的问题了。
选择哪种策略，是要看自己的表的业务特点了，方法没有绝对的优缺，还是要根据自己的需求选取。
2.分表之后主键的维护
分表之前，主键就是自动递增的bigint型。所以主键的格式已经提早被确定了，像什么uuid之类的就被直接pass掉了。
还有想过自己写一个主键生成程序，利用Java 的Atomic原子量特性，但是考虑还需要增加工作量并且高并发下，这里很可能是个隐患。
还有就是通过应用层上管理主键，如redis中有原子性的递增。

㈢ 数据库mysql中大数据量处理的问题

我最近刚来整过和你自类似的事情 呵呵。
你这个问题可以分成2个问题来解决
1.建立索引 首先把data_content_21.邮件， data_content_9.帐号建立索引。建立索引不会的话推荐你一个绿色工具 HAP_SQLyog_Enterprise_7.14网上自己去下很多的，然后登录进去以后选择你的表右键-》建立索引-》选上你要建立索引的字段就好了
2.mysql毕竟是轻量级数据库，如果数据超过100万条，建议你使用mysql的分表机制，需要mysql5.4.1以上的版本，分表机制在那个绿色工具里也有 自己试下吧

㈣ 怎么对MySQL数据库操作大数据

mysql处理大数据很困难吧，不建议使用mysql来处理大数据。
mysql有个针对大数据的产品，叫infobright，可以看看专，属不过好像是收费的。
或者研究下，Hadoop，Hive等，可处理大数据。
如果有预算，可以使用一些商业大数据产品，国内的譬如永洪科技的大数据BI产品，不仅能高性能处理大数据，还可做数据分析。

当然如果是简单的查询，mysql如果做好索引，可能可以提高性能。

㈤ mysql大数据搜索

（1） 选择最有效率的表名顺序(只在基于规则的优化器中有效)：
ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表.
（2） WHERE子句中的连接顺序．：
ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾.
（3） SELECT子句中避免使用 ‘ * ‘：
ORACLE在解析的过程中, 会将'*' 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间
（4） 减少访问数据库的次数：
ORACLE在内部执行了许多工作: 解析SQL语句, 估算索引的利用率, 绑定变量 , 读数据块等；
（5） 在SQL*Plus , SQL*Forms和Pro*C中重新设置ARRAYSIZE参数, 可以增加每次数据库访问的检索数据量 ,建议值为200
（6） 使用DECODE函数来减少处理时间：
使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表.
（7） 整合简单,无关联的数据库访问：
如果你有几个简单的数据库查询语句,你可以把它们整合到一个查询中(即使它们之间没有关系)
（8） 删除重复记录：
最高效的删除重复记录方法 ( 因为使用了ROWID)例子：
DELETE FROM EMP E WHERE E.ROWID > (SELECT MIN(X.ROWID)
FROM EMP X WHERE X.EMP_NO = E.EMP_NO);
（9） 用TRUNCATE替代DELETE：
当删除表中的记录时,在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况) 而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短. (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML)
（10） 尽量多使用COMMIT：
只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:
COMMIT所释放的资源:
a. 回滚段上用于恢复数据的信息.
b. 被程序语句获得的锁
c. redo log buffer 中的空间

㈥ 用MySQL管理大数据

By the end of this course,you will be able to

1.Describe the structure of relational databases,

2.Interpret and create entity relationship diagrams and relational schamas that describe the contents of specific criteria, and retrieve such data from MySQL an teradata databases that contain over one million rows of data.

3.Execute practices that limit the impact of your queries on other coworkers.

4. Summarize rows of data using aggregate function and segment aggregations according to specified variables.

5. Combine and manipulate data from multiple tables, across a database.

6.Retrieve records and compute calculations that are dependent on dynamic data features. And translate data analysis questions into SQL queries.

㈦ mysql大数据量，行数多少与数据容量，哪个直接影响查询速度

首先mysql作为传统关系型数据库，并不适合大数据量的查询，一般来说，如果数据行数达到千万价格，查询的速度会有明显的下降。
影响查询速度的原因可以有很多，比如是否在常用字段上建立了索引，还有是否支持并发等等。

㈧ MySQL该如何进行大数据量快速插入方法和语句优

如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。例版如，如果列a被定权义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：
mysql> INSERT
INTO table (a,b,c) VALUES (1,2,3)
-> ON
DUPLICATE KEY UPDATE cc=c+1;
mysql> UPDATE
table SET cc=c+1 WHERE a=1;
如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。

㈨ 连接mysql错误2013

连接mysql错误2013是设置错误造成的，解决方法为：

1、回到电脑桌面，找到我的电脑点击右键。找到管理选项双击。

㈩ 如何将大数据娴MySql 数据库

1. 什么是大数据

1. 所谓大数据, 就是大的字节数据,或大的字符数据.

2. 标准 SQL 中提供了如下类型来保存大数据类型:

• 字节数据类型: tinyblob(256B), blob(64K), mediumblob(16M), longblob(4G)

• 字符数据类型: tinyclob(256B), clob(64K), mediumclob(16M), longclob(4G)

3. MySql 中处理字符的数据类型名称与 SQL 标准不同:

• 字符数据类型: tinytext(256B), text(64K), mediumtext(16M), longtext(4G)

• // 示例: 把 mp3 保存到数据库中// 需要在 MySql 配置文件中添加如下配置: `max_allowed_packet=10485760`// 因为 MySql 默认不允许数据包传输过大



• public class Demo{ // 将 mp3 文件保存到数据库中


• public void fun1(){ // 获取连接对象


• Connection con = JdbcUtils.getConnection(); // 提供 sql 模板, 获取 PreparedStatement 对象


• String sql = "INSERT INTO tab_bin VALUES(?,?,?)";


• PreparedStatement pstmt = con.prepareStatement(sql); // 设置 sql 模板参数


• pstmt.setInt(1,001);


• pstmt.setString(2,"hello.mp3"); // mp3 保存为 blob 类型的数据


• // 通过 commons-io 工具类, 将 mp3 转换成 byte[]


• Byte[] bytes = IOUtils.toByteArray(new FileInputStream("/Users/姓名/Desktop/hello.mp3")); // 使用 bytes, 创建 Blob 对象


• Blob blob = new SerialBlob(bytes);


• pstmt.setBlob(3,blob); // 发送 sql 语句


• pstmt.executeUpdate();


• } // 从数据库中获取 mp3 数据


• public void fun2(){ // 获取连接对象


• Connection con = JdbcUtils.getConnection(); // 获取 PreparedStatement 对象


• String sql = "SELECT * FROM tab_bin";


• PreparedStatement pstmt = con.prepareStatement(sql); // 发送 sql 语句, 返回 ResultSet 对象


• ResultSet rs = pstmt.executeQuery(); // 将 rs 中名为 data 列的数据


• if(rs.next()){


• Blob blob = rs.getBlob("data"); // 把 blob 转换成硬盘上的 mp3 文件



• // 1. 通过 blob 得到输入流对象


• // 2. 自己创建输出流对象


• // 3. 把输入流的数据写入到输出流中


• InputStream in = blob.getBinaryStream();


• OutputStream out = new FileOutputStream("/Users/姓名/Document/world.mp3"); // 使用工具类中的方法


• IOUtils.(in,out);


• }


• }


• }