导航:首页 > 网络数据 > mysql大数据排序慢

mysql大数据排序慢

发布时间:2021-12-03 05:54:29

① mysql 增加排序 性能差很多 怎么优化

1、ORDER
BY的索引优化。如果一个SQL语句形如:
SELECT
[column1],[column2],….
FROM
[TABLE]
ORDER
BY
[sort];
在[sort]这个栏位上建立索引就可以实现利用索引进行order
by
优化。
2、WHERE
+
ORDER
BY的索引优化,形如:
SELECT
[column1],[column2],….
FROM
[TABLE]
WHERE
[columnX]
=
[value]
ORDER
BY
[sort];
建立一个联合索引(columnX,sort)来实现order
by
优化。
注意:如果columnX对应多个值,如下面语句就无法利用索引来实现order
by的优化
SELECT
[column1],[column2],….
FROM
[TABLE]
WHERE
[columnX]
IN
([value1],[value2],…)
ORDER
BY[sort];
3、WHERE+
多个字段ORDER
BY
SELECT
*
FROM
[table]
WHERE
uid=1
ORDER
x,y
LIMIT
0,10;
建立索引(uid,x,y)实现order
by的优化,比建立(x,y,uid)索引效果要好得多。
MySQL
Order
By不能使用索引来优化排序的情况
*
对不同的索引键做
ORDER
BY
:(key1,key2分别建立索引)
SELECT
*
FROM
t1
ORDER
BY
key1,
key2;
*
在非连续的索引键部分上做
ORDER
BY:(key_part1,key_part2建立联合索引;key2建立索引)
SELECT
*
FROM
t1
WHERE
key2=constant
ORDER
BY
key_part2;
*
同时使用了
ASC

DESC:(key_part1,key_part2建立联合索引)
SELECT
*
FROM
t1
ORDER
BY
key_part1
DESC,
key_part2
ASC;
*
用于搜索记录的索引键和做
ORDER
BY
的不是同一个:(key1,key2分别建立索引)
SELECT
*
FROM
t1
WHERE
key2=constant
ORDER
BY
key1;
*
如果在WHERE和ORDER
BY的栏位上应用表达式(函数)时,则无法利用索引来实现order
by的优化
SELECT
*
FROM
t1
ORDER
BY
YEAR(logindate)
LIMIT
0,10;

② mysql表数据已排序好,order by查询速度会不会更快

不会更快
因为数据库本身不知道这个数据是否有序.

orderby是数据库查询的最后一步.执行顺序在 select, where等等过滤条件之后.
由于数据库本身不知道是否有序,所以必然会执行orderby进行排序.只不过排序是在内存中进行判断,并且排序的结果不需要变而已,但还是需要执行排序,进行数据比对.
所以不会更快.
ps:既然数据表已经是有序的...为什么还要orderby排序?直接用limit进行切片就好了阿?这不是多次一举吗?

③ mysql 大数据量的表联合查询慢,如何处理

避免全表查询,建立索引。order by
优化你的sql语句。
在where子句中尽量避免区域查询,例如不等于,大于小于之类的操作符
like语句也会导致全表查询
等等

④ mysql结构应该怎么设置才能保证大数据量不慢

在Apache, PHP, MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分。对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数。 下面我们了解一下MySQL优化的一些基础,MySQL的优化我分为两个部分,一是服务器物理硬件的优化;二是MySQL自身(my.cnf)的优化。 (1) 服务器硬件对MySQL性能的影响 a) 磁盘寻道能力(磁盘I/O),以目前高转速SCSI硬盘(7200转/秒)为例,这种硬盘理论上每秒寻道7200次,这是物理特性决定的,没有办法改变。MySQL每秒钟都在进行大量、复杂的查询操作,对磁盘的读写量可想而知。所以,通常认为磁盘I/O是制约MySQL性能的最大因素之一,对于日均访问量在100万PV以上的Discuz!论坛,由于磁盘I/O的制约,MySQL的性能会非常低下!解决这一制约因素可以考虑以下几种解决方案: 使用RAID-0+1磁盘阵列,注意不要尝试使用RAID-5,MySQL在RAID-5磁盘阵列上的效率不会像你期待的那样快; 抛弃传统的硬盘,使用速度更快的闪存式存储设备。经过Discuz!公司技术工程的测试,使用闪存式存储设备可比传统硬盘速度高出6-10倍左右。 b) CPU 对于MySQL应用,推荐使用S.M.P.架构的多路对称CPU,例如:可以使用两颗Intel Xeon 3.6GHz的CPU。 c) 物理内存对于一台使用MySQL的Database Server来说,服务器内存建议不要小于2GB,推荐使用4GB以上的物理内存。 (2) MySQL自身因素当解决了上述服务器硬件制约因素后,让我们看看MySQL自身的优化是如何操作的。对MySQL自身的优化主要是对其配置文件my.cnf中的各项参数进行优化调整。下面我们介绍一些对性能影响较大的参数。 由于my.cnf文件的优化设置是与服务器硬件配置息息相关的,因而我们指定一个假想的服务器硬件环境: CPU: 2颗Intel Xeon 2.4GHz 内存: 4GB DDR 硬盘: SCSI 73GB 下面,我们根据以上硬件配置结合一份已经优化好的my.cnf进行说明: # vi /etc/my.cnf 以下只列出my.cnf文件中[mysqld]段落中的内容,其他段落内容对MySQL运行性能影响甚微,因而姑且忽略。 [mysqld] port = 3306 serverid = 1 socket = /tmp/mysql.sock skip-locking # 避免MySQL的外部锁定,减少出错几率增强稳定性。 skip-name-resolve 禁止MySQL对外部连接进行DNS解析,使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意,如果开启该选项,则所有远程主机连接授权都要使用IP地址方式,否则MySQL将无法正常处理连接请求! back_log = 384 指定MySQL可能的连接数量。当MySQL主线程在很短的时间内接收到非常多的连接请求,该参数生效,主线程花费很短的时间检查连接并且启动一个新线程。 back_log参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中。 如果系统在一个短时间内有很多连接,则需要增大该参数的值,该参数值指定到来的TCP/IP连接的侦听队列的大小。不同的操作系统在这个队列大小上有它自己的限制。 试图设定back_log高于你的操作系统的限制将是无效的。默认值为50。对于Linux系统推荐设置为小于512的整数。 key_buffer_size = 256M # key_buffer_size指定用于索引的缓冲区大小,增加它可得到更好的索引处理性能。 对于内存在4GB左右的服务器该参数可设置为256M或384M。 注意:该参数值设置的过大反而会是服务器整体效率降低! max_allowed_packet = 4M thread_stack = 256K table_cache = 128K sort_buffer_size = 6M 查询排序时所能使用的缓冲区大小。注意:该参数对应的分配内存是每连接独占!如果有100个连接,那么实际分配的总共排序缓冲区大小为100 × 6 = 600MB。所以,对于内存在4GB左右的服务器推荐设置为6-8M。 read_buffer_size = 4M 读查询操作所能使用的缓冲区大小。和sort_buffer_size一样,该参数对应的分配内存也是每连接独享! join_buffer_size = 8M 联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享! myisam_sort_buffer_size = 64M table_cache = 512 thread_cache_size = 64 query_cache_size = 64M 指定MySQL查询缓冲区的大小。可以通过在MySQL控制台执行以下命令观察: # > SHOW VARIABLES LIKE '%query_cache%'; # > SHOW STATUS LIKE 'Qcache%'; # 如果Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的情况; 如果Qcache_hits的值非常大,则表明查询缓冲使用非常频繁,如果该值较小反而会影响效率,那么可以考虑不用查询缓冲;Qcache_free_blocks,如果该值非常大,则表明缓冲区中碎片很多。 tmp_table_size = 256M max_connections = 768 指定MySQL允许的最大连接进程数。如果在访问论坛时经常出现Too Many Connections的错误提 示,则需要增大该参数值。 max_connect_errors = 10000000 wait_timeout = 10 指定一个请求的最大连接时间,对于4GB左右内存的服务器可以设置为5-10。 thread_concurrency = 8 该参数取值为服务器逻辑CPU数量×2,在本例中,服务器有2颗物理CPU,而每颗物理CPU又支持H.T超线程,所以实际取值为4 × 2 = 8 skip-networking 开启该选项可以彻底关闭MySQL的TCP/IP连接方式,如果WEB服务器是以远程连接的方式访问MySQL数据库服务器则不要开启该选项!否则将无法正常连接!

⑤ mysql order by 排序效率慢 SQL 附上

既然查询速度特别快 而且你也只需要排名前一百条的语句,可以用where语句再过滤一下,然后对查询出来的语句再进行排序。相对来说需要排序的数据量会少一些。

例如:

1、select top 100 * from mytable order by operateDate;

2、select * from (select top 100 * from mytable ) a order by a.operateDate;

如果表内数据量比较大的话 ,2 的速度是优于1的。毕竟1是先对表内所有数据排序,然后再进行查询,2只需要排序过滤之后的数据。

⑥ MySQL外链接查询加排序执行慢怎样解决

mysql中的sql语句是按照从左到右,从上到下的顺序执行的。
要优化的话先把能排除大部分记录的条件判断放在前面,若还是慢,则可以对某些字段建立索引。

⑦ sql 分组数排序 速度太慢

分组聚合就会慢一些,首先看看where条件中的列名是否建立了索引、索引是否起作用。如实在不行,可以考虑使用物化视图(使用你这个sql生成),并让其自动更新,查询时只查询该视图,速度就快了。(这样做就把聚合计算时间分散了、碎片化了)。仅供参考。

⑧ mysql 中数据量大时超30万,加上order by 速度就变慢很多,一般需要0.8秒左右,不加只需要0.01几秒

那肯定的
ORDERY BY是要对某个字段进行排序的,有人喜欢加索引解决,但是若是对于一个频繁有写操作的表来说,一个索引还好说,要是有多个索引,数据表的大小增加会相当惊人
另上,建议使用InnoDB引挚,有人说这样速度会快很多
对于大数据级的数据库来说,最关键的一步还是要优化好你的SQL,还有就是使用非常规的作法,供参考
1,以牺牲空间换取速度,就是说看能不能进行一些适当的缓存
2,以牺牲速度换取空间,这对于小空间容量的主机可以采用

⑨ mysql怎样对临时字段高效排序(30万条数据)

$sql = "SELECT t.*, f.name FROM threads t, forums f where f.fid=t.fid ORDER BY id=10000 desc , t.dateline DESC LIMIT 0, 10";
但效率比较差。
下面这个效率上会好一些

SQL code?

select * from (

(SELECT t.*, f.name FROM threads t, forums f where f.fid=t.fid id=10000)
union all
(SELECT t.*, f.name FROM threads t, forums f ORDER BY t.dateline DESC LIMIT 0, 10)
) t
order by id=10000 desc,datelineDESC LIMIT 0, 10

⑩ mysql大数据量情况下的排序

字符集很简单,但是数据的排序需要通过SQL语句来协助完成,ORDER BY 语句,代码如下:

// 假设你回已经成答功连接了数据库($mysqli变量假设为连接的资源句柄)
// 通过对象方式设置字符编码
$mysqli -> set_charset('utf8');
// 通过函数方式设置字符编码
mysqli_set_charset($mysqli, 'utf8');

// 那么接下来是数据排序的话,需要编写一条SQL查询语句(DESC 倒序排列 | ASC 正序排列)
$sql = "SELECT `字段` FROM `表名` WHERE TRUE ORDER BY `字段` DESC;";

如果还有什么问题,欢迎追问~

阅读全文

与mysql大数据排序慢相关的资料

热点内容
怎么导入js文件怎么打开 浏览:517
win8和linux双系统安装 浏览:328
苹果5按屏幕有紫色 浏览:272
qq已失效的文件怎么找回 浏览:63
步步高s7系统升级 浏览:179
win10双启动菜单 浏览:749
广州塔如何编程 浏览:817
如何提取指定数据到另外一列 浏览:934
macbook如何用自带软件编程 浏览:467
燕秀工具箱安装教程 浏览:995
进军大数据 浏览:480
单片机视频教程网盘 浏览:722
83描述文件还原 浏览:357
FindMyFriends安卓 浏览:899
2010word删除页眉横线 浏览:208
小程序名称问题 浏览:821
win10网吧专版 浏览:453
数据线哪个颜色的是txrx 浏览:664
微信打飞机有数据库吗 浏览:162
是什么编程世界 浏览:564

友情链接