MySQL 的 order by and limit 查询语句

sanster — Tue, 21 Mar 2017 19:53:57 +0800

继这个帖子（https://ruby-china.org/topics/32552）中提到的坑之后，今天又遇到了一个经典的 MySQL 坑 mysql slow order by with limit

代码里的原始查询，这个查询查出来 6 个结果，耗时 1000ms。

SELECT  merge_requests.*
FROM merge_requests
WHERE
  merge_requests.state IN ('opened','reopened') AND
  merge_requests.target_project_id = 32100
ORDER BY
  created_at DESC id DESC LIMIT 15 OFFSET 0;

按照 https://explainextended.com/2011/02/11/late-row-lookups-innodb/ 的介绍改写，耗时 500ms，还是好久。。

SELECT  m.*
FROM (
    SELECT id
    FROM merge_requests
    WHERE
      state IN ('opened','reopened') AND
      target_project_id = 32100
    ORDER BY created_at DESC
    LIMIT 15
   ) q
JOIN merge_requests m
ON m.id = q.id
ORDER by m.id;

如果把 LIMIT 改成 6 或者 6 以下，耗时 10ms！；如果把 where 中的条件去掉一个，耗时也是 10ms！...还没找到比较好的写法。。

gitlab 的各种分页很容易有这种查询，自己部署 gitlab 慎用 MySQL...不过大概搜了一下，好像 PG 也有这种问题，还是要优化查询语句啊。。。

Rails 中 MySQL IN () 关联子查询问题

sanster — Thu, 16 Mar 2017 20:13:57 +0800

背景

称如下这种查询为关联子查询：

SELECT ... FROM t1 WHERE t1.a IN (SELECT b FROM t2);

MySQL5.5 的关联子查询有很严重的性能问题，《高性能 MySQL》(第三版) 6.5.1 节里有提到，

MySQL 自己的 subquery-restrictions 文档的第一条也提到了这点。

问题

我们自己部署的 gitlab 用了 MySQL5.5 作为数据库（gitlab 官方推荐使用 PG...），代码里面有很多关联子查询，比如下面链接里的代码： https://gitlab.com/gitlab-org/gitlab-ce/blob/master/app/finders/union_finder.rb#L6

class UnionFinder
  def find_union(segments, klass)
    if segments.length > 1
      union = Gitlab::SQL::Union.new(segments.map { |s| s.select(:id) })
      klass.where("#{klass.table_name}.id IN (#{union.to_sql})")  # 这里会成 IN() 子查询
    else
      segments.first
    end
  end
end

目前解决的方法是用 union 先把 id 查出来然后再给 where：

ids = klass.find_by_sql(union.to_sql).map(&:id)
klass.where("#{klass.table_name}.id" => ids)

两个问题：

没有一个工具像 Bullet 那样能找出这种关联子查询？
除了一个一个人工找出来这种查询，以及迁移到 PG 的方案外，不知道有什么其他的方案？

虽然 MySQL 5.7 的 subquery-restrictions 文档里已经把 5.5 文档里第一条关于关联子查询的内容移除了，但是在 5.7 上测试以后发现还是很慢！是我的使用姿势不对么

sanster (cwq)

MySQL 的 order by and limit 查询语句

Rails 中 MySQL IN () 关联子查询问题

背景

问题