新手问题 Ruby 高效 MySQL 数据库查找解决方法

xiaoxiao · 2013年09月03日 · 最后由 xiaoxiao 回复于 2013年09月03日 · 2994 次阅读

数据库里有很多数据，每条数据都有一个字段是时间（exercisetime），一个字段是值（value），现在前端需要得到是某一区间内所有的数据的值的和。

@data=[]
@totaldata=[]
@name=[]
Shgrade.all.each do |j|
  (1..7).each do |i|
    sum=0
    Shclass.where(:shgrade_id=>j.id).each do |z|
      z.users.each do |k|
        sum+=k.exercises.where("?<=exercisetime and exercisetime<=?", Time.new((Time.now+(i-7).day).strftime("%Y").to_i,  (Time.now+(i-7).day).strftime("%m").to_i, (Time.now+(i-7).day).strftime("%d").to_i), Time.new((Time.now+(i-7).day).strftime("%Y").to_i,  (Time.now+(i-7).day).strftime("%m").to_i, (Time.now+(i-7).day).strftime("%d").to_i,23,59,59)).sum(:value)
      end
    end
    @data<<sum
    sum=0
  end 
  @totaldata<<@data
  @data=[]      
end

Shgrade.all.each do |i|
  @name<<i.name
end

上面代码的主要功能是得出过去一周的所有数据的值得和。然后将结果放入到数组@totaldata中但是我发现如果数据量很多的话，这样查找的话很费时，我导入的测试数据有一千条多条，测试时需要将近半分钟。。。各位有什么经验可以分享的没。。。如何处理大数据

quakewang #1 2013年09月03日

几千条要半分钟... explain 一下生成的 sql 看看吧，估计是 time 没有加 index

xiaoxiao #2 2013年09月03日

如何加，我 google 了一下 mysql 加索引好像是可以提高查找速度的

zj0713001 #3 2013年09月03日

我的强迫症又犯了为什么不用 bewteen... 然后可以优化的地方就是Model.where(xxx).pluck(:value).sum() 这个结果就是你数据库里所有 value 的和了为什么前面还有个sum+=呢～

xiaoxiao #4 2013年09月03日

受教了

xiaoxiao #5 2013年09月03日

源码贴出来了，这解释了 3 楼为什么要加 sum 的原因了。刚才没贴全

zj0713001 #6 2013年09月03日

#5 楼 @xiaoxiao 直接这样写就行啊 k.exercises.where('exercisetime BETWEEN ? AND ?', i.days.ago.midnight, i.days.ago.midnight.tomorrow) 我没算你具体是要找哪天... 真心的... 不想看... 没排版太乱哈哈哈～

xiaoxiao #7 2013年09月03日

是有点乱，我排版排版，呵呵

xiaoxiao #8 2013年09月03日

很奇怪的是我没保存之前是好好的，一保存就成这挫样了

Rei #9 2013年09月03日

我给加上代码块格式了，楼主自己编辑一下，缩进没处理好。

楼主在新手问题区已经是熟面孔了，竟然还没有学会格式化代码。

zj0713001 #10 2013年09月03日

#7 楼 @xiaoxiao 有两点你的时间不需要自己拼字符串的直接用 Time 对象就行自己算好了哪天零点到哪天零点然后只 pluck 出你要的字段然后 sum 最后的 SQL 应该是个 sum(value) 这样的语句就对了... 你 1000 多的数据得怎样才能到半分钟啊

xiaoxiao #11 2013年09月03日

谢谢站长，我还是新手

xiaoxiao #12 2013年09月03日

同时谢谢 zj0713001 的大力支持

zj0713001 #13 2013年09月03日

#12 楼 @xiaoxiao 刚刚手误打错了 最后的 SQL 应该是个 sum(value) 这样的语句就对了 原回帖已改

xiaoxiao #14 2013年09月03日

@zj0713001 确实是这样的，要花半分钟的，总的数据量我说错了有一万多条，我改了也是这样的 sum+=k.exercises.where("exercisetime between ? and ?",0.days.ago.midnight+i.day-7.day, 0.days.ago.midnight.tomorrow+i.day-7.day).pluck(:step).sum()