Gem ActiveRecord 用 bulk_insert 来批量插入数据，提高效率
实际的项目环境中，我们时常会有一次动作写入多条数据的场景，比如导数据，创建通知、Event 给多个人...
简单做法可能大家会直接循环插入
receiver_ids.each do |user_id|
Event.create(user_id: user_id, event_type: 'test')
end
或者你可能会在外面包个 transaction 来减少 Commit 次数，从而微微的提速，但还是有 N 次数据库的调用
Event.transaction do
receiver_ids.each do |user_id|
Event.create(user_id: user_id, event_type: 'test')
end
end
或者你还知道 SQL 批量插入的方法：
INSERT INTO events (event_type, user_id) VALUES("test", 2),("test", 5),("test", 8) ...;
ref: MySQL, PostgreSQL
关于第三种方式，有 Gem 帮助我们简单来实现：
https://github.com/jamis/bulk_insert
# Gemfile
gem 'bulk_insert'
然后我们就可以用了：
Event.bulk_insert(set_size: 100) do |worker|
receiver_ids.each do |user_id|
worker.add({ user_id: user_id, event_type: 'test' })
end
end
相关链接
ywjno
#5
2016年04月07日
不想用 gem 的话以下代码可实现该功能
class ActiveRecord::Base
def self.import!(record_list)
raise ArgumentError "record_list not an Array of Hashes" unless record_list.is_a?(Array) && record_list.all? {|rec| rec.is_a? Hash }
key_list, value_list = convert_record_list(record_list)
sql = "INSERT INTO #{self.table_name} (#{key_list.join(", ")}) VALUES #{value_list.map {|rec| "(#{rec.join(", ")})" }.join(" ,")}"
self.connection.insert_sql(sql)
end
def self.convert_record_list(record_list)
key_list = record_list.map(&:keys).flatten.uniq.sort
value_list = record_list.map do |rec|
list = []
key_list.each {|key| list << ActiveRecord::Base.connection.quote(rec[key]) }
list
end
return [key_list, value_list]
end
end
hooopo
#12
2016年04月07日
