关注一把~
赞~
呵呵,放心吧,没啥问题~
q_.._p
gcc
看 nginx 的 error log~
#24 楼 @ashchan
原因是我在清洗数据的时候用到了 ruby 的 array 中 include?方法,而这个方法是直接遍历。。如下图
详细的我在 blog 大致纪录了下: http://www.iceskysl.com/?p=1106
找到原因了~ 彻底解决了~~~
正在 Benchmark~
highcharts
#4 楼 @vincent 哦,sql 导入的速度还不错,但是准备 sql 的过程比较慢,过程是这样的:
准备 sql 文件 sqlFileName = RAILS_ROOT + "/log/insert.sql." + LOG_POSTFIX_FOR_YESTERDAY sqlfile = File.open(sqlFileName, "w")
打开日志文件 File.open("../log/apps.log.#{LOG_POSTFIX_FOR_YESTERDAY}").each do |line|
3.提取需要的数据 id, apk_id, ip, client_id, channel_id, uniquely_code ,track = line.split(" : ")[1].split(",")
生成 sql 串 sqlInsert = "INSERT logs_downloads.....balalaalala
写到 sql 文件里 sqlfile.puts( sqlInsert )
调 mysql 直接导入 sql
里面还有一些数据的清洗和排重工作~
每天的日志文件差不多 500w 行,解析生成 sql 的过程不理想(其中没用数据库操作)~ 难道是我磁盘性能很糟糕~~