Rails [调查] 关于服务端的 log 的疑问
大家能不能分享一下自己的公司怎么做的？
- 比如手游公司，运营人员要能在 web 中看到用户充值的记录？（某个用户充值后发现钱没有到账，他会去找运营人员）
- 比如运营想知道最热的商品有哪些，你们是用 log 做的吗？还是在数据库中添加一些项来记录，还是专门用的数据库记录？
大家还可以从下面的方向分享下自己公司的方案，无论是 small 还是 large 的 scale
what to log
- nginx/webapp/database 等系统的
- 业务和运营相关的日志类似，支付相关的操作/安全相关的操作/用户数据分析的 log
where to log
- 到文件
- 到数据库系统中
- 到日志聚合系统中去
visualization
- 老板想看看今天用户量（老板用的 ui）
- 运维想看看今天的 4xx log 有没有人攻击系统（不需要 ui =。=）
- 后端想看看 5xx log 修 bug（挫一点的 ui）
- 运营人员想在 web 后台中看到昨天最热的 xxx，然后放进推荐的栏目（比老板用的 ui 挫一点）
我们目前用到的（很简单）
- 5xx log app 会丢到 sentry 里面
- 4xx 跑 cronjob
- google analytics 上面看业务数据
直接上 Logstash + Kibana 就搞定了 也可以用 Logstash 输出到 Graphite 再用最新 Grafana https://github.com/torkelo/grafana 这样效果也不错的
#3 楼 @humiaozuzu 先装 jvm，然后装 es，然后 logstash，kibana 从 github 上面 clone 下来，是一个 nodejs 程序，拿起跑就是了
#3 楼 @humiaozuzu 没看过类似的文章，都是根据业务配置的 至于存入 ES，具体看你业务，如果要求比较严谨，还是写个离线任务定时同步分析 log，然后像 @swordray 说的存入数据库 目前这套方案是最快速灵活的，Logstash 本身也提供多种输出，比如你可以存到 mongodb
#7 楼 @cassiuschen 你好，我根据你的这篇文章对 logstash 做的配置，在/etc/logstash/local.conf 中配置完之后，启动 logstash 时报错，说是配置文件错误
Unknown setting 'debug' for stdout {:level=>:error} Unknown setting 'debug_format' for stdout {:level=>:error}
不用比如，楼主应该就是做手机游戏的创业公司吧……好吧我瞎猜的，猜错了莫见怪 ;-)
作为游戏业内人员，可以说这不是一个技术问题，所以直接从运营层面拆分需求，各自用自己的方法去做就好了。以我们的项目举例：
- 首先运营需要的数据，就如 4 楼所说，财务数据是必须计入数据库，而且数据粒度非常小，因为有会有审计的需求
- 对于创业公司，更建议所有用户的关键行为（功能使用，按钮点击，界面留存/弹出率）都需要记录
- 使用单独的日志数据库记录所有信息（我们是用 Oracle 建数据系统）
- 运营人员需要从日志数据库查阅单个用户行为数据，审查用户的数据作为操作的依据
- 运营统计数据可以通过 crontab 以一定时间间隔统计
- 需要阶段性进行大规模数据挖掘的时候，由 DBA 按照统计要求到日志库中筛查汇总
- 运维的日志由运维自己的系统和方式去做，怎么方便怎么来
- 运行时的异常必须记入日志，并且邮件通知
- 财务数据在本身的数据库中是有了的，你说的“计入数据库”指的是计入到统计的数据库？
- 关键行为你们都是定制好日志格式记录的对吗？有没有介绍的技术文章
- 这里方便说下你们用的什么系统吗？
- 统计数据方便说下用的是数据库系统吗？还有可视化用的是？
- 不是，在产品库中存详细的交易元数据，财务用独立的统计库，会每天一次从游戏库拉取数据做处理
- 每个项目都不同，一般都是沿用厂商自己的设定，必要的时候我们在数据库层面多做一层抽取封装
- 产品数据库一般都是 MySQL，数据仓库用的 Oracle，公司自己的数据体系和系统，所以整套都是自己开发的，就是不好用 Orz
#22 楼 @humiaozuzu 就是每个项目的数据库结构是不同的，只是内容有相似性（比如都是订单记录），而我们的系统基于一定的数据结构标准。所以就需要进行一次转换，这个转换在数据库层面进行