主要是日志在磁盘里不是文本格式,是 erlang 存的特殊二进制,用 erlang 读出来可以很方便的结构化。 用上 erlang 的 SMP 还是挺快的。大约 10 多 G 的日志文件,100 个文件左右,5 分钟(包括解压的时间)。就分析完了。
@mvj3 你的方案也挺不错的,貌似。我现在想做的也是差不多,不过我用的 erlang,加载进来就可以是结构化的,不需要正则解析之类。
原本也在想要不要开发这种应用,在这里偶然发现,很喜欢,如果需要帮忙开发功能,可以联系 [email protected]