May 19th, 2017

本文探讨在大规模日志数据收集过程中,针对日志文件的处理需要注意的技术细节。

1. 通配符和目录递归搜索

大多数场景下,日志往往被分散在不同的目录中,比如以日期为名的目录。因此,工具必需支持对目录的递归搜索和某种模式匹配。

POSIX标准定义了一组用于通配的特殊符号(Pattern Matching Notation):

  • *:匹配一个或多个字符
  • ?:匹配一个字符
  • []:匹配一个在范围内的字符
  • [!]:匹配一个不在范围内的字符

shell中很多常见命令都可以应用这种模式匹配规则,比如:

find / -name "*.so"

作为日志收集工具,也需要能够做到这种匹配,从而对日志进行初步筛选。在Unix系统中,可以使用fnmatch函数实现。

2. 热日志分析

日志的其中一个特点是:往往同时只有少数的日志文件正在写入,大部分日志文件都不是正在写入状态。那么在收集日志的时候,为了降低资源的消耗,需要有一种机制来判断哪些是“热更新”的日志,只对热更新日志进行读取。我们采用的方式是,如果在若干次采样周期内,发现读取文件都是EOF,那么认为这个文件属于冷日志,并将其剔除出热日志队列,并加入一个新的日志文件作为热日志文件,循环往复。这样,大多数情况下,即保证了实时性,又降低了资源的无效损耗。

3. 新文件检测

对于采集一个目录下的文件这种需求,必需要考虑到新文件增加的情况。通常设置一个间隔时间(比如2s),对目录进行一个遍历,然后对比当前已经被纳管的文件,看是不是新文件。如果是新文件,应立刻加入到热文件队列,因为新的文件往往会立刻被写入数据。这里采用hashmap能提高对比性能。

4. 采集点保存

程序总会因为某种原因退出,但是采集任务往往并没有结束,这个时候,程序就需要有能力记录下一些信息,以便下一次继续从结束的点开始工作,以防止重复采集。针对每个文件,记录当前读取到的offset,并在程序退出时,及时刷写进磁盘。

5. log rotate的探测

log rotate是常用的一种日志策略。当达到rotate的条件时,当前正在写入的文件会重命名,并且不再写入数据;然后创建一个新的文件来继续写入。当文件数量超过一定量时,将最早产生的文件删除,这样能防止日志无限制暴涨造成文件系统空间浪费。

基于log rotate的特点(会产生重命名文件的情况),日志工具可以通过记录并对比inode来判断文件是否是重命名的。

log rotate

6. 归档模式采集

遍历和watch一个拥有百万级文件个数的目录,是件十分浪费资源的事情。因为,实际情况下,这种目录的数据都是历史数据,而且不会发生变化。因此,日志工具应当能够支持我们称为归档模式的工作模式,这种模式下,遍历和watch目录将采用极低的频次,这样不会浪费资源。

7. 文件状态异常

文件状态异常是指下列可能的情况:

  • 读取文件的权限发生变化
  • 读取文件时发生某种错误

程序应避免对这种文件“一刀切”,因为可能过一段时间文件又变成正常状态了。所以,应当定期把有问题的文件再尝试读取,这样不会遗漏。

8. 字符集的探测和转化

在一些老的系统中,日志的编码格式依旧会采用本地编码。典型的是GBK编码的日志。在日志上报的过程中,应采用统一的编码格式。几乎所有的系统都支持libiconv库,这是一个可进行编码转化的常用库。

9. 多行合并

日志数据由应用程序生成,许多应用程序在写入日志的时候,一条逻辑日志包含多行。比如下面的java异常日志,打印出了堆栈的信息:

11 五月 2016 11:35:52,602 ERROR java.lang.IllegalArgumentException: No bean specified
	at org.apache.commons.beanutils.PropertyUtilsBean.getNestedProperty(PropertyUtilsBean.java:632)
	at org.apache.commons.beanutils.PropertyUtilsBean.getProperty(PropertyUtilsBean.java:715)
	at org.apache.commons.beanutils.PropertyUtils.getProperty(PropertyUtils.java:290)
	at lib.util.BeanUtil.getBeanProperty(BeanUtil.java:184)
	at lib.comm.services.CommWebService.getResponse(CommWebService.java:173)
	at lib.comm.services.CommWebService.SendSimplePack(CommWebService.java:307)
	at lib.comm.services.CommWebService.exchange(CommWebService.java:40)
	at lib.comm.CommunicationUtil.exchange(CommunicationUtil.java:46)
	at lib.comm.CommunicationUtil.exchangeFull(CommunicationUtil.java:105)
	at lib.helper.TradeHelper.tellerBasicInfoQuery(TradeHelper.java:1520)

从日志收集程序的角度,这里有很多行,但是,此时如果按行来分割是完全不行的。因此,应当提供一种可以合并多行日志为一行日志的能力。注意到这个日志以一个时间为开始(通常都是这样),那么我们就可以设置一个正则匹配规则,匹配到就认为是一个逻辑日志行的开始:

/\d{2} \S+ \d{4} \d{2}:\d{2}:\d{2},\d{3}/

这样收集上来的日志才便于处理和分析。通过灵活的设置正则,极大的降低了后端处理日志的难度。

采集器能够支持一个开关,用于设置是否对链接进行跟踪,即读取链接实际指向的文件或目录。

其实,此外还有很多亮点功能值得探讨,比如:

  • 对历史的归档日志(tar包),直接读取归档压缩文件,从而避免先解压再读取的麻烦。
  • 在通配模式下,排除(exclude)或包含(include)某些特殊日志

1块2块也是钱,小额赞助