May 29th, 2017

nxlog号称“日志收集神器”。nxlog 2.8社区版存在一个bug,此bug会导致明显的内存泄漏。

nxlog

重现方法

采用支持自动字符集转化的扩展,对日志数据进行转化时:

<Extension charconv>
    Module xm_charcov
    AutodetectCharsets gbk, utf-8, euc-jp, utf-16, utf-32, iso8859-2
</Extension>

<Input filein>
    Module  im_file
    File  "tmp/input"
    Exec  convert_fields("AUTO", "utf-8");
</Input>

...

nxlog对配置了AUTO源字符集的日志数据进行转化时,会按照顺序从AutodetectCharsets罗列的候选字符集从左到右依次尝试进行转化(采用libiconv),直到成功。

如果源文件的字符集无法匹配第一个AutodetectCharsets,那么将导致内存泄漏,使用valgrind测试得到下面输出:

valgrind

可以看到,在这个测试下,泄漏的字节尽然高达150M,如果测试继续下去,可能更高。在压力测试下,泄漏的速度甚至高达30M/s。而泄漏的根源是iconv_open没有对应的iconv_close

问题分析

通过源码分析,可以发现在src/modules/extension/charconv/charconv.c_nx_convert负责iconv_open,并调用iconv,但是转化失败会导致抛出异常(long jump)。于是iconv_close将被跳过:

_nx_convert

修复方法

修复这个问题有两个方面:

  1. 尽量避免使用AUTO源,通过观察AUTO的逻辑,可以发现效率比较低下,最好能够提前知道源文件的字符编码。夏洛克采集程序Mozilla Firefox浏览器中对文档字符集自动探测算法集成到了产品中,从而尽可能避免使用AUTO
  2. _nx_convert方法内部catch住异常,并在保证关闭后rethrow。由于C语言无法模拟finally,如果考虑到代码的优雅性,那么应避免在iconv_close之前throw异常。

1块2块也是钱,小额赞助