为什么需要专业的日志审计与分析工具

当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。这既有来自于企业和组织外部的层出不穷的入侵和攻击，也有来自于企业和组织内部的违规和泄漏。

为了不断应对新的安全挑战，企业和组织先后部署了防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM，等等，这些复杂的IT资源及其安全防御设施、包括网络设备、系统及应用在运行过程中不断产生大量的日志和事件。这些日志对于网络的正常运营非常重要，它记录了系统每天发生各种各样的事情，你可以通过它来检查错误发生的原因，监控用户的使用行为，发现异常情况或者受到攻击时攻击者留下的痕迹。
尽管审查日志可以帮助管理人员发现很多安全入侵和违规行为，但是由于这项工作对于管理人员的专业技术水平较高，往往很难普及，大多数情况下只能作为专业安全服务公司提供的一项服务。

此外，从信息与网络安全的发展趋势来看，网络攻击的手段越来越多样化，并且攻击手法越来越隐蔽，并且攻击者可以借助不同的技术手段设置多重跳板，追查变得无比困难。从企业和组织内部来看，各类IT资源，设备飞速膨胀，设备本身产生的日志数量也呈指数级增长，且设备的日志审计都相对孤立，无法形成有效的关联，其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃，使网络安全的检测与审计变为空谈。

可以说，当前复杂的业务网络环境使得即便是有经验的安全专家也难以透过传统的日志审查方式去审计网络安全，而必须借助提高日志审计效率的外部工具。

针对上述挑战，网络上出现了各种日志收集、分析和审计工具，并且很多是开源和免费的。那么，这些免费的日志审计工具，甚至是一些功能简单的商业产品，是否能满足日常的日志审计和分析需要呢？
在回答这个问题之前，先让我们来看看一个日志审计系统应该由那几部分组成。

对于一个日志审计系统，从功能组成上至少应该包括信息采集、信息分析、信息存储、信息展示四个基本功能：

1)信息采集功能：系统能够通过某种技术手段获取需要审计的日志信息。对于该功能，关键在于采集信息的手段种类、采集信息的范围、采集信息的粒度（细致程度）。

2)信息分析功能：是指对于采集上来的信息进行分析、审计。这是日志审计系统的核心，审计效果好坏直接由此体现出来。在实现信息分析的技术上，简单的技术可以是基于数据库的信息查询和比较；复杂的技术则包括实时关联分析引擎技术，采用基于规则的审计、基于统计的审计、基于时序的审计，以及基于人工智能的审计算法，等等。

3)信息存储功能：对于采集到原始信息，以及审计后的信息都要进行保存，备查，并可以作为取证的依据。在该功能的实现上，关键点包括海量信息存储技术、以及审计信息安全保护技术。

4)信息展示功能：包括审计结果展示界面、统计分析报表功能、告警响应功能、设备联动功能，等等。这部分功能是审计效果的最直接体现，审计结果的可视化能力和告警响应的方式、手段都是该功能的关键。

在了解了日志审计系统的基本组成之后，我们可以来看看免费和简单的商业日志审计工具在以上基本功能点上的表现：

1）从日志的收集方面看，这些工具和产品支持的手段比较单一，仅支持一些常用的方式如Syslog、SNMP。手段单一会造成有些日志信息无法采集，例如对存放在数据库或者文件中的日志就不能很好的收集。另外，这类工具收集的性能也比较低，日志量一大，就无法处理了。

2）从日志的存储方式看，这些工具和产品一般把收集来的日志重新存成文本格式，而又没有搜索引擎作为支撑，因此，无论查询和分析都非常困难。这类工具和产品也无法提供归档和恢复功能，对长时间的日志保存提供不了方案。

3）在日志分析方面，想要通过这些工具和产品来发现攻击进行报警就更困难了。例如我们要发现在一段时间内某用户重复多次登录同一台服务器都失败的日志告警，这是一个不特定的告警条件，没有明确的用户名，没有明确的服务器地址，达到条件的都需告警，对一般的日志工具和产品来说这根本是完成不了的任务。

4）作为简易的日志审计工具，主要功能在于提供一个低成本的日志收集方案，存储、分析和展示能力都大大弱化了。这些日志审计工具一般都缺少易用的操控界面，只提供基于条件组合的查询，并且都以表格的形式一行行地将符合条件的日志显示出来，只能称得上是日志查找。一旦日志量大了，条件复杂了，查找效率便无法保证。

事实上，在我们参与的日志审计及IT内控项目中，大部分客户之前都或多或少地采用了一些免费的和简易的日志采集分析工具。而由于网络环境的日益复杂，以及来自外部的IT内控与合规审计需求日趋强烈，这些客户都无一例外地转而寻求获得更加专业的商业解决方案。

可以说，免费的或者简易的日志审计工具一般用于小规模的日志采集和存储的场合，以及一些进行辅助性日志收集的场合。对于关键业务信息系统和网络的日志信息，对于用来做合规审计的日志信息，对于海量的日志信息，对于异构环境下的多源日志信息，简易日志工具都难以胜任，此时的日志审计和分析必须使用专业的日志审计和分析工具。

在这方面，网御神州公司自主研发的SecFox-LAS日志审计系统就是其中的佼佼者。

SecFox-LAS日志安全审计系统作为一个统一日志监控与审计平台，能够实时不间断地将企业和组织中来自不同厂商的安全设备、网络设备、主机、操作系统、数据库系统、用户业务系统的日志、警报等信息汇集到审计中心，实现全网综合安全审计。

SecFox-LAS能够实时地对采集到的不同类型的信息进行归一化和实时关联分析，通过统一的控制台界面进行实时、可视化的呈现，协助安全管理人员迅速准确地识别安全事故，消除了管理员在多个控制台之间来回切换的烦恼，同时提高工作效率。

对于集中存储起来的海量信息，SecFox-LAS可以让审计人员借助历史分析工具对日志进行深度挖掘、调查取证、证据保全。SecFox-LAS能够自动地或者在管理员人工干预的情况下对审计告警进行各种响应，并与包括各种类型的交换机、路由器、防火墙、IDS、主机系统等在内的众多第三方设备和系统进行预定义的策略联动，实现安全审计的管理闭环。

SecFox-LAS为客户提供了丰富的报表模板，使得用户能够从各个角度对企业和组织的安全状况进行审计，并自动、定期地产生报表。用户也能够自定义报表。

综上所述，只有通过专业的日志审计分析工具，我们才能达到如下的目标：

（1）实现对各种IT设备和信息系统的日志的收集，标准化，分类和统一存储。

（2）对各种日志进行实时审计分析，发现违规行为，并能进行告警响应。

（3）对审计信息进行统计分析，提供日志审计报告报表，多角度对网络系统的安全状况进行审计。