0×00、前言

　　日志管理系统是信息安全发展过程中一直存在的业务系统，日志是安全的传感器，所以很有必要研究一下日志管理系统发展历史，以及以日志管理系统发展趋势。在文章的最后一段分享一下以前和一帮朋友做的日志管理系统。

　　0×01、商业日志管理系统发展历史

　　发展趋势

　　根据用户企业环境使用的产品以及各大厂商宣传的产品功能，大致可以推断出目前日志管理发展趋势。

　　第一阶段：SIEM安全日志管理系统 (security information and event management)

　　1，针对第三方安全产品日志收集能力

　　日志管理系统做为安全的传感器，需要对任何第三方安全的产品的日志具备灵活的收集能力，某些厂商会开发定制化的收集器，并且公开定制工具。

　　2，灵活的扩展存储处理能力,

　　由于日志系统需要收集海量的日志，在关联前后需要使用大量的存储空间，所以灵活的存储能力是必要的。

　　3，事件多级关联能力,

　　通过多种模式匹配方式关联基础事件，可以提高威胁事故告警的准确性。

　　4，快速查询报告能力

　　快速在海量日志中搜索查询到本港台直播们关心的日志信息，反应速度是用户最关心的问题。

　　第二阶段：MSS( ManagedSecurity Services )

　　1，提升APT发现能力

　　MSSP不仅能够降低客户的成本，还能够增强客户的安全能力防护APT攻击，传统提交病毒样本的处理方式无法满足现有的渗透攻击尤其是基于特征的技术(Signature-baseTechnology)已经难以对抗安全威胁

　　2，集成威胁情报,

　　威胁情报和事件关联成为了MSSP的热门技术和差异化技术，例如：DNS/URL信誉数据库、文件信誉数据库、电子邮件信誉数据库等。

　　第三阶段：安全大数据日志管理系统

　　1，提升APT发现能力,

　　通过大数据快速处理的能力，在短时间内通过关联分析发现企业内部威胁。

　　2，快速追溯威胁来源

　　成熟的商业产品

　　那么，市场上的玩家都有哪些?

　　Gartner发布了2015年度的SIEM市场分析报告

　　1，IBM收购Q1 Lab

　　2， HP Arcsight

　　3，Splunk

　　4，RSA EnVersion

　　5，Symantec SSIM

　　6，Intel Security(MacAfee-Enterprise Log Manager)

　　Garnter发布了2014年度的全球MSS市场分析报告

　　1，Dell – SecureWorks(IT综合服务提供商)

　　2，IBM-Fireeye Service/AT&T Service

　　3，Verizon(电信运营商)

　　4，Symantec(专业安全厂商)

　　大数据日志管理系统目前正处在崛起的阶段。目前各大互联网安全公司都在在这个领域下重金研发。

　　用户场景分析

　　在哪些场景会使用到日志管理系统呢?这要回归到基本安全管理问题：做为一家互联网公司的CSO，你怎么履行你的安全监控和管理职能?

　　1，简单使用一些开源工具，招聘一些有安全经验的运维人员做人工分析

　　Do Nothing –“Manual Analysis”

　　2，使用成熟的互联网安全商业软件 (传统厂商SEIM系统或者新兴互联网安全系统)，少量的具备一般安全经验的运维人员熟练使用这些安全软件完成。SIEM

　　3，直接把安全外包给MSSP，由专业的公司分析安全威胁，只需要定期从MSSP厂商获得本公司 的安全报告。

　　国内大部分互联网公司，还是选择第二条路。

　　0×02、日志管理系统实践

　　产品架构设计

　　集中式部署

　　如果被监管的设备不多而且相对集中，可以采用上图所示的集中式部署实现IT系统的安全信息监控。

　　分布式部署

　　如果企业或组织内的IT架构比较复杂，而且监管的设备数目较多，可以采用上图所示的分布式部署方式。

　　支持的日志类型如下：

　　GSGSoftInformation Security Management System

　　管理配置报表模块：ASP.net+IIS+MSSQL

　　日志收集系统：应用程序+MSSQL

　　(1)GSGSoftManage 主要的功能 安全事件联动引擎

　　(2)GSGSoft Master Collection Agent 主动收集安全事件

　　(3)GSGSoft Slave Collection Agent 被动收集安全事件客户端(主要针对无法主动发送日志情况)

　　(4)Web Console 主要是安全事件的配置、告警和报表系统

　　(5)GSGSoft DataBase 安全事件存储数据库

　　GSGSoft Master Collection Agent功能设计

　　主动收集安全事件 对其标准化。针对Unix/Linux系统 建议用户打开系统syslog功能

　　通过syslog收集。

　　(1)Syslog Server 收集日志模块

　　(2)snmp trap 日志收集模块

　　(4)正则表达式查找匹配功能模块

　　(5)格式化原始事件为本系统识别事件模块

　　(6)本地存储结构模块

　　GSGSoft Slave Collection Agent 功能设计

　　被动收集安全事件客户端

　　(1)文件、文件夹日志收集模块

　　1.1 windows 日志收集模块system/security/applcation

　　1.2 IIS 日志收集模块

　　1.3 Apache 日志收集模块

　　(2)xml、csv文件收集模块

　　2.1 antivirus 扫描日志收集模块 (symantec 趋势 瑞星)

　　GSGSoft Web Console功能设计

　　主要是显示安全事件的平台，配置系统

　　(1)图形化报警功能

　　(2)灵活的SQL语句的构造系统，可产生多个自定义报表模块

　　(3)策略设置

　　GSGSoft Web Console详细设计

　　(1)图形化报警功能