2017-05-15 17:16　 飞象网

    原标题：Gdevops峰会 知道创宇分享海量运维日志异常挖掘经验

    2017年全球敏捷运维峰会(Gdevops, Global Devops Summit)于2017年5月13日在天府之国成都召开，本次峰会由成都市投资促进委员会、成都市经济和信息化委员会主办，知道创宇荣誉协办，知道创宇云安全获邀携“抗D保、加速乐、创宇盾”三大技术安全产品亮相，知道创宇高级安全研究员邓金城发表《海量运维日志异常挖掘—我们如何从日志中抓黑客》的演讲。首次造访西部，DBAplus社群携手一众产学研专家，带着运维、大数据、数据库、信息安全等 发展理念与 实战经验，为西部业界同仁献上了诚意拳拳、干货满满的见面礼。而特别增设的闭门交流晚宴，更是让参会者和讲师、专家、同行在专属时段里收获了思维碰撞的启发与深入交流的酣畅。

    互联网飞速的发展，使得每天产生的日志可达上T规模，但由于数据稀疏、异构性较强，甚至半结构化导致我们很少有精力关注。日志是重要的非结构化数据，无处不在，技术人员通过数学分析、关联分析、机器学习的挖掘办法，可从日志中获得价值信息，用于运维监控、安全审计、用户数据以及业务数据分析，达到发现企业信息安全短板、安全预警与应急处理的目的。那么，如何最大限度发挥日志的价值成为业内人士研究思考最多的问题之一，也成为本次知道创宇在大会中的演讲议题。知道创宇高级安全研究员邓金城从海量日志的异常分析类型、挖掘方法说起，分享了如何针对自己的网站去做相应的分析工具，以及利用分析模型来持续挖掘日志中有价值的异常信息。

    日志异常类型：

    1.单点异常：单独的数据实例是异常的。

    2.上下文异常：

    l在一个上下文中单独的或连续几个数据实例是异常的

    l需要一个上下文的概念

    l比如平衡权限

    3.集体异常：相关数据实例的集体是异常的。

    在数据实例间需要一个关系，常见的：有序数据、空间数据、图数。在一个集体异常中单独的实例，从它们自己看来并不是异常的。