基于数据挖掘的恶意程序智能检测研究

第２２卷第１期　２０１５年２月　ＪＯＵＲＮＡＬ　ＯＦ　ＤＯＮＧＧ　ＵＡＮ　ＵＮＩＶＥＲＳＩＴＹ　ＯＦ　ＴＥＣＨＮＯＬＯＧＹ　东莞理工学院学报　Ｖｏ１．２２　Ｎｏ．１　Ｆｅｂ．　２０１５　基于数据挖掘的恶意程序智能检测研究　刘晓蔚　（东莞理工学院科研处，广东东莞５２３８０８）　摘要：恶意程序的快速繁衍对用户信息安全造成了极大的危害，传统查杀方式的滞后性和不智能性已经　无法满足当前恶意程序检测的需求。研究Ｗｉｎｄｏｗｓ平台恶意程序新型特征的筛选方法，筛选出恶意程序的新　型特征并结合数据挖掘方法提取恶意程序的智能检测规则，着重介绍了样本数据处理过程和新特征筛选过程，　并使用分类方法对筛选的新型特征做了仿真实验分析。实验结果表明，该恶意程序新型特征有效提高检测的　准确率，降低漏报率和误报率。　关键词：恶意程序；新型特征；数据挖掘　中图分类号：ＴＰ３　文献标识码：Ａ　文章编号：１００９—０３１２（２０１５）Ｏ１—００３８—０５　恶意程序是一个包含恶意攻击的可执行的程序，如破坏系统或非法获取敏感的用户信息　。在恶　意程序检测中，使用数据挖掘技术就是为了能够建立一套自动检测恶意可执行文件的方法。数据挖掘的　检测模式基于海量数据，并使用这些检测模式来检测相似数据　Ｊ。设计的检测系统框架是使用分类器　检测新型特征的恶意程序，分类器是一种由数据挖掘算法进行训练的规则集。　当前每天都会产生８—１０种新恶意程序，２０１２年新增木马病毒恶意程序已达到几千万，这些恶意　程序破坏度大，给用户带来了巨大的损失　Ｊ。而且很多类型的攻击都使用恶意程序来进行，ＤＡＲＰＡ检　测评价的攻击中，Ｗｉｎｄｏｗｓ平台遭受的恶意攻击基本上都是基于恶意程序　。目前，微软发布了基于内　核网络的漏洞，恶意程序可以使用该漏洞打开后门进入微软内部网络窃取各种资料。恶意程序数量呈几　何数增长，给用户信息安全造成了巨大危害。　传统的“获取样本一分析特征一更新部署”方法已无法满足当前查杀病毒的需求　］，为了解决反　病毒软件的各种困扰，设计了一种基于新型特征的数据挖掘技术提取恶意程序的智能化检测规则，该方　法用Ｗｉｎｄｏｗｓ平台可执行文件格式作为主要特征，抽取执行文件的特征，然后分析并获取恶意程序的新　型特征，使用数据挖掘技术提取检测规则，找出恶意程序的隐性规则，提高准确率。　１　关键技术　１．１　恶意程序　恶意程序分为六类　：病毒、蠕虫、木马、僵尸程序、间谍程序和流氓软件，这六类恶意程序给　用户带来巨大的损失。为了对抗反病毒程序，这些恶意程序具有反调试技术、反虚拟机技术、加壳技术　及对抗安全软件的技术。　１．２数据挖掘　为了应对恶意程序的反检测技术，提高恶意程序检测的准确度，目前用于恶意程序检测的技术种类　众多，其综合性能较好的数据挖掘技术有：神经网络、贝叶斯、支持向量机、决策树和关联规则等　。　但这些技术仍然存在着诸多缺陷，如忽视筛选恶意程序特征方法、无法与客户端检测并且检测的效率较　低。基于此，设计了一种筛选恶意程序新型特征的方法，并在此基础上提取了恶意程序检测的智能规　则，通过该规则可以检测多类恶意程序，并具有通用性。首先提取样本特征，然后对样本特征数据进行　预处理，通过处理结果筛选出新型特征，最后提取智能规则。　收稿日期：２０１４—１０—２３　作者简介：刘晓蔚（１９７８一），女，陕西西安人，讲师，硕士，主要从事计算机应用、分布式数据库、数据挖掘等方面研究。　第１期　刘晓蔚：基于数据挖掘的恶意程序智能检测研究　３９　２样本数据处理　２．１样本数据筛选　所研究的源数据采用ｖｘ　Ｈｅａｖｅｎｓ中的样本数据，从该网站下载ＰＥ格式的恶意程序样本２５　５８５个，　其中正常程序数量为４　７３０个，图１描述了样本数据中各类程序的分布情况。　７　０００　６　０００　５　０００　４　０００　３　０００　２　０００　１　０００　病毒木马蠕虫Ｒｏｏｔｋｉｔ下载者　正常　图１样本数据分布表　２．２样本数据标准化　为了获取ＰＥ特征，首先对样本特征数据进行提取，提取过程包括：修改ＰＥ文件、ＰＥ头信息获　取、ＰＥ节分析、可疑值和恶意值报告、检测加壳文件五个步骤。本文设计的数据提取方法采用ｐｅｆｉｌｅ　提供的ｐｙｔｈｏｎ库进行实现。样本数据经过提取之后，部分属性会以文本的形式存在，不能被数据挖掘　工具识别，因此必须通过数据字典映射的方式将数据标准化。将样本数据的属性进行取值标准化，如在　描述人口点特性时，通常有无效、有效、模糊三种方式，因此对其以０、１、２分别进行代替；对于是否　异常的情况，对其以０、１进行代替。　２．３样本数据分析处理　由于数据缺值或者噪声的原因，在数据挖掘中会降低准确度，因此在数据标准化之后需对数据进行　清理，目的是保证样本特征数据干净、整齐，使得数据挖掘的结果更加准确，本节针对缺值处理、探测　和清除孤立点对数据进行分析处理。　１）缺值处理。　Ｗｉｎｄｏｗｓ平台上由于文件完整性被破坏造成的缺值属于非正常缺值，为了删除这些非正常缺值，处　理该非正常缺值数据时采用直接删除法；处理非正常缺值以外的其他缺值不会影响程序的执行，处理该　正常缺值数据时采用统计填充法。　缺值处理算法如下：　Ｆｏｒｅａｃｈ　Ｙ∈Ｙ　Ｆｏｒｅａｃｈ　ａｉ　Ｅ　Ｙ　Ｉｆ　ａｉ　Ｅ　Ｌ　ａ．＝ａｖｅｒａｇｅ（ａ）；　Ｉｆ　ａｉ∈Ｕ　ｄｅｌｅｔｅ（ａｉ）；　其中，Ｙ为样本集合，ｙ为样本实例，ａ为ｙ的属性，Ｌ为合理缺值集合，Ｕ为不合理缺值属性集　合，ａｖｅｒａｇｅ（ａ）为ａ属性列的平均值。　根据本算法共找出１０　３７２个缺值样本，其中合理的缺值为３　０１７个，不合理的缺值为７　３１０个。　２）探测和清除孤立点。　样本数据不可避免的会有孤立点，因此会造成样本数据存在噪声，为消除噪声，使用基于距离和孤　立点检测的方法删除孤立点。该方法对原始样本数据集进行标准化后，计算ｎ个对量两两之间的距离　ｄ　由此形成一个距离矩阵Ｒ，如公式１。　东莞理工学院学报　根据距离矩阵Ｒ，令Ｐ　＝∑ｄ　，当Ｐ　值越大时，说明　对象ｉ与其他的对象距离越远，把Ｐ　最大的若干项删除掉，　便清楚掉样本数据的孤立点。　…　Ｒ＝｛　【ｄ　ｌ　…｝　ｄ　Ｊ　（１）　根据该方法共找出６　２２４个孤立数据，清楚这些孤立数据　项可保证分类规则的准确性。　由以上两种方法，样本数据集的处理结果如图２所示。　图２处理后的样本数据　３筛选新特征　３．１　删除属性相同的数据和属性间线性相关数据　１）样本数据集经过数据处理后，会存在部分属性值一样的数据，这些数据对分类没有实际意义，　例如每个ＰＥ文件都会有“ＭＺ”标志，这部分数据会提升特征复杂度，因此对这部分数据进行直接删　除，降低特征向量维度。　２）线性相关数据分为函数关系和统计关系两类，函数关系表示变量之间数量上的确定性关系，统　计关系表示变量之间的相随变动的某种数量的统计规律性。样本数据集经过数据处理后会存在部分此类　数据，如ＰＥ文件头部若标志了一个文件为ＤＬＬ，则这个文件必然有导出函数，则这两个属性线性相　关。　该算法如下，其中Ｐ、ｑ为常数。　／／删除属性相同的列　Ｆｏｒ（ａ＝０；ａ＜ｉ；ａ＋＋）　Ｆｏｒ（ｂ＝０；ｂ＜ｊ；ｂ＋＋）　Ｉｆ（ｍ　ｂ＝ｍａ０）　Ｄｅｌｅｔｅ—ｃｏｌ（ａ）；　／／删除线性相关列　Ｆｏｒ（ａ＝０；ａ＜ｉ；ａ＋＋）　Ｆｏｒ（ｂ＝０；ｂ＜ｉ；ｂ＋＋）　Ｆｏｒ（Ｃ＝０；Ｃ＜ｊ；ｅ＋＋）　Ｉｆ（ｍｂ　＝ｍ　Ｐ　ｑ）　Ｄｅｌｅｔｅｃｏｌ（ｂ）；　—３．２冗余数据处理　冗余特征消除算法用主成分分析法，该方法将多个变量通过线性变换选出较少个数的重要变量，其　最优性侍从Ⅳ个训练集中提取ｎ个主要特征，从而降维。假设～个ｄ维的原始样本为　。，　：，…，　组成一个矩阵Ｘ（ｄ　ｎ），通过式（２）把ｘ投影到低维空间的向量Ｙ，计算出样本均值　后，通过式　（３）得到协方差矩阵Ｓ　，最后通过式（４）计算５　的特征值ｅ　。　Ｙ＝Ｗ　Ｘ　（２）　Ｓ　＝∑（　一　）（　一肛）　Ａ　ｅ　＝ＳＴｅ　，ｉ∈［１，Ⅳ）　表　（３）　（４）　通过上述方法和ＳＰＳＳ统计软件对样本集的恶意程序特征进行综合评价，得到如表１样本集特征值　第１期　刘晓蔚：基于数据挖掘的恶意程序智能检测研究　表１特征值分析结果　４１　由上表，保留主成分系数大于９２％并且特征值大于１的特征值，删除其它１８个不符合要求的特征　项。经过特征值筛选后，得到４１个属性作为恶意程序的新型特征，并且恶意程序的特征向量包括以下　属性：序号、文件名、文件类别、文件头信息、ＡＰＩ函数序列、ＡＰＩ函数名。其中文件类别使用０、１表　示，０表示正常程序，１表示恶意程序。　４特征评估　为了对筛选后的４１个新特征进行评估，验证其有效性，将对本文的新特征进行仿真实验，得出实　验结果，包括准确率、误报率和漏报率。　本文使用的数据集从ＶＸ　Ｈｅａｖｅｎｓ下载，是经过数据处理后的１　１　９５５个ＰＥ文件信息，并选择Ｋｎｉｍｅ　作为数据挖掘平台。Ｋｎｉｍｅ的分类工作流程为原始数据经过列的过滤和颜色区分后得到训练集和测试　集，训练模型对训练集和测试集训练后，对预测进行打分，最后得到评估模型。本文原始数据集为１　１　９５５个数据，包含３　６７６个正常程序和８　２７９个恶意程序。如表２所示的几种分类算法的测试结果。　表２特征值评估结果　注：检测结果为误报率／漏报率　图３　Ｋｎｉｍｅ生成的智能规则树　４２　东莞理工学院学报　ｊ　ｊ；２０１５矩　Ｏ　５提取规则　提取规则的目的是为了将正常程序和恶意程序分开，而且需要有较高的检测率和较低的误报率，根　据表２的检测结果，发现使用决策树的ｃ４．５算法可以得到最好的检测效果，因此本文选择Ｃ４．５作为　构建分类器的算法，在Ｋｎｉｍｅ平台上生成如图３所示的决策树结果，由于结果数据较大，该图仅为部分　决策结果。　６结语　本文将ＰＥ文件格式作为主要特征来源，通过筛选新型特征得到了恶意程序新型特征以及可重复利　用的智能检测规则，并通过Ｂａｙｅｓ、ＭＬＰ、ＳＶＭ、Ｃ４．５分类方法对其进行的验证，实验结果表明，将该　新型特征应用于分类算法中具有较低漏报率、误报率和较高的检测率，对提高恶意程序检测的效率和准　确率具有重要的作用。　参考文献　刘辉．基于虚拟机的网络计算模型［Ｊ］．科学技术与工程，２００５，１６（５）：１２０９—１２１１　Ｔｈｕｒａｉｓｉｎｇｈａｍ　Ｂ．Ｄａｔａ　ｍｉｎｉｎｇ　ｆｏｒ　ｍａｌｉｃｉｏｕｓ　ｃｏｄｅ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｓｅｃｕｒｉｔｙ　ａｐｐｌｉｃａｔｉｎｓ［Ｃ］／／ｐｒａｏｃ　ｏｆ　Ｅｕｒｏｐｅｎ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ａｎｄ　Ｓｅｃｕｒｉｔｙ　Ｉｎｆｏｒｍａｔｉｃｓ　Ｃｏｎｆｅｒｅｎｃｅ［Ｓ．１＿］．ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　Ｐｕｂｌｉｃａｔｉｏｎｓ，２０１１．　颜富强，吴吴．一种基于免疫遗传算法的数据挖掘方法［Ｊ］．科学技术与工程，２００８，１４（８）：３９６６—３９６９．　罗文华．基于逆向技术的恶意程序检测方法与研究［Ｊ］．警察技术，２０１２（６）：２６—２８．　罗文华．基于逆向技术的恶意程序分析技术［Ｊ］．计算机应用，２０１１，３１（１１）：６３—６４．　Ｍａｓｕｄ　Ｍ　Ｍ，Ｋｈａｎ　Ｌ，Ｔｈｕｒｌｓｉａｎｇｈａｍ．Ａ　Ｈｙｂｉｒｄ　Ｍｏｄｅｌ　ｔｏ　Ｄｅｔｅｃｔ　Ｍａｌｉｃｉｏｕｓ　Ｅｘｅｃｕｔａｂｌｅｓ［Ｃ］／／ｉｎ　ｐｒｏｃ　ｏｆ　ｔｈｅ　ＩＥＥＥ　ｉｎｔｅｒｎａｔｉｏｎａｌ　ｏｎｆｅｒｅｎｃｅ　Ｏｉｌ　ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＩＣＣ０７）．ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　Ｐｕｂｌｉｃａｔｉｏｎｓ，２００７．　罗文华．基于抽象解释理论抽取多态恶意程序特征码［Ｊ］．信息网络安全，２０１３（１）：１６—１８．　李鹏，王汝传．基于自相似特性的恶意代码动态分析技术［Ｊ］．南京邮电大学学报：自然科学版，２０１２，３２（３）：８６—９Ｏ．　张一驰，庞建民，范学斌，等．基于模型检测的程序恶意行为识别方法［Ｊ］．计算机工程，２０１２，３８（１８）：１０７—１１０．　Ｆａｒｒｕｋｈ　Ｓ，Ｍｕｄｄａｓｓａｒ　Ｆ．ＥＬＦ—Ｍｉｎｅｒ：ｕｓｉｎｇ　ｓｔｒｕｃｔｕｒｌ　ｋｎｏｗｌａｅｄｇｅ　ａｎｄ　ｄａｇａ　ｍｉｎｉｎｇ　ｍｅｔｈｏｄｓ　ｔｏ　ｄｅｔｅｃｔ　ｎｅｗ（Ｌｉｎｕｘ）ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ　『Ｊ］．Ｋｎｏｗｌ　Ｉｎｆ　Ｓｙｓｔ，２０１２，３０：１８９—１９２．　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｄｅｔｅｃｔｉｏｎ　ｏｆ　Ｍａｌｉｃｉｏｕｓ　ＥｘｅＣｕｔａｂＩｅｓ　Ｂａｓｅｄ　ｏｎ　Ｄａｔａ　Ｍｉｎｉｎｇ　ＬｌＵ　Ｘｉａｏ－ｗｅｉ　（Ｓｃｉｅｎｔｉｉｆｃ　Ｒｅｓｅａｃｈ　Ｏｆｉｆｃｅ，Ｄｏｎｇｇｕａｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｄｏｎｇｇｕａｎ　５２３８０８，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ　Ｒａｐｉｄ　Ｐｒｏｐａｇａｔｉｏｎ　ｏｆ　ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ　ｈａｓ　ｃａｕｓｅｄ　ｇｒｅａｔ　ｈａｒｍ　ｔｏ　ｔｈｅ　ｓｅｃｕｒｉｔｙ　ｏｆ　ｕｓｅｒ　ｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅ　ｌａｇ　ａｎｄ　ｎｏｎ—ｉｎｔｅｌｌｉｇｅｎｃｅ　ｏｆ　ｔｒａｄｉｔｉｏｎａｌ　ｋｉｌｌｉｎｇ　ｍｅｔｈｏｄｓ　ｈａｖｅ　ｂｅｅｎ　ｕｎａｂｌｅ　ｔｏ　ｍｅｅｔ　ｔｈｅ　ｄｅｍａｎｄ　ｏｆ　ｃｕｒｒｅｎｔ　ｄｅｔｅｃｔｉｏｎ．Ｓｔｕｄｙｉｎｇ　ｔｈｅ　ｎｅｗ　ｍａｌｉ—　ｃｉｏｕｓ　ｄｅｔｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｏｎ　Ｗｉｎｄｏｗｓ　Ｐｌａｔｆｏｒｍ，ｓｃｒｅｅｎｉｎｇ　ｏｕｔ　ｉｎｔｅｌｌｉｇｅｎｔ　ｄｅｔｅｃｔｉｏｎ　ｒｕｌｅｓ　ｍｏｄｅｌ　ｆｅａｔｕｒｅ　ｏｆ　ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ　ａｎｄ　ｅｘ—　ｔｒａｃｔｉｎｇ　ｔｈｅ　ｎｅｗ　ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ　ｄｅｔｅｃｔｉｏｎ　ｍｅｔｈｏｄｓ　ｂａｓｅｄ　ｏｎ　ｄａｔａ　ｍｉｎｉｎｇ，ｔｈｉｓ　ｐａｐｅｒ　Ｉｎｔｒｏｄｕｃｅｓ　ｔｈｅ　ｓａｍｐｌｅ　ｄａｔａ　ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｐｒｏｃｅｓｓ，ａｎａｌｙｚｉｎｇ　ａｎｄ　ｓｉｍｕｌａｔｉｎｇ　ｔｈｅ　ｎｅｗ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｍｅｔｈｏｄ．Ｔｈｅ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ　ｍｏｄｅｌ　ｃａｎ　ｅｆｆｅｃｔｉｖｅｌｙ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｄｅｔｅｃｔｉｏｎ　ａｃｃｕｒａｃｙ　ａｎｄ　ｒｅｄｕｃｅ　ｔｈｅ　ｒａｔｅ　ｏｆ　ｆａｌｓｅ　ｎｅｇａｔｉｖｅｓ　ａｎｄ　ｆａｌｓｅ　ｐｏｓｉｔｉｖｅｓ．　Ｋｅｙ　ｗｏｒｄｓ　ｍａｌｉｃｉｏｕｓ　ｅｘｅｃｕｔａｂｌｅｓ；ｎｅｗ　ｆｅａｔｕｒｅ；ｄａｔａ　ｍｉｎｉｎｇ