当前位置:首页 > 站长资讯 > 正文内容

登顶Blackhat-云鼎实验室AI代码安全前沿技术分享

a811625536个月前 (08-07)站长资讯52

两年前云鼎实验室的两位安全技术专家,在世界顶级安全峰会Blackhat USA上做过一次关于使用CodeQL进行二进制静态分析的演讲,创新性地将CodeQL应用到二进制分析领域,到目前为止在世界范围内也是独一无二的尝试。两年后,随着AI技术的蓬勃发展,我们将AI和静态分析技术深度融合,借助LLM和Agent体系,将静态分析的召回率和精确率都提升到前所未有的高度,并且在腾讯内部生产环境里落地应用,解决了很多现实风险问题。同时,我们也坚定的认为传统静态分析技术和CodeQL等分析工具仍有巨大的提升空间。AI和静态分析不是取代关系,是互相加持的关系。此次在Blackhat上的分享,一定程度上是对我们理念和实践的一次全面阐述。在此我们整理了一篇文章,将其中的一些技术要点做简单介绍。

首先,我们在代码安全扫描实践工作中,遇到了两个大的障碍是纯粹依靠静态分析难以解决的:

在污点分析中,因为开源项目众多,二开和定制化的情况也很多,source和sink点永远也收集不全,即便依赖知识库也难以达到好的覆盖。

在数据流分析中,限于很多编程语言的特性,比如各种异步调用和隐式传递,数据流分析经常会断流。而我们所做的工作也是集中解决如上的这两个问题。

基于大模型在训练阶段的知识嵌入和代码能力,业界已经发现大模型可以在代码中自动识别一些source和sink点,但是直接使用大模型带来的识别率和准确率无法让人满意。我们对应的解决 *** 是设计了一套多agent组合判定机制,其中包括三个重要角色,分别是Discover agentJudge agentValidation agent。三者分别负责发现判断验证。用这种将一个复杂任务拆解成多个简单任务,并由多个agent各自负责并循环提升的方式获得好的效果。目前我们这套流程每天都会自动发现和入库很多source sink点,并满足高精度要求。

当然,这里对源代码的处理不是简单的直接塞给LLM。中间我们适度地使用了LSP和其它 *** ysis技术,让agent可以在代码间形成索引和跳转,按需获取必要的代码片段以及上下文信息。

另一个问题就是静态分析中最常见的数据流分析,限于很多语言特性数据流的传播不能保证完整性,一些隐式的 *** 调用和数据传递方式导致静态分析很难精确和完整的追踪数据流向。对此我们的解法是改造CodeQL的基础类库,将各种断链的情况解决掉。举几个例子比如代码中使用跨线程、反射、符号表等 *** 将传播流断开。

解决这些问题又存在两个难点,首先需要将CodeQL的DFA(Data Flow Analysis)机制研究清楚,但是CodeQL本身闭源,再加上QL是Datalog类的语言难以调试。我们克服了很多困难进行深入分析,最终把CodeQL的DFA机制研究清楚。具体技术细节这里不做展开,感兴趣的同学可以参考我们峰会演讲后的材料。

第二个难点就是跨线程、反射等情况下,对 *** 调用的精确定位比较难,封装层次、弱引用、继承关系、命名空间等都是问题。先要解决这些识别问题才能patch CodeQL以实现DFA的强化。最终我们能做到在跨线程、反射、隐式值传递等情况下的完整数据流分析。

在做了source/sink自动精整识别和DFA强化后,我们的代码安全检测能力如预期的一样获得了极大提升,可以7*24小时自动扫描出漏洞信息。基于此我们也发现了不少高危漏洞。这里拿几个历史漏洞来举例,当你使用原版CodeQL的情况下,如下的漏洞都不会被扫描出来,使用我们强化过的方案都可以做到扫描发现。

最后,我们想抛出一些明确的观点来供业界参考:

AI不是解决方案,AI是技术手段。大模型在很多场景下可以提供帮助,但是单靠AI远远不够。大模型再怎么训练本身可以嵌入的知识是有限的,没有外部LSP等技术的配合大模型没办法很好的工作。

静态分析仍然是很给力的技术手段。AI+静态分析可以互相促进获得之前不能达成的效果。两者相结合是未来代码分析的更佳形态。

体系和系统化是关键需要一个Driver去驱动各种Agent和工具来一起完成代码分析任务。

 

扫描二维码推送至手机访问。

版权声明:本文由2345好导航站长资讯发布,如需转载请注明出处。

本文链接:http://2345hao.cn/blog/index.php/post/298.html

分享给朋友:

“登顶Blackhat-云鼎实验室AI代码安全前沿技术分享” 的相关文章

手握采购、研发、销售三条“命脉” 谁是操控创耀科技命运的神秘“公司A”

手握采购、研发、销售三条“命脉” 谁是操控创耀科技命运的神秘“公司A”

  1947年,美国贝尔实验室的威廉.肖克利和他的两位助手布拉顿、巴丁,研制出了世界上第一只晶体管,为集成电路产业打开时代大门,也造就了现代信息社会的根基――“芯片”。   但是现代信息社会并不能避不开国与国之间的问题。   “芯片强则产业强,芯片兴则经济兴,没有高端芯片就没有真正的产业安全和国...

市占率不足0.1% 造血能力不足 罗普特科创上市谋续命?

市占率不足0.1% 造血能力不足 罗普特科创上市谋续命?

  钱流不进口袋的企业,真的算是赚钱企业吗?   盈利,是大部分投资者最关心的问题。但企业盈利的有效性,是有前提的,现金流就是这个前提。但这部分,往往会被许多投资者忽略,正如巴菲特的那句著名评论:“现金是氧气,99%的时间你不会注意它,直到它没有了”。   没有现金流入的盈利只是纸面数字,纸面数...

19%市占率换不来业绩体量的和林微纳 新业务0.24%市占率又该如何期待?

19%市占率换不来业绩体量的和林微纳 新业务0.24%市占率又该如何期待?

  以19%市占率位居精微屏蔽罩市场头部玩家的和林微纳,即将亮相科创板。   2021年3月9日,主要产品为微机电(MEMS)精微电子零部件的和林微纳,开启了科创板招股。公司与楼氏电子、瑞声科技、裕元电子和银河机械,一同成为精微屏蔽罩市场的主要玩家,2019年五家企业合计占到全球市场总份额的80%...

新风光:核心材料严重依赖进口 毛利率下滑市场“风光”不再 |

新风光:核心材料严重依赖进口 毛利率下滑市场“风光”不再 |

  作为“光伏、风电”等大热门行业上游关键零部件供应商的新风光,即将登陆科创资本市场。   2021年3月24日,以大功率电力电子节能控制技术为核心技术平台,构筑电气控制装备产品体系的新风光,在科创板开启招股环节。   招股资料显示,新风光本次共计将募资5.9亿元,其中1.5亿元用于变频器和SV...

上声电子:四年净利仅剩30% 研发低产能又“空置” 三角股权难解丨

上声电子:四年净利仅剩30% 研发低产能又“空置” 三角股权难解丨

  历时四年发展,归母净利润反缩水近7成的上声电子,即将登陆科创板,寻求资本助力。   作为国内前装市场汽车声学产品方案供应商的上声电子,于2021年3月29日在科创板启动招股环节。公司计划募集4.47亿元资金,其中2.47亿元用于扩产扬声器项目,1.49亿元用于扩产汽车电子项目,剩余5000万元...

瑞华泰:主业停滞、产能重研发轻、债务高筑、实控人空悬… 压力重重 何去何从?丨

瑞华泰:主业停滞、产能重研发轻、债务高筑、实控人空悬… 压力重重 何去何从?丨

  瑞华泰,一家打破“卡脖子”材料高端PI薄膜的企业,日前正在做科创资本市场的最后冲刺。   2021年4月14日,专注于高性能PI薄膜领域技术自主研发的制造商瑞华泰,已经开启路演及询价环节,距离正式科创板资本市场仅剩最后一步之遥。目前,公司已建立了完整的PI薄膜研发和产业化的核心技术体系,成功进...