IT时报 -V5 数字上海-
5数字上海
  • ·腾讯安全发布云原生安全数据湖
  • ·“数字人民币+超级SIM卡”应用场景大升级
  • ·刘庆峰:讯飞、华为将于10月推出更大的大模型算力底座

大海里捞针 PB安全日志秒级查询

腾讯安全发布云原生安全数据湖

日志的“烦恼”

  

IT时报记者郝俊慧
  日志,系统的隐形记录者,每次开关机、每次程序执行、每次系统报错……企业服务器、云基础设施、应用程序等全部执行过程,都会被忠实地记录下来。
  然而,这个简单的系统动作,近几年来,却随着企业规模增长、数字化程度加深和安全设备的增加,面临数量指数级上升、流量洪峰突发、检索速度延迟三大挑战,给企业安全管理带来不少烦恼。
  9月20日,腾讯安全发布全新一代云原生安全数据湖,可支撑企业在PB级别数据里实现秒级查询,同时成本可控。据悉,在同等数据规模下,该产品的硬件成本仅为同类开源软件的1/10。
  默默记录一切的安全日志,早已在不经意间成为企业数字化的“关键先生”。两年前,腾讯安全发现,客户普遍反映遇到日志存储成本攀升、查询效率低下等问题。
  日志和业务强相关,业务的高低峰会直接导致日志量的高低峰,与单个业务相比,日志的流量洪峰波动状况更加频繁,也更加不可预估,可能瞬间就有几十万QPS、GB/s日志写入。
  另一方面,随着数字化程度加深,日志量从每天几千万条增长到十万亿条级别,长此以往,企业日志存储容量指数级上升,甚至动辄PB级别,很多系统在处理上存在瓶颈。
  日志数据应用场景也很敏感。很多系统安全告警、监控都直接基于日志配置,这意味着,日志从产生到可检索出来的延迟时间必须非常短,甚至是秒级,否则日志价值将大打折扣。“网络安全是实时对抗的,任何以‘小时’为单位的数据分析产品肯定都不适用。”腾讯安全大数据实验室高级研究员杨浚宇表示。
  目前,大多数企业的日志处理平台普遍使用开源大数据ELK等组件快速搭建,以收集告警数据为主,分析数据不全,而且执行长周期数据查询需要分钟级甚至小时级等待,而且成本高企,硬件成本高,而同类商用软件,只能支持TB级数据处理,且授权费用高昂。
  PB级数据、秒级查询、成本可控,由此成为安全日志管理的“不可能三角”。
全新“云原生”方案
  破解“不可能三角”,只能跳出旧有框架,构建一套全新架构,在技术上实现彻底的改造和升级。腾讯安全大数据实验室基于多年的大数据分析处理能力,花费两年时间自主研发了一款面向云原生的安全数据湖产品。
  据了解,这款安全数据湖产品在日志数据无须修改、大量字段重复、有时间戳等方面做了一系列创新,比如采用MPP(大规模并发)架构、Rust语言,针对日志及安全场景进行专项优化;使用列存储实现极致压缩比,无索引架构避免索引开销;通过原子能力,实现了数据处理、查询、存储、分析一体化……
  经过上述一系列创新,最终围绕云原生技术(容器、K8S、声明式API、弹性伸缩等),腾讯云建设了全套符合现代数字化业务的发展需求架构,支撑多实例、多用户,能根据企业的实际需求实现弹性扩容,可以弹性适应PB级突发流量。同时,实现了极致的压缩比和数据处理效率,将企业的安全运营存储成本降低90%。
  此外,腾讯云原生安全数据湖具备“插件化”应用开发能力,企业用户可根据需求定制上层应用,并通过平台+App+合作伙伴构建完整的日志应用生态体系,全面赋能各类安全场景。
  目前,该数据湖已经集成在腾讯安全SOC+产品下,为企业安全运营管理提供基座。未来,腾讯安全还会对外提供独立产品,助力企业构建云原生数据湖平台。