• 架构说明
    • 背景介绍
    • Java 版本
      • 启动流程
      • Hook Class 流程
      • 请求处理流程
      • 基线检测
    • PHP 版本
      • 启动流程
        • 日志模块
        • V8模块
        • HOOK模块
        • 文件监控模块
      • 请求处理流程

    架构说明

    背景介绍

    RASP 是一种新型应用安全防护技术。这种技术直接将防护引擎嵌入到应用内部,能够感知应用上下文。传统的防护设备,WAF、IDS等等,均是对HTTP请求进行分析和处理,并结合请求特征库进行匹配,能做的事情比较有限。

    举个例子,当发生SQL注入攻击时,WAF和IDS只能看到HTTP请求。而RASP技术不但能看到完整的SQL语句,还可以和当前的HTTP请求进行关联,并结合语义引擎、用户输入识别等能力,实现对SQL注入的检测。

    如果你还想了解更多,可以参考下面的内容

    官方链接

    • OpenRASP 最佳实践 - PDF下载
    • OpenRASP 和 WAF的区别在哪里
    • OpenRASP 零规则检测算法介绍
      绿盟科技博客

    • 绿盟科技博客: RASP 技术分析

    • 绿盟科技博客: OpenRASP 技术分析
      Seebug

    • Java RASP浅析——以百度OpenRASP为例

      Java 版本

    这个版本使用 javaagent 机制来实现。在服务器启动时,可动态的修改Java字节码,对敏感操作的函数进行挂钩,比如:

    • 数据库操作
    • 文件读取、写入操作
    • 命令执行

    • 当服务器发生攻击,就会触发这些Hook点,此时RASP agent就可以获取到函数的参数,比如要读取的文件名、要执行的命令等等。

    启动流程

    • 启动时首先会进入 javaagent 的 premain 函数,该函数会在 main 函数之前预先执行,javaagent参考文档
    • 当去 hook 像 java.io.File 这样由 BootstrapClassLoader 加载的类的时候,无法从该类调用非 BootstrapClassLoader 加载的类中的接口,所以 agent.jar 会先将自己添加到 BootstrapClassLoader 的ClassPath下,这样 hook 由 BootstrapClassLoader 加载的类的时候就能够成功调用到 agent.jar 中的检测入口
    • 释放 log4j 日志配置文件,如果存在则跳过
    • 根据 rasp.properties 文件初始化相应配置项
    • 初始化 JS 插件模块
      • JS 上下文类初始化
      • 插件文件初始化
    • 初始化字节码转换模块
      • 给 load class 操作进行插桩操作,当类加载的时候会先进过 agent 进行处理
      • 对于在初始化前已加载的类执行 retransform 处理,e.g FileInputStream
    • 输出启动成功日志,开启全局 Hook 开关(启动阶段为关闭状态)
      • 若启动过程中发生错误,记录错误日志
    • 给 rasp.properties 配置文件和 js 插件目录以及 assets 目录增加文件监控,以便文件内容更改的时候不需要重启就能够实时生效

      Hook Class 流程

    • 因为启动时候进行了插桩操作,当有类被 ClassLoader 加载时候,所以会把该类的字节码先交给自定义的 Transformer 处理

    • 自定义 Transformer 会判断该类是否为需要 hook 的类,如果是会将该类交给 javassist 字节码处理框架进行处理,javassist
    • javassist 框架会将类的字节码依照事件驱动模型逐步解析每个方法,当触发了我们需要 hook 的方法,我们会在方法的开头或者结尾插入进入检测函数的字节码
    • 把 hook 好的字节码返回给 transformer 从而载入虚拟机
      启动时架构如下图所示:

    images/startup.png

    请求处理流程

    我们以 tomcat + JDBC + MySQL 为例,简单说明下请求处理的流程

    • 服务器收到一个请求,从而进入了服务器的请求 hook 点(该 hook 点每个服务器不一样,具体参照源码),该 hook 点标注当前线程为请求线程,开启当前线程的检测开关并把请求对象和响应对象进行缓存,以便后面使用
    • 服务器发起SQL查询
    • 进入 SQLStatementHook 点,我们挂钩了 execute、executeUpdate、executeQuery 等方法,从该方法进入检测流程如下:
      • 判断当前线程是否为请求线程(第一步标记的),如果是继续下面检测
      • 采集 connection_id(这个字段仅JDBC支持)、SQL 语句以及数据库类型 等信息
      • 构建参数信息,调用本地插件和 JS 插件进行安全检测,JS 插件由 Rhino 引擎执行,Rhino 引擎执行是 mozilla 为 java 提供的 JavaScript引擎,该引擎会将 JS 代码编译为 java 的 class 字节码在 JVM 中运行,Rhino 引擎文档
      • 根据插件的执行结果决定是拦截请求、放行还是仅打印日志
    • 进入 SQLResultSetHook 点,我们挂钩了 resultSet.next 方法
      • 调用本地插件检查是否发生拖库行为,默认策略为一次查询结果超过500条就报警
    • 若决定拦截攻击
      • 输出报警日志到 logs/alarm.log
      • 如果header还没有发出,默认使用 302 跳转到拦截页面
      • 如果body还没有发出,则重置未发送的body
      • 输出自定义拦截页面跳转js脚本

        • OpenRasp中JS引擎执行架构如下图所示:

    images/js.png

    基线检测

    我们以 tomcat 启动为例,说明基线检测流程

    • 进入了基线检测关键函数(tomcat 启动函数)
    • 进入本地基线检测插件(注:基线检测不进入js插件检测),检测当前环境的关键参数(http-only是否开启,是否为root启动等)
    • 根据检测结果决定是否拦截,不拦截的情况下只打印日志到 logs/policy_alarm.log
      检测架构如下图所示:

    images/check.png

    PHP 版本

    关于PHP扩展开发,可参考 Extending and Embedding PHP。

    以 cli SAPI 为例,其单个请求生命周期如下图所示:

    ref: Extending and Embedding PHP

    OpenRASP 核心原理为:在 MINIT 阶段,替换全局compiler_globalsfunction_tableclass_table中特定 PHP_FUNCTION 对应的函数指针(封装原有handler,增加前置、后置处理),由此实现对敏感函数的挂钩。通过敏感函数参数结合请求信息判断是否存在攻击行为,进而采取拦截或者放行操作。

    启动流程

    OpenRASP 采用模块化的结构,按照初始化顺序,启动流程如下:

    • 初始化OpenRASP所需全局变量
    • 注册INI配置条目,通过ini配置文件初始化全局配置
    • 日志模块,记录报警、插件、基线等日志,支持FILE/TCP/UDP
    • V8模块,JS运行环境,负责插件加载与结合运行时上下文的检测能力
    • HOOK模块,敏感PHP_FUNCTION挂钩执行检测及检测结果处理
    • INJECT模块,针对特定URL,修改响应内容,注入HTML
    • 安全基线检查模块,检查敏感ini配置项
    • 文件监控模块,监控插件目录,实现运行时检测逻辑修改
      下面针对几个主要的模块进行针对性说明:
    日志模块

    日志模块启动流程如下:

    • 初始化日志模块所需全局变量
    • 申请共享内存(针对特定SAPI),用于部分日志的进/线程间同步
    • 获取本机网卡以及主机信息,用于基线日志记录
      V8模块

    我们将 V8 嵌入到 OpenRASP 中作为 JavaScript 插件的执行引擎

    • MINIT 阶段载入所有插件,生成一份 V8 Startup Snapshot
    • 请求处理线程第一次触发检测时,使用 V8 Startup Snapshot 还原此线程独享的 V8 Isolate
    • 每个请求线程在对应的 V8 Isolate 环境上执行检测逻辑
    • 执行检测逻辑前向 V8 Platform 添加超时监控后台任务,超时后中断检测
    • GSHUTDOWN 阶段销毁线程对应 V8 Isolate
      HOOK模块

    HOOK流程包含两类:compiler_globals的handler替换和用户自定义opcode_handler,启动流程如下

    • 在全局compiler_globals对应的hashtable(function_table和class_table)中查找非禁用函数对应zend_function
    • 封装原有handler,根据需求增加前置、后置处理
    • 针对指定opcode(如ZEND_INCLUDE_OR_EVAL)通过zend_set_user_opcode_handler自定义处理逻辑
      文件监控模块

    我们使用经过我们优化增强的 libfswatch 实现了跨平台的文件监控

    • MINIT 阶段初始化 fswatch 实例,并开启后台线程进行目标文件目录监控
    • 目标文件目录发生变化时,根据类型,向支持重载的 SAPI 主线程发送重载信号
    • MSHUTDOWN 阶段停止目标文件目录监控,销毁 fswatch 实例和后台线程

      请求处理流程

    PHP(mysqli) + MySQL为例,简要说明请求处理的流程,即 RINIT - RSHUTDOWN 阶段:

    • 为新请求计算唯一的request-id,设置response header
    • 初始化不同logger,收集日志相关请求信息
    • 连接数据库,触发 mysqli_connect HOOK点:enforce_policy为1时,若用高权限用户连接数据库,记录基线日志,中断当前请求;enforce_policy为0时,仅当成功连接数据库后检查是否为高权限用户,若是记录日基线志,并将连接信息存入共享内存防止其他进/线程重复报警
    • 数据库语句检测,即mysqli_query HOOK点pre检测,收集查询参数调用V8模块执行检测,具体流程如下:
      • (待添加)
    • 慢查询检测。即mysqli_query HOOK点post检测,通过 call_user_function 检测查询结果数目,超过 openrasp.slowquery_min_rows 配置项则报警
    • RSHUTDOWN阶段:释放请求相关资源,根据 openrasp.inject_urlprefix 配置判断是否注入用户自定义HTML

    原文: https://rasp.baidu.com/doc/hacking/architect/main.html