速云科技

中小企业安全体系构建之WAF实战

首先声明本人非安全从业人员,请专业人士不要吐(gao)槽(wo)。但是我相信作为中小企业的运维人员和我一样,面临的困境就是:公司没有专业的安全工程师!不出问题,企业往往意识不到安全的重要性….,这个话题不深入讨论。

那么怎么办?作为一名运维工程师,我们的知识范围连“背黑锅”这么专业的技术都有,安全我们也可以兼职一下的。这就是答案,我们要自己干,有总比没有好!不埋怨!我们不能改变环境,但是可以改变自己,来影响环境。

1.1   WAF介绍

安全也是一个比较大的课题,不同视角、不同层级都会有不同的体系结构。那么今天的分享,我选择了一个特别贴近运维工程师实际工作的一个话题:如何使用Nginx+Lua来实现一个WAF。

WAF(Web Application Firewall),也就是Web应用防火墙。

一般企业用户都会选择使用防火墙作为企业安全的第一道防线,那么传统的网络防火墙墙只能够进行四层(OSI七层模型中的传输层)的防护,那么像SQL注入、XSS、网页挂马等安全问题却无法识别和解决,因为这些攻击是七层的(OSI 七层模型中的应用层),那么Web应用防火墙就顺势而生。因为有一个让我们胆战心惊的事实: “80端口是永远的后门”。(不管你怕不怕,反正我是怕了)

如果你觉得WAF比较陌生,没关系,作为非安全人员,这可以理解。那么我们先来亲近亲近,下面几个代码片段你一定非常的熟悉。我们经常会使用Nginx来做一些常规的安全防护:

#拒绝特定User Agent的访问(想拿ab压测我,没门(除非你修改下UA,冏))

#==Disable User Agents==

set $block_user_agents 0;

if ($http_user_agent ~ “Wget|ApacheBench|WebBench|TurnitinBot|libwww-perl”) {

set $block_user_agents 1;

}

if ($block_user_agents = 1) {

return 403;

}

 

#拒绝访问特定后缀的文件(一不小心备份一个tar包,可不能直接被用户下载了去。)

#==Disable non-security Download===

location ~* “\.(sql|bak|inc|old|sh|zip|tgz|gz|tar)$”{

return 404;

}

 

#防止SQL注入(我们的url参数中是不可能有select的)

#==Block SQL Injections

set $block_sql_injections 0;

if ($query_string ~ “union.*select.*\(“){

set $block_sql_injections 1;

}

if ( $block_sql_injections = 1){

return 403;

}

上面这三个例子,我相信大家都比较熟悉了,我们使用Nginx可以在应用层进行针对请求头部的UA进行过滤和指定动作(返回403)、针对请求的URL进行过滤匹配和指定动作(返回404)和针对请求的参数进行过滤匹配和指定动作(返回403)。是的,Nginx非常的强大,帮了我们很大忙,你还可以给指定的URL再增加频率限制来防止CC攻击。但是!待我细细道来……。

1.2   痛点是什么?

本文是介绍如何使用Nginx+Lua来实现一个Web应用防火墙,那么就像上面我们的例子,标准的Nginx可以实现很多的功能呢?为什么要自己造轮子?

我是一个比较保守的运维者,虽然偶尔也会为了个人的技术提高而使用某些技术,但是决不会为了这些而不干正事!所以说如果要造轮子一定是为了解决运维痛点,“凡是不以解决问题为出发点的造轮子就是耍流氓”,那么痛点是什么:

Nginx不支持白名单:试想如果你要想这么设置,某一个IP不做防护(可能是你准备的一个漏洞扫描器,你当然不想被Nginx拦截);某一个URL不做防护(由于业务原因,有一些URL不能做CC防护)。

Nginx安全防护配置繁琐复杂:如果写一堆if else非常的繁琐,而且不能很直观的记录防护日志,比如我想单独把防护日志写成JSON的,把日志存入ELKStack中。

Nginx语法简单:想自定义一些逻辑进去,Nginx支持的简单高效的语法有点苍白无力。

注:上面这些痛点如果你脑洞大开其实有很多魔法可以让Nginx来实现我说的这些哦,有兴趣自己试试,但是实现起来还是比较费劲。

注:Nginx其实提供了非常丰富的全局变量,我们可以拿来进行相应的匹配和过滤,详细可见源码包中的./src/http/ngx_http_variables.c的源码文件中。

1.3   我要造轮子!

好的,经过几个日夜的思考,我醒悟了,既然Nginx实现这么费劲,那么我就看看有没有别的方案:

Modsecurity:是我看到的第一个方案并在线上测试很长一段时间,因为它太强了,强大到我Hold不住,而且当时只支持Apache,后来才支持Nginx,但是经过我的测试,Nginx编译上Modsecurity之后,性能下降太大,放弃。不过Modsecurity可以作为造轮子的一个设计图纸。

ngx_lua_waf: 这个一个基于lua-nginx-module的web应用防火墙,作者是张会源(ID : kindle),微博:@神奇的魔法师,目前是快网云安全产品技术总监。很牛x的一个人,而且儿子长的也很帅!更多的开源项目可以关注:https://github.com/loveshell/

 

好的,下面我们的目标就是参照ngx_lua_waf使用Nginx+Lua来自己实现一个WAF,也就是当请求进来的时候经过我们的WAF进行检查,正常的请求,畅通无阻,非法请求关进小黑屋。至于Nginx+Lua相关的知识,大家可以自行搜索,本文使用Openresty来进行讲解。

1.4   先画一个图纸

作为一个非安全专业的运维人员,想搞一个WAF出来还是有点困难,不过胖子也是一口一口吃出来的,我们先画一个设计图纸,先具备基本功能,然后再慢慢完善。

那么WAF一句话描述,就是解析HTTP请求,然后做规则检测,做不同的防御动作,并将防御过程记录下来。我将这句话中四个重要的词进行了加粗,通过这一句话,我们就可以知道编写一个WAF需要的四个基本模块:

  • 解析HTTP请求:协议解析模块,openresty给我们提供了丰富的API
  • 规则检测:规则检测模块,当然还需要有规则库。
  • 防御动作:动作模块,比如是直接拒绝还是返回某一个状态码,还是重定向到某个页面。
  • 过程记录:日志记录模块,过防御日志记录下来,编译后期统计和分析。

同时我们还需要一个配置文件,可以称之为WAF的第五个模块,配置模块。

当然这个是一个非常简化的图纸了,如果你想真正开始开发一个产品,那么还是差很远,不过有一个还不错的设计图可以推荐一下:http://www.freebuf.com/tools/54221.html

 

1.5   安装Nginx+lua(openresty)

安装依赖包

# yum install -y readline-devel pcre-devel openssl-devel

# cd /usr/local/src

下载并编译安装openresty

# wget https://openresty.org/download/ngx_openresty-1.9.3.2.tar.gz

# tar zxf ngx_openresty-1.9.3.2.tar.gz

# cd ngx_openresty-1.9.3.2

# ./configure –prefix=/usr/local/openresty-1.9.3.2 \

–with-luajit –with-http_stub_status_module \

–with-pcre –with-pcre-jit

# gmake && gmake install

# ln -s /usr/local/openresty-1.9.3.2/ /usr/local/openresty

 

测试openresty安装

# vim /usr/local/openresty/nginx/conf/nginx.conf

server {

   location /hello {

            default_type text/html;

           content_by_lua_block {

               ngx.say(“HelloWorld”)

           }

       }

}

# /usr/local/openresty/nginx/sbin/nginx -t

nginx: the configuration file /usr/local/openresty-1.9.3.2/nginx/conf/nginx.conf syntax is ok

nginx: configuration file /usr/local/openresty-1.9.3.2/nginx/conf/nginx.conf test is successful

# /usr/local/openresty/nginx/sbin/nginx

Hello World

# curl http://192.168.199.33/hello

HelloWorld

 

1.6   功能介绍

开始造轮子之前需要先设想一下,我们需要实现哪些功能。

  • 配置文件:
    • 支持开启和关闭WAF,开启某项功能等。
    • CC防护频率设置
    • 规则库、日志记录的相关配置。
    • 异常请求处理配置,是返回403还是调整到某个页面
  • IP白名单和黑名单
  • URL白名单
  • User Agent限制
  • URL限制
    • 比如限制非安全访问、非安全下载等
  • URL参数限制
    • 防止SQL注入、XSS
  • Cookie限制
    • 防止SQL注入
  • POST限制
    • 防止SQL注入、XSS
  • CC防护
  • 防护输出
    • 支持直接返回403
    • 支持直接输出一个页面
    • 支持直接调整到某个页面

好的,现在如果你有开发经验,那么需要30-60分钟的时间,看一看Lua语言快速入门之后,我们就可以开始了。

1.7   配置模块

那么我们先从配置模块开始,要编写一个WAF,那么肯定要有配置文件,配置文件用来控制和管理WAF的某些行为和相关的访问路径。

第一个要做的是一个配置开关,让用户可以自定义是否全部打开、全部关闭WAF防护,是否开启或者关闭某些WAF功能。这个很有必要,尤其是我们刚上线的时候,我们需要的场景是WAF不进行防御处理,只记录日志,用来观察WAF都干了什么,是否有误杀。

https://github.com/unixhot/waf/blob/master/waf/config.lua

–WAF config file,enable = “on”,disable = “off”

 

–waf status

config_waf_enable = “on”

–log dir

config_log_dir = “/tmp/waf_logs”

–rule setting

config_rule_dir = “/usr/local/openresty/nginx/conf/waf/rule-config”

–enable/disable white url

config_white_url_check = “on”

–enable/disable white ip

config_white_ip_check = “on”

–enable/disable block ip

config_black_ip_check = “on”

–enable/disable url filtering

config_url_check = “on”

–enalbe/disable url args filtering

config_url_args_check = “on”

–enable/disable user agent filtering

config_user_agent_check = “on”

–enable/disable cookie deny filtering

config_cookie_check = “on”

–enable/disable cc filtering

config_cc_check = “on”

–cc rate the xxx of xxx seconds

config_cc_rate = “10/60”

–enable/disable post filtering

config_post_check = “on”

–config waf output redirect/html

config_waf_output = “html”

–if config_waf_output ,setting url

config_waf_redirect_url = “http://www.baidu.com”

config_output_html=[[

<html>

<head>

<meta http-equiv=”Content-Type” content=”text/html; charset=utf-8″ />

<meta http-equiv=”Content-Language” content=”zh-cn” />

<title>网站防火墙</title>

</head>

<body>

<h1 align=”center”> 欢迎白帽子进行授权安全测试,安全漏洞请联系QQ:11111。

</body>

</html>

]]

配置文件,直接使用lua语法,没有设计单独的配置文件,这样的好处可以直接被lua其它代码require(include)进去。

1.8   基础库

由于我们后面需要获取用户的UA、用户的真实IP、规则库中的规则和通用的日志记录模块,所以我们把这些全部放在一个lib.lua文件里面,称之为基础库。

https://github.com/unixhot/waf/blob/master/waf/lib.lua

–把配置文件include进来,require是Lua语言的写法。

require ‘config’

 

–获取客户端的IP地址,如果有自定义的名称,就要根据实际情况调整了,暂时没有写到配置文件中。

function get_client_ip()

CLIENT_IP = ngx.req.get_headers()[“My_Set_ip”]

if CLIENT_IP == nil then

CLIENT_IP = ngx.req.get_headers()[“X_Forwarded_For”]

end

if CLIENT_IP == nil then

CLIENT_IP = ngx.var.remote_addr

end

if CLIENT_IP == nil then

CLIENT_IP = “unknown”

end

return CLIENT_IP

end

 

–获取客户端的User Agent

function get_user_agent()

USER_AGENT = ngx.var.http_user_agent

if USER_AGENT == nil then

USER_AGENT = “unknown”

end

return USER_AGENT

end

 

–打开规则文件并读到一个TABLE里面,返回这个TABLE。

function get_rule(rulefilename)

local io = require ‘io’

local RULE_PATH = config_rule_dir

local RULE_FILE = io.open(RULE_PATH..’/’..rulefilename,”r”)

if RULE_FILE == nil then

return

end

RULE_TABLE = {}

for line in RULE_FILE:lines() do

table.insert(RULE_TABLE,line)

end

RULE_FILE:close()

return(RULE_TABLE)

end

 

–把日志写成JSON的,这样LogStash收集的时候直接codec => json。

function log_record(method,url,data,ruletag)

local cjson = require(“cjson”)

local io = require ‘io’

local LOG_PATH = config_log_dir

local CLIENT_IP = get_client_ip()

local USER_AGENT = get_user_agent()

local SERVER_NAME = ngx.var.server_name

local LOCAL_TIME = ngx.localtime()

local log_json_obj = {

client_ip = CLIENT_IP,

local_time = LOACL_TIME,

server_name = SERVER_NAME,

user_agent = USER_AGENT,

attack_method = method,

req_url = url,

req_data = data,

rule_tag = ruletag,

}

local LOG_LINE = cjson.encode(log_json_obj)

local LOG_NAME = LOG_PATH..’/’..ngx.today()..”_waf.log”

local file = io.open(LOG_NAME,”a”)

if file == nil then

return

end

file:write(LOG_LINE..”\n”)

file:flush()

file:close()

end

 

–除了需要直接返回403外,提供了两种方法,输出一个自定义页面或者调整到某个页面。

function waf_output()

if config_waf_output == “redirect” then

ngx.redirect(config_waf_redirect_url, 301)

else

ngx.header.content_type = “text/html”

ngx.status = ngx.HTTP_FORBIDDEN

ngx.say(config_output_html)

ngx.exit(ngx.status)

end

end

 

1.9   规则检测模块

真正干活的时候到了。代码很简单,易读性也好,大家可以根据需求自己增加。

https://github.com/unixhot/waf/blob/master/waf/init.lua

 

#access.lua

–WAF Action

require ‘config’

require ‘lib’

 

–args

local rulematch = ngx.re.find

local unescape = ngx.unescape_uri

 

–IP白名单检测,如果发现规则库whiteip.rule里面有这个IP。直接返回。

function white_ip_check()

if config_white_ip_check == “on” then

local IP_WHITE_RULE = get_rule(‘whiteip.rule’)

local WHITE_IP = get_client_ip()

if IP_WHITE_RULE ~= nil then

for _,rule in pairs(IP_WHITE_RULE) do

if rule ~= “” and rulematch(WHITE_IP,rule,”jo”) then

log_record(‘White_IP’,ngx.var_request_uri,”_”,”_”)

return true

end

end

end

end

end

 

–IP黑名单检测,如果发现规则库blackip.rule有这个黑名单,直接返回403并返回。(好的if和end啊。)

function black_ip_check()

if config_black_ip_check == “on” then

local IP_BLACK_RULE = get_rule(‘blackip.rule’)

local BLACK_IP = get_client_ip()

if IP_BLACK_RULE ~= nil then

for _,rule in pairs(IP_BLACK_RULE) do

if rule ~= “” and rulematch(BLACK_IP,rule,”jo”) then

log_record(‘BlackList_IP’,ngx.var_request_uri,”_”,”_”)

if config_waf_enable == “on” then

ngx.exit(403)

return true

end

end

end

end

end

end

 

–URL白名单,检测,如果发现规则库writeurl.rule有对应的url直接返回。

function white_url_check()

if config_white_url_check == “on” then

local URL_WHITE_RULES = get_rule(‘writeurl.rule’)

local REQ_URI = ngx.var.request_uri

if URL_WHITE_RULES ~= nil then

for _,rule in pairs(URL_WHITE_RULES) do

if rule ~= “” and rulematch(REQ_URI,rule,”jo”) then

return true

end

end

end

end

end

 

–CC返回,把IP和URL进行配对,一个IP访问相同的URL不能超过配置的次数。功能更强大的CC防护可以参考HttpGuard,同样是Nginx+lua。很容易集成过来。https://github.com/centos-bz/HttpGuard

 

function cc_attack_check()

if config_cc_check == “on” then

local ATTACK_URI=ngx.var.uri

local CC_TOKEN = get_client_ip()..ATTACK_URI

local limit = ngx.shared.limit

CCcount=tonumber(string.match(config_cc_rate,'(.*)/’))

CCseconds=tonumber(string.match(config_cc_rate,’/(.*)’))

local req,_ = limit:get(CC_TOKEN)

if req then

if req > CCcount then

log_record(‘CC_Attack’,ngx.var.request_uri,”-“,”-“)

if config_waf_enable == “on” then

ngx.exit(403)

end

else

limit:incr(CC_TOKEN,1)

end

else

limit:set(CC_TOKEN,1,CCseconds)

end

end

return false

end

 

–对提交的Cookie进行检测。

function cookie_attack_check()

if config_cookie_check == “on” then

local COOKIE_RULES = get_rule(‘cookie.rule’)

local USER_COOKIE = ngx.var.http_cookie

if USER_COOKIE ~= nil then

for _,rule in pairs(COOKIE_RULES) do

if rule ~=”” and rulematch(USER_COOKIE,rule,”jo”) then

log_record(‘Deny_Cookie’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

 

–对请求的URL进行检测

function url_attack_check()

if config_url_check == “on” then

local URL_RULES = get_rule(‘url.rule’)

local REQ_URI = ngx.var.request_uri

for _,rule in pairs(URL_RULES) do

if rule ~=”” and rulematch(REQ_URI,rule,”jo”) then

log_record(‘Deny_URL’,REQ_URI,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

return false

end

 

–对请求的URL参数进行检测

function url_args_attack_check()

if config_url_args_check == “on” then

local ARGS_RULES = get_rule(‘args.rule’)

for _,rule in pairs(ARGS_RULES) do

local REQ_ARGS = ngx.req.get_uri_args()

for key, val in pairs(REQ_ARGS) do

if type(val) == ‘table’ then

ARGS_DATA = table.concat(val, ” “)

else

ARGS_DATA = val

end

if ARGS_DATA and type(ARGS_DATA) ~= “boolean” and rule ~=”” and rulematch(unescape(ARGS_DATA),rule,”jo”) then

log_record(‘Deny_URL_Args’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

–对用户的User Agent进行检测

function user_agent_attack_check()

if config_user_agent_check == “on” then

local USER_AGENT_RULES = get_rule(‘useragent.rule’)

local USER_AGENT = ngx.var.http_user_agent

if USER_AGENT ~= nil then

for _,rule in pairs(USER_AGENT_RULES) do

if rule ~=”” and rulematch(USER_AGENT,rule,”jo”) then

log_record(‘Deny_USER_AGENT’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

1.10 main函数

main函数看似简单,但是顺序很重要哦。

https://github.com/unixhot/waf/blob/master/waf/access.lua

 

require ‘init’

 

function waf_main()

if white_ip_check() then

elseif black_ip_check() then

elseif user_agent_attack_check() then

elseif cc_attack_check() then

elseif cookie_attack_check() then

elseif white_url_check() then

elseif url_attack_check() then

elseif url_args_attack_check() then

–elseif post_attack_check() then

else

return

end

end

 

waf_main()

2       生产上线

现在,我们的WAF开发完毕了,要开始生产上线了,需要提前准备好环境,如果你之前使用的是openresty那么不需要重新编译,如果是Nginx需要重新编译增加lua模块,具体的步骤可以参考github上的文档。

由于篇幅有限,这里把几个技巧总结一下。

技巧一:不要一次性部署上线,先部署后,只记录日志,然后观察和调整规则,保证正常的请求不会被误防。

技巧二:使用SaltStack管理规则库的更新。

技巧三:使用ELKStack进行日志收集和分析,非常方便的可以在Kibana上做出一个漂亮的攻击统计的饼图。

2.1   有激情的下一步

好的,我们现在拥有了一个“相对完善”的WAF,而且并部署上线,可以帮我们有效的防御一些攻击,那么下一步我们需要怎么办呢?这里我列举了一些路径,有必选和可选,任君喜好!

漏洞平台:(必选)http://wooyun.org/ WooYun是一个位于厂商和安全研究者之间的安全问题反馈平台,作为厂商非常有必要注册一个厂商用户,这样如果有白帽子贡献漏洞,你就可以非常及时的发现,不过别忘了赠送礼品哦。

持续更新防护规则:(必选)规则更新也是安全技术的学习过程,不断的学习,不断将有效的规则增加到规则列表中,让规则库变得更加强大起来,不过前提最好是你Hold住,不要让一些莫名其妙的规则影响了正常的业务运行。

持续增加功能:(可选)既然选择了,就要坚定的走下去,或许你并不想自己造一个轮子,那么直接使用第三方的也是不错的选择。

 

2.2   并不明朗的展望

我们设计和部署了WAF,或者说使用了第三方的WAF服务,是不是就万事大吉,高枕无忧了呢?事实是WAF并不是万能的,或者说世界上任何一款安全产品都无法提供100%的安全防护。让我想起曾经读过的一句话:

凡是人设计的程序都存在人为因素,而任何一个人为因素都可以导致系统被入侵。

那么除了WAF自身的安全问题外,有一个悲伤的话题是WAF存在被绕过的风险。具体的资料大家可以通过网络搜索来获得,但不可否认的是WAF可以帮我们防御大部分的常规攻击,对于一些攻击者中的佼佼者,WAF并不能阻挡他们入侵的脚步,他们可以绕过WAF来实施攻击,而且还有更神秘的“社会工程学”!

总结:安全是相对的,没有100%的安全防护,但是做总比不做好,而且好很多很多。

欢迎留言