Redis on 软件开发大郭的技术博客

Nginx+LUA下流量拦截算法

Fri, 04 Nov 2022 12:07:46 +0800

前言

每逢大促必压测，每逢大促必限流，这估计是电商人的常态。每次大促期间，业务流量是平时的几倍十几倍，大促期间大部分业务都会集中在购物车结算，必须限流，才能保证系统不宕机。

使用NGINX+LUA实现WAF功能和nginx防盗链

Fri, 04 Nov 2022 12:04:12 +0800

使用NGINX+LUA实现WAF功能

一、了解WAF

1.1 什么是WAF

Web应用防护系统（也称：网站应用级入侵防御系统。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

Nginx(OpenResty)+Lua+RedisIP限流10s内

Mon, 31 Oct 2022 12:52:36 +0800

使用 OpenResty 可以不用再次编译nginx 就能集成对应lua环境可以扩展的模块比较丰富

1.使用redis 控制限流 ip 访问频度

创建对应lua脚本 access_by_limit_frequency.lua

local function close_redis(red)  
    if not red then  
        return
    end 
    --释放连接(连接池实现)  
    local pool_max_idle_time = 10000 --毫秒  
    local pool_size = 100 --连接池大小  
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  
    if not ok then  
        ngx.say("set keepalive error : ", err)  
    end  
end
 
local function errlog(...)
    ngx.log(ngx.ERR, "redis: ", ...)
end
 
local redis = require "resty.redis"  --引入redis模块
local red = redis:new()  --创建一个对象，注意是用冒号调用的
 
--设置超时（毫秒）  
red:set_timeout(1000) 
--建立连接  
local ip = "127.0.0.1"  
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then  
    close_redis(red)
    errlog("Cannot connect");
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)   
end  
 
local key = "limit:frequency:login:"..ngx.var.remote_addr
 
--得到此客户端IP的频次
local resp, err = red:get(key)
if not resp then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 获取值失败
end 
 
if resp == ngx.null then   
    red:set(key, 1) -- 单位时间 第一次访问
    red:expire(key, 10) --10秒时间 过期
end  
 
if type(resp) == "string" then 
    if tonumber(resp) > 10 then -- 超过10次
        close_redis(red)
        return ngx.exit(ngx.HTTP_FORBIDDEN) --直接返回403
    end
end
 
--调用API设置key  
ok, err = red:incr(key)  
if not ok then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 报错 
end  
 
close_redis(red)

2.在 nginx.conf 中配置对应的路径的使用情况处理

      location ^~/frequency/ {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
 
        # default_type 'text/plain';
        # charset 'utf-8';
        access_by_lua_file  D:\openresty-1.15.8.3-win64\lua\local\access_by_limit_frequency.lua;
        # content_by_lua '
        #     ngx.say(ngx.time() * 1000);
        #     ngx.exit(200)
        # ';   
        # content_by_lua_block {
        #     ngx.say("{\"error\":0, \"status\":0,\"msg\":\"ok\"}");
        #     ngx.exit(200);
        # }
       root D:/ds_wechat_files;
   }

以上是从其他地方找到的。大杂烩，如有侵权请联系我

Nginx+lua实现限流降级（使用lua的lua Resty Limit Traffic）

Mon, 31 Oct 2022 12:50:36 +0800

前言

虽然nginx中自带了限流的模块，只能直接限定超出的数量，但对于允许范围内的流量如何进行限流是个问题。nginx的限流方式！

1
2
3

 limit_conn perserver 100;
 limit_conn perip 15;
 limit_rate 512k;

但是比如这100的允许的值，0-30个请求去mysql读数据，31-70去redis读数据，71-100去文件直接读数据，nginx不好做这个事情，所以引入lua的lua-resty-limit-traffic来设计。

Nginx+lua+redis防刷和限流

Mon, 31 Oct 2022 11:24:07 +0800

防刷的概念：

防刷的目的是为了防止有些IP来爬去我们的网页，获取我们的价格等信息。不像普通的搜索引擎，这种爬去行为我们经过统计最高每秒300次访问，平均每秒266次访问。由于我们的网站的页面都在CDN上，导致我们的CDN流量会定时冒尖。为了防止这种情况，打算将网页页面的访问从CDN切回主站。同时开启防刷功能，目前设置一秒200次访问即视为非法，会阻止10分钟的访问。