NGINX on 软件开发大郭的技术博客

Nginx流量拷贝

Fri, 02 Dec 2022 10:59:34 +0800

一、Nginx的ngx_http_mirror_module模块实现流量复制介绍

Nginx专门提供了ngx_http_mirror_module模块，用来实现流量拷贝。将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处：

Nginx+LUA下流量拦截算法

Fri, 04 Nov 2022 12:07:46 +0800

前言

每逢大促必压测，每逢大促必限流，这估计是电商人的常态。每次大促期间，业务流量是平时的几倍十几倍，大促期间大部分业务都会集中在购物车结算，必须限流，才能保证系统不宕机。

使用NGINX+LUA实现WAF功能和nginx防盗链

Fri, 04 Nov 2022 12:04:12 +0800

使用NGINX+LUA实现WAF功能

一、了解WAF

1.1 什么是WAF

Web应用防护系统（也称：网站应用级入侵防御系统。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

Nginx(OpenResty)+Lua+RedisIP限流10s内

Mon, 31 Oct 2022 12:52:36 +0800

使用 OpenResty 可以不用再次编译nginx 就能集成对应lua环境可以扩展的模块比较丰富

1.使用redis 控制限流 ip 访问频度

创建对应lua脚本 access_by_limit_frequency.lua

local function close_redis(red)  
    if not red then  
        return
    end 
    --释放连接(连接池实现)  
    local pool_max_idle_time = 10000 --毫秒  
    local pool_size = 100 --连接池大小  
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  
    if not ok then  
        ngx.say("set keepalive error : ", err)  
    end  
end
 
local function errlog(...)
    ngx.log(ngx.ERR, "redis: ", ...)
end
 
local redis = require "resty.redis"  --引入redis模块
local red = redis:new()  --创建一个对象，注意是用冒号调用的
 
--设置超时（毫秒）  
red:set_timeout(1000) 
--建立连接  
local ip = "127.0.0.1"  
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then  
    close_redis(red)
    errlog("Cannot connect");
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)   
end  
 
local key = "limit:frequency:login:"..ngx.var.remote_addr
 
--得到此客户端IP的频次
local resp, err = red:get(key)
if not resp then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 获取值失败
end 
 
if resp == ngx.null then   
    red:set(key, 1) -- 单位时间 第一次访问
    red:expire(key, 10) --10秒时间 过期
end  
 
if type(resp) == "string" then 
    if tonumber(resp) > 10 then -- 超过10次
        close_redis(red)
        return ngx.exit(ngx.HTTP_FORBIDDEN) --直接返回403
    end
end
 
--调用API设置key  
ok, err = red:incr(key)  
if not ok then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 报错 
end  
 
close_redis(red)

2.在 nginx.conf 中配置对应的路径的使用情况处理

      location ^~/frequency/ {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
 
        # default_type 'text/plain';
        # charset 'utf-8';
        access_by_lua_file  D:\openresty-1.15.8.3-win64\lua\local\access_by_limit_frequency.lua;
        # content_by_lua '
        #     ngx.say(ngx.time() * 1000);
        #     ngx.exit(200)
        # ';   
        # content_by_lua_block {
        #     ngx.say("{\"error\":0, \"status\":0,\"msg\":\"ok\"}");
        #     ngx.exit(200);
        # }
       root D:/ds_wechat_files;
   }

以上是从其他地方找到的。大杂烩，如有侵权请联系我

Nginx+lua实现限流降级（使用lua的lua Resty Limit Traffic）

Mon, 31 Oct 2022 12:50:36 +0800

前言

虽然nginx中自带了限流的模块，只能直接限定超出的数量，但对于允许范围内的流量如何进行限流是个问题。nginx的限流方式！

1
2
3

 limit_conn perserver 100;
 limit_conn perip 15;
 limit_rate 512k;

但是比如这100的允许的值，0-30个请求去mysql读数据，31-70去redis读数据，71-100去文件直接读数据，nginx不好做这个事情，所以引入lua的lua-resty-limit-traffic来设计。

Nginx+lua+redis防刷和限流

Mon, 31 Oct 2022 11:24:07 +0800

防刷的概念：

防刷的目的是为了防止有些IP来爬去我们的网页，获取我们的价格等信息。不像普通的搜索引擎，这种爬去行为我们经过统计最高每秒300次访问，平均每秒266次访问。由于我们的网站的页面都在CDN上，导致我们的CDN流量会定时冒尖。为了防止这种情况，打算将网页页面的访问从CDN切回主站。同时开启防刷功能，目前设置一秒200次访问即视为非法，会阻止10分钟的访问。

商城项目防火墙操作命令

Sun, 09 Oct 2022 18:29:52 +0800

sudo ufw allow 80   # http
sudo ufw allow 443   # https
sudo ufw allow 8000   # 禅道
sudo ufw allow 8060   # admin

sudo ufw allow 8886   # consumer
sudo ufw allow 8887   # manager
sudo ufw allow 8888   # buyer
sudo ufw allow 8889   # seller
sudo ufw allow 8890   # common
sudo ufw allow 8891   # nfr
sudo ufw allow 8892   # community

Ubuntu防火墙操作命令

Sun, 09 Oct 2022 18:13:33 +0800

Ubuntu默认防火墙UFW命令大全

1.查看防火墙当前状态

`1`	`sudo ufw status`

2.开启防火墙

`1`	`sudo ufw enable`

3.关闭防火墙

`1`	`sudo ufw disable`

4.查看防火墙版本

`1`	`sudo ufw version`

5.默认允许外部访问本机

`1`	`sudo ufw default allow`

6.默认拒绝外部访问主机

`1`	`sudo ufw default deny`

7.允许外部访问53端口

`1`	`sudo ufw allow 53`

8.拒绝外部访问53端口

`1`	`sudo ufw deny 53`

9.允许某个IP地址访问本机所有端口

`1`	`sudo ufw allow from 192.168.0.1`

大多数系统只需要打开少量的端口接受传入连接，并且关闭所有剩余的端口。从一个简单的规则基础开始，ufw default命令可以用于设置对传入和传出连接的默认响应动作。要拒绝所有传入并允许所有传出连接，那么运行：

Vhost配置

Sun, 09 Oct 2022 18:06:33 +0800

nginx vhost配置

VHOST配置文件

server {
    listen       80;
    #listen       443 ssl;
    server_name  dev.buyer.onesales.cn;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/dev.buyer.onesales.cn.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/dev.buyer.onesales.cn.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/buyer_access.log;
	error_log  /var/log/nginx/buyer_error.log;
    location / 
    {
        root         /app/system-buyer/;
        index index.html index.htm;
        if (!-e $request_filename) {
            rewrite ^(.*)$ /index.html?s=$1 last;
            break;
        }        
    }    

}

Nginx的虚拟主机配置Vhost

Thu, 29 Sep 2022 20:24:37 +0800

前端站点配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  dev.seller.onesales.cn;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/dev.seller.onesales.cn.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/dev.seller.onesales.cn.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/seller_access.log;
	error_log  /var/log/nginx/seller_error.log;
    location / 
    {
        root         /app/system-seller/;
        index index.html index.htm;
        #解决跨域
        add_header Host $host;
        add_header X-Real-IP $remote_addr;
        add_header X-Real-PORT $remote_port;
        add_header X-Forwarded-For $proxy_add_x_forwarded_for;           
        if (!-e $request_filename) {
            rewrite ^(.*)$ /index.html?s=$1 last;
            break;
        }        
    }    

}

后端API配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  dev.seller-api.onesales.cn;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/seller-api.onesales.cn.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/seller-api.onesales.cn.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/seller-api_access.log;
	error_log  /var/log/nginx/seller-api_error.log;
    location / {
        #解决跨域
        add_header Host $host;
        add_header X-Real-IP $remote_addr;
        add_header X-Real-PORT $remote_port;
        add_header X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_pass http://127.0.0.1:8889;
    }
}

GIT代码库配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  git.devhost.work;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/git.devhost.work.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/git.devhost.work.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/git_access.log;
	error_log  /var/log/nginx/git_error.log;
    client_max_body_size 200m;
    location / {
        proxy_pass http://127.0.0.1:13000;
    }
}