服务器 on 软件开发大郭的技术博客

oneinstack Let's Encrypt SSL证书命令续期

Fri, 17 Jan 2025 22:38:41 +0800

环境：oneinstack

续期命令：

`1`	`"/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" --force`

执行完成后,不能关闭远程窗口,等待执行完成,续期自动完成.

用Docker安装gitlab

Sun, 18 Dec 2022 16:57:11 +0800

配置镜像地址

`1`	`yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo`

查询

`1`	`yum list docker-ce --showduplicates \| sort -r`

安装docker

`1`	`yum -y install docker-ce`

启动docker 与开机自动启动

1
2

systemctl start docker
systemctl enable docker

其他docker指令

docker version

sudo pip install docker-compose
docker-compose --version

安装gitlab

1:拉取gitlab镜像

`1`	`docker pull gitlab/gitlab-ce`

2:生成挂载目录

1
2
3

mkdir -p /data/gitlab/etc/gitlab
mkdir -p /data/gitlab/log
mkdir -p /data/gitlab/opt

3:启动容器

将容器/etc/gitlab目录挂载到宿主机/data/gitlab/etc目录下，若宿主机内此目录不存在将会自动创建

Linux查询最近占用内存最多的十个进程的方法

Wed, 14 Dec 2022 18:19:28 +0800

Linux 查询最近占用内存最多的十个进程的方法

`1`	`ps -eo rss,pid,user,command --sort -rss \| awk '{ hr=$1/1024 ; printf("%13.2f Mb ",hr) } { for ( x=4 ; x<=NF ; x++ ) { printf("%s ",$x) } print "" }' \|cut -d "" -f2 \| cut -d "-" -f1 \|head -n 10`

linux下获取占用CPU资源最多的10个进程，可以使用如下命令组合：

CentOS7挂载新数据盘的完整步骤

Tue, 13 Dec 2022 17:09:24 +0800

1、查看硬盘信息

df -h

查看当前系统挂载的情况：

[root@localhost data]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
devtmpfs                  16G     0   16G    0% /dev
tmpfs                     16G     0   16G    0% /dev/shm
tmpfs                     16G   34M   16G    1% /run
tmpfs                     16G     0   16G    0% /sys/fs/cgroup
/dev/mapper/centos-root  830G  6.0G  824G    1% /
/dev/sda2               1014M  215M  800M   22% /boot
/dev/sda1                200M   12M  189M    6% /boot/efi
/dev/mapper/centos-home 1000G   81M 1000G    1% /home
tmpfs                    3.2G  8.0K  3.2G    1% /run/user/1000
tmpfs                    3.2G   12K  3.2G    1% /run/user/42

2、然后通过命令sudo fdisk-l查看硬盘信息

Centos7安装MongoDB

Tue, 13 Dec 2022 16:46:22 +0800

简介

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

Oracle函数转MySQL常见写法

Fri, 09 Dec 2022 16:02:07 +0800

获取当月第一天

Oracle写法：

`1`	`trunc(add_months(last_day(sysdate), -1) + 1)`

MySQL写法：

`1`	`DATE_ADD(now(),interval -day(now())+1 day)`

将当前时间添加-1个月

Oracle写法：

`1`	`add_months(sysdate, -1)`

MySQL写法:

`1`	`ADDDATE(NOW(), INTERVAL -1 MONTH)`

将当前时间添加N个月后转为yyyy-MM格式

Oracle写法：

`1`	`to_date(to_char(add_months(sysdate, -#{start}), 'yyyy-mm'),'yyyy-mm')`

MySQL写法：

Nginx流量拷贝

Fri, 02 Dec 2022 10:59:34 +0800

一、Nginx的ngx_http_mirror_module模块实现流量复制介绍

Nginx专门提供了ngx_http_mirror_module模块，用来实现流量拷贝。将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处：

rysnc实现linux与windows数据同步

Thu, 01 Dec 2022 12:03:21 +0800

一、前言

Rsync是一个有名的Linux端同步工具，最大的特点是参数非常详细，可以实现多种多样的传输要求，该工具本身是一个Linux平台软件，在Windows端对应的是cwRsync，使用方法和原来的Rsync类似。由于cwRsync只是用Cygwin将rsync移植到Windows平台的，所以可以用于linux到Windows、Windows到Linux、Windows到Windows等等。

Oracle转mysql函数相关

Tue, 29 Nov 2022 15:59:00 +0800

获取当月第一天：

`1`	`DATE_ADD(curdate(),interval -day(curdate())+1 day))`

`1`	`ADDDATE(NOW(), INTERVAL -#{start} MONTH)`

`1`	`%Y-%m-%d %T`

Oracle:

`1`	`(SYSDATE- STR_TO_DATE(b.CREATE_TM, '%Y-%m-%d %T'))2460)`

转换为： MySQL:

`1`	`(TO_DAYS(NOW()) - TO_DAYS(STR_TO_DATE("2022-11-26 11:11:11","%Y-%m-%d %T")))2460`

KBEngine分布式游戏服务器引擎

Tue, 22 Nov 2022 15:57:26 +0800

一款开源的 MMOG 游戏服务端引擎，仅 Python 脚本即可简单高效的完成任何游戏逻辑 (支持热更新)，使用配套客户端插件能够快速与 (Unity3D、UE4、OGRE、HTML5、等等) 结合形成一个完整的客户端。

Samba（SMB）的安装与使用（Ubuntu）

Thu, 10 Nov 2022 16:02:53 +0800

samba用于Linux与Windows共享文件夹，包括虚拟机或云服务器等都可以使用。

1. 安装SMB

`1`	`sudo apt-get install samba`

2. 创建共享目录

// 创建的目录即之后能够在Windows主机上直接访问的目录。 // 例如：在用户ys的主目录下新建smbshare文件夹为共享目录

Nginx+LUA下流量拦截算法

Fri, 04 Nov 2022 12:07:46 +0800

前言

每逢大促必压测，每逢大促必限流，这估计是电商人的常态。每次大促期间，业务流量是平时的几倍十几倍，大促期间大部分业务都会集中在购物车结算，必须限流，才能保证系统不宕机。

使用NGINX+LUA实现WAF功能和nginx防盗链

Fri, 04 Nov 2022 12:04:12 +0800

使用NGINX+LUA实现WAF功能

一、了解WAF

1.1 什么是WAF

Web应用防护系统（也称：网站应用级入侵防御系统。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

Nginx(OpenResty)+Lua+RedisIP限流10s内

Mon, 31 Oct 2022 12:52:36 +0800

使用 OpenResty 可以不用再次编译nginx 就能集成对应lua环境可以扩展的模块比较丰富

1.使用redis 控制限流 ip 访问频度

创建对应lua脚本 access_by_limit_frequency.lua

local function close_redis(red)  
    if not red then  
        return
    end 
    --释放连接(连接池实现)  
    local pool_max_idle_time = 10000 --毫秒  
    local pool_size = 100 --连接池大小  
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  
    if not ok then  
        ngx.say("set keepalive error : ", err)  
    end  
end
 
local function errlog(...)
    ngx.log(ngx.ERR, "redis: ", ...)
end
 
local redis = require "resty.redis"  --引入redis模块
local red = redis:new()  --创建一个对象，注意是用冒号调用的
 
--设置超时（毫秒）  
red:set_timeout(1000) 
--建立连接  
local ip = "127.0.0.1"  
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then  
    close_redis(red)
    errlog("Cannot connect");
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)   
end  
 
local key = "limit:frequency:login:"..ngx.var.remote_addr
 
--得到此客户端IP的频次
local resp, err = red:get(key)
if not resp then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 获取值失败
end 
 
if resp == ngx.null then   
    red:set(key, 1) -- 单位时间 第一次访问
    red:expire(key, 10) --10秒时间 过期
end  
 
if type(resp) == "string" then 
    if tonumber(resp) > 10 then -- 超过10次
        close_redis(red)
        return ngx.exit(ngx.HTTP_FORBIDDEN) --直接返回403
    end
end
 
--调用API设置key  
ok, err = red:incr(key)  
if not ok then  
    close_redis(red)
    return ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR) --redis 报错 
end  
 
close_redis(red)

2.在 nginx.conf 中配置对应的路径的使用情况处理

      location ^~/frequency/ {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
 
        # default_type 'text/plain';
        # charset 'utf-8';
        access_by_lua_file  D:\openresty-1.15.8.3-win64\lua\local\access_by_limit_frequency.lua;
        # content_by_lua '
        #     ngx.say(ngx.time() * 1000);
        #     ngx.exit(200)
        # ';   
        # content_by_lua_block {
        #     ngx.say("{\"error\":0, \"status\":0,\"msg\":\"ok\"}");
        #     ngx.exit(200);
        # }
       root D:/ds_wechat_files;
   }

以上是从其他地方找到的。大杂烩，如有侵权请联系我

Nginx+lua实现限流降级（使用lua的lua Resty Limit Traffic）

Mon, 31 Oct 2022 12:50:36 +0800

前言

虽然nginx中自带了限流的模块，只能直接限定超出的数量，但对于允许范围内的流量如何进行限流是个问题。nginx的限流方式！

1
2
3

 limit_conn perserver 100;
 limit_conn perip 15;
 limit_rate 512k;

但是比如这100的允许的值，0-30个请求去mysql读数据，31-70去redis读数据，71-100去文件直接读数据，nginx不好做这个事情，所以引入lua的lua-resty-limit-traffic来设计。

用lua扩展你的Nginx

Mon, 31 Oct 2022 11:49:29 +0800

一. 概述

Nginx是一个高性能，支持高并发的，轻量级的web服务器。目前，Apache依然web服务器中的老大，但是在全球前1000大的web服务器中，Nginx的份额为22.4%。Nginx采用模块化的架构，官方版本的Nginx中大部分功能都是通过模块方式提供的，比如Http模块、Mail模块等。通过开发模块扩展Nginx，可以将Nginx打造成一个全能的应用服务器，这样可以将一些功能在前端Nginx反向代理层解决，比如登录校验、js合并、甚至数据库访问等等。但是，Nginx模块需要用C开发，而且必须符合一系列复杂的规则，最重要的用C开发模块必须要熟悉Nginx的源代码，使得开发者对其望而生畏。淘宝的agentzh和chaoslawful开发的ngx_lua模块通过将lua解释器集成进Nginx，可以采用lua脚本实现业务逻辑，由于lua的紧凑、快速以及内建协程，所以在保证高并发服务能力的同时极大地降低了业务逻辑实现成本。本文向大家介绍ngx_lua，以及我在使用它开发项目的过程中遇到的一些问题。

Nginx+lua+redis防刷和限流

Mon, 31 Oct 2022 11:24:07 +0800

防刷的概念：

防刷的目的是为了防止有些IP来爬去我们的网页，获取我们的价格等信息。不像普通的搜索引擎，这种爬去行为我们经过统计最高每秒300次访问，平均每秒266次访问。由于我们的网站的页面都在CDN上，导致我们的CDN流量会定时冒尖。为了防止这种情况，打算将网页页面的访问从CDN切回主站。同时开启防刷功能，目前设置一秒200次访问即视为非法，会阻止10分钟的访问。

让putty支持标签tabs功能

Thu, 20 Oct 2022 10:01:43 +0800

putty一个我们常用的管理和连接linux的工具，小而功能够用，使用下来不足的就是不支持像类似chrome浏览器一样的tabs标签。

下载一个ttyplus的工具安装后再启动就会让putty支持多标签方式浏览。

用Docker搭建GitLab私有代码仓库

Tue, 18 Oct 2022 16:57:11 +0800

介绍

git是当下如日中天的版本管理系统，比如我们常用的github/gitee都是通过git来管理项目的。有很多现成的互联网的git服务提供给大家使用，例如号称程序员社交网络的 GitHub，还有低调好用的 bitbucket 。这些给个人使用或者公司用来做开源使用都没有什么问题。但如果在部门内推广使用就会涉及到代码不能公开或者额外的费用的问题。

Minio+Nginx实现静态资源对外访问

Thu, 13 Oct 2022 12:42:24 +0800

背景：

公司交付项目，文件服务java + minio实现文件基本功能。其中包含文件上传与下载与在线预览，由于文件下载功能实现方式问题（web直接调用文件预览接口，有minio直接返回可预览路径二次请求实现文件下载）。

Ubuntu安装GitLab

Mon, 10 Oct 2022 16:48:40 +0800

1.安装必要软件包

1
2
3

sudo apt update
sudo apt upgrade
sudo apt install build-essential curl file git ca-certificates

2.下载GitLab软件包并安装

1
2

wget --content-disposition https://packages.gitlab.com/gitlab/gitlab-ce/packages/ubuntu/bionic/gitlab-ce_14.1.2-ce.0_amd64.deb/download.deb
sudo dpkg -i gitlab-ce_14.1.2-ce.0_amd64.deb

3.启动GitLab实例

1
2
3

sudo gitlab-ctl reconfigure
sudo gitlab-ctl start
sudo gitlab-ctl status

4.配置防火墙

sudo ufw allow https
sudo ufw allow http
sudo ufw allow ssh
sudo ufw enable
sudo ufw status

5.访问GitLab Web界面

打开Web浏览器,访问http://Your-IP-address

商城项目防火墙操作命令

Sun, 09 Oct 2022 18:29:52 +0800

sudo ufw allow 80   # http
sudo ufw allow 443   # https
sudo ufw allow 8000   # 禅道
sudo ufw allow 8060   # admin

sudo ufw allow 8886   # consumer
sudo ufw allow 8887   # manager
sudo ufw allow 8888   # buyer
sudo ufw allow 8889   # seller
sudo ufw allow 8890   # common
sudo ufw allow 8891   # nfr
sudo ufw allow 8892   # community

Ubuntu安装MinIO

Thu, 29 Sep 2022 20:51:37 +0800

中文文档：http://docs.minio.org.cn/docs/

安装篇：

简单安装下载启动

wget https://dl.minio.io/server/minio/release/linux-amd64/minio
chmod +x minio
mv minio /usr/local/bin
mkdir -p /data/minio
minio server /data/minio   //后面的是数据目录

1、将Minio设置成服务

以上步骤中，如果Ctrl+C退出之后，这个Minio服务也就同时停止了，所以如果需要它在后台进行服务，需要将它添加到后台服务中。（默认你在root权限=-=，不加sudo）

1、首先需要添加minio用户，以及建一个Minio文件夹


sudo groupadd  -g  2021  minio-user
sudo useradd  -r  -M  -u  2021  -g 2021  -c "Minio User"  -s /sbin/nologin  minio-user


sudo adduser minio-user
sudo mkdir -p /data/minio
sudo chown minio-user:minio-user /data/minio

2、建立一个配置文件，并更新你的Key值

`1`	`vim /etc/default/minio`

MINIO_ROOT_USER="admin"
MINIO_ROOT_PASSWORD="dwsf99819981"
MINIO_VOLUMES="/data/minio/"
MINIO_OPTS="--address :9000 --console-address :9090"

3、新建一个minio.service 在 /etc/systemd/system

执行：

Nginx的虚拟主机配置Vhost

Thu, 29 Sep 2022 20:24:37 +0800

前端站点配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  dev.seller.onesales.cn;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/dev.seller.onesales.cn.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/dev.seller.onesales.cn.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/seller_access.log;
	error_log  /var/log/nginx/seller_error.log;
    location / 
    {
        root         /app/system-seller/;
        index index.html index.htm;
        #解决跨域
        add_header Host $host;
        add_header X-Real-IP $remote_addr;
        add_header X-Real-PORT $remote_port;
        add_header X-Forwarded-For $proxy_add_x_forwarded_for;           
        if (!-e $request_filename) {
            rewrite ^(.*)$ /index.html?s=$1 last;
            break;
        }        
    }    

}

后端API配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  dev.seller-api.onesales.cn;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/seller-api.onesales.cn.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/seller-api.onesales.cn.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/seller-api_access.log;
	error_log  /var/log/nginx/seller-api_error.log;
    location / {
        #解决跨域
        add_header Host $host;
        add_header X-Real-IP $remote_addr;
        add_header X-Real-PORT $remote_port;
        add_header X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_pass http://127.0.0.1:8889;
    }
}

GIT代码库配置

server {
    listen       80;
    #listen       443 ssl;
    server_name  git.devhost.work;
    # 域名，多个以空格分开
    #ssl_certificate     /usr/local/nginx/conf/cert/git.devhost.work.pem;  # pem文件的路径
    #ssl_certificate_key  /usr/local/nginx/conf/cert/git.devhost.work.key; # key文件的路径
    # ssl验证相关配置
    #ssl_session_timeout  5m;    #缓存有效期
    #ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;    #加密算法
    #ssl_protocols TLSv1 TLSv1.1 TLSv1.2;    #安全链接可选的加密协议
    #ssl_prefer_server_ciphers on;   #使用服务器端的首选算法

    charset utf8;
    access_log /var/log/nginx/git_access.log;
	error_log  /var/log/nginx/git_error.log;
    client_max_body_size 200m;
    location / {
        proxy_pass http://127.0.0.1:13000;
    }
}

使用dd命令克隆整个系统

Wed, 05 Jan 2022 10:00:00 +0800

神奇的ghost的原理是什么呢？不就是数据复制吗？Linux下的dd命令不就是最强大的数据复制工具！

既然如此，我为什么要使用g4l这样复杂的工具呢？一条dd命令不就可以帮我实现任意复杂的镜像复制和恢复的需求了吗？管他是grub，还是ext4，btrfs，FAT32，NTFS…dd面前众生平等。

Apache服务器虚拟主机配置（SSL、HTTPS）

Fri, 29 Oct 2021 10:00:00 +0800

需求

实现 https://www.grabbyte.com 访问网站，浏览器不带不安全的提示。

申请SSL证书

域名是阿里云购买的，我这里直接申请了免费证书。
将申请到的证书下载回来，分别是cert.key和chain.pem文件，利用winscp，上传到服务器的目录下：

Linux CentOS 7 开启80，443端口外网访问权限

Fri, 29 Oct 2021 10:00:00 +0800

起因

Web 服务在本机已经跑起来、curl 127.0.0.1 也通，可外网就是打不开——十有八九是防火墙把 80/443 拦了。CentOS 7 这一层默认由 firewalld 把守，它和老的 iptables 命令体系完全不同，照搬 CentOS 6 的教程（service iptables save 之类）只会一头雾水。

PHP5.6编译安装YAF扩展

Fri, 29 Oct 2021 10:00:00 +0800

起因

YAF 是用 C 写的 PHP MVC 框架扩展（框架流程编进 .so，不走纯 PHP 框架的解释执行），性能比纯 PHP 框架高一截。要在已有的 PHP 5.6 站点上跑 YAF 项目，第一步就是给这套老环境装上扩展。

服务器 on 软件开发大郭的技术博客

oneinstack Let's Encrypt SSL证书命令续期

用Docker安装gitlab

配置镜像地址

查询

安装docker

启动docker 与 开机自动启动

其他docker指令

安装gitlab

1:拉取gitlab镜像

2:生成挂载目录

3:启动容器

Linux查询最近占用内存最多的十个进程的方法

CentOS7挂载新数据盘的完整步骤

1、查看硬盘信息

Centos7安装MongoDB

简介

Oracle函数转MySQL常见写法

获取当月第一天

将当前时间添加-1个月

将当前时间添加N个月后转为yyyy-MM格式

Nginx流量拷贝

一、Nginx的ngx_http_mirror_module模块实现流量复制介绍

rysnc实现linux与windows数据同步

一、前言

Oracle转mysql函数相关

KBEngine分布式游戏服务器引擎

Samba（SMB）的安装与使用（Ubuntu）

1. 安装SMB

2. 创建共享目录

Nginx+LUA下流量拦截算法

前言

使用NGINX+LUA实现WAF功能和nginx防盗链

一、了解WAF

1.1 什么是WAF

Nginx(OpenResty)+Lua+RedisIP限流10s内

1.使用redis 控制限流 ip 访问频度

2.在 nginx.conf 中配置对应的 路径的使用情况处理

Nginx+lua实现限流降级（使用lua的lua Resty Limit Traffic）

前言

用lua扩展你的Nginx

一. 概述

Nginx+lua+redis防刷和限流

防刷的概念：

让putty支持标签tabs功能

用Docker搭建GitLab私有代码仓库

介绍

Minio+Nginx实现静态资源对外访问

背景：

Ubuntu安装GitLab

1.安装必要软件包

2.下载GitLab软件包并安装

3.启动GitLab实例

4.配置防火墙

5.访问GitLab Web界面

商城项目防火墙操作命令

Ubuntu安装MinIO

安装篇：

1、将Minio设置成服务

1、首先需要添加minio用户，以及建一个Minio文件夹

2、建立一个配置文件，并更新你的Key值

3、新建一个minio.service 在 /etc/systemd/system

Nginx的虚拟主机配置Vhost

前端站点配置

后端API配置

GIT代码库配置

使用dd命令克隆整个系统

Apache服务器虚拟主机配置（SSL、HTTPS）

需求

申请SSL证书

Linux CentOS 7 开启80，443端口外网访问权限

起因

PHP5.6编译安装YAF扩展

起因

启动docker 与开机自动启动

2.在 nginx.conf 中配置对应的路径的使用情况处理