by Rain Chu 4 月 17, 2024 | Nginx , NodeJS , SERVER , 程式
如果你有用 Nginx 的快取服務，無論是 fastcgi or proxy cache，都會遇到很難有一套真正好用的清除工具，這邊示範一套自己開發的清除工具，也支援多伺服器使用
安裝必要的套件
你先需要有nodejs ，沒有的人先去官網安裝下，安裝完畢的人，先建立一個目錄，並且輸入以下指令，安裝必要的套件
npm init -y
npm install express 建立一個 Node.js App
可以命名為 app.js，內容如下，會建立一個小型的伺服器，用來處理 http 的請求，並且刪除指定的目錄
const express = require('express');
const { exec } = require('child_process');
const fs = require('fs');
const app = express();
const PORT = 3000;
const logFile = 'application.log';
function log(message) {
const timestamp = new Date().toISOString();
fs.appendFileSync(logFile, `${timestamp} - ${message}\n`);
}
app.get('/delete-dir', (req, res) => {
let dir = req.query.dir;
if (!dir || /[^a-zA-Z0-9_\-\/]/.test(dir)) {
log('提供的路徑不合法！');
return res.status(400).send('提供的路徑不合法！');
}
const command = `sudo find /run/proxy_cache/${dir} -mindepth 1 -type d -exec rm -rf {} +`;
exec(command, (error, stdout, stderr) => {
if (error) {
log(`执行错误: ${error}`);
return res.status(500).send('删除子目錄失敗！');
}
log('子目錄删除成功！');
res.send('子目錄删除成功！');
});
});
app.listen(PORT, () => {
log(`服务器正在运行于 http://localhost:${PORT}`);
}); 其中我把能刪除的資料定義在只有這個目錄下的才行 /run/proxy_cache/ ，避免權限過大問題
配置 sudo 權限
打開 sudoers 文件
加入指令，記得把 <username> 改成自己的名字，或是 www-data
<username> sudo find /run/proxy_cache/ -mindepth 1 -type d -exec rm -rf {} + 完成後的測試
可以利用 CURL 呼叫 API ，成功就會看到 “子目錄删除成功！” 的訊息
curl "http://localhost:3000/delete-dir?dir=cache_directory" 結論與注意事項
要記得別讓外部的人可以輕易地存取這項服務，防火牆要記得把port鎖好，執行權限要小心設定，這樣就可以搭配 Nginx Cache 使用，之後再來出對應的刪除功能。
開機時候自動執行
要讓 Node.js 應用在系統開機時由特定使用者（例如 www-data）啟動，需要配置一個 systemd 服務單元。在這個情況中，我們將創建一個服務單元文件來確保 Node.js 應用作為 www-data 使用者運行。
創建 systemd 服務文件
建立一個新的 systemd 服務文件。
sudo nano /etc/systemd/system/nodeapp.service 加入以下配置
[Unit]
Description=Node.js Web Application
After=network.target
[Service]
Type=simple
User=www-data
Group=www-data
WorkingDirectory=/path/to/your/app
ExecStart=/usr/bin/node /path/to/your/app/app.js
Restart=on-failure
[Install]
WantedBy=multi-user.target 參數意思如下
Description : 服務的描述。
After : 這個單元應該在網絡服務可用之後啟動。
User 和 Group : 指定運行此服務的使用者和組。
WorkingDirectory : 指定 Node.js 應用的工作目錄。
ExecStart : 指定啟動應用的命令。
Restart : 指定何時重新啟動服務，on-failure 表示只在程序異常退出時重啟。
啟用和啟動服務
重新加載 systemd 配置以讀取新的服務文件：
sudo systemctl daemon-reload 啟用剛創建的服務，使其在開機時自動啟動：
sudo systemctl enable nodeapp.service 啟動服務以檢查它是否運行正常：
sudo systemctl start nodeapp.service 檢查服務的狀態來確認一切正常：
sudo systemctl status nodeapp.service
by Rain Chu 3 月 28, 2024 | Nginx , SERVER , wordpress
定義 proxy cache path
先找到設定檔，通常在
sudo nano /etc/nginx/nginx.conf 找到 http ，在他的配置中設定
http {
proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
...
} 緩存配置
緩存文件儲存的路徑： /path/to/cache緩存目錄的層級： 1:2緩存區域的名稱和大小： my_cache:10m
緩存區域名稱： my_cache緩存區域大小： 10MB
緩存的最大大小： 10GB在指定的時間內沒有被訪問的緩存文件將被刪除： 60m直接在緩存路徑上操作，而不是使用臨時路徑： off
詳細說明
緩存文件將儲存在指定的目錄中。您可以根據您的需求設置此路徑。
此設置控制緩存目錄的層級結構。例如，設置為 1:2 表示將使用兩個層級的目錄來儲存緩存文件。第一層級將包含 10 個子目錄，第二層級將包含 100 個子目錄。
此設置控制緩存區域的名稱和大小。緩存區域是緩存文件的分組。您可以根據您的需求設置多個緩存區域。
此設置控制緩存的最大大小。超過此大小時，最舊的緩存文件將被刪除。
此設置控制在指定的時間內沒有被訪問的緩存文件將被刪除。
修改設定檔，配置 proxy cache
找到 config 中的 server ，在裡面添加相關設定
server {
listen 80;
server_name yourdomain.com;
location / {
proxy_pass http://your_backend_server;
proxy_cache my_cache;
proxy_cache_revalidate on;
proxy_cache_min_uses 1;
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
proxy_cache_lock on;
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
}
} 反向代理配置
後端伺服器的地址： proxy_pass
此設置指定後端伺服器的地址。後端伺服器是 Nginx 將請求轉發到的伺服器。
使用之前定義的緩存區域： proxy_cache
此設置指定要使用的緩存區域。緩存區域是 Nginx 用於儲存靜態內容的區域。
啟用後，會在緩存過期時向後端伺服器驗證緩存內容是否仍然有效： proxy_cache_revalidate
此設置控制是否在緩存過期時向後端伺服器驗證緩存內容是否仍然有效。默認情況下，Nginx 將在緩存過期時直接使用緩存內容。
在緩存內容之前，請求必須達到指定的次數： proxy_cache_min_uses
此設置控制在緩存內容之前，請求必須達到指定的次數。這可以防止頻繁更新的內容被緩存。
在後端伺服器錯誤或超時時，使用舊的緩存數據： proxy_cache_use_stale
此設置控制在後端伺服器錯誤或超時時是否使用舊的緩存數據。默認情況下，Nginx 將在後端伺服器錯誤或超時時向客戶端返回錯誤。
在更新緩存內容時，防止多個請求同時向後端伺服器發送： proxy_cache_lock
此設置控制在更新緩存內容時是否防止多個請求同時向後端伺服器發送。這可以防止後端伺服器過載。
設定不同響應狀態碼的緩存時間： proxy_cache_valid
此設置控制不同響應狀態碼的緩存時間。您可以根據您的需求設置不同的緩存時間。
重新開啟 Nginx 讓設定生效
sudo nginx -t
sudo systemctl reload nginx 快取的時間設定
Nginx 支持多種時間單位来指定 cache 的有效期，这包括：
s 秒m 分鐘h 小時d 天w 周M 月（30 天）y 年（365 天）
舉例子
快取檔案 30 秒
proxy_cache_valid 200 302 30s;
刪除快取的方法
1.直接刪除快取檔案
找到你設定的路徑，直接刪除檔案即可
sudo rm -rf /path/to/cache/* 2.使用 Nginx Cache Purge
如果你在編譯 Nginx 有加入 cache purge ，就可以用下面的設定，如果你是用預設安裝，通常不包含 cache purge，可以看下我之前的安裝教學
location /purge_cache/ {
proxy_cache_purge my_cache $scheme$host$request_uri;
}
by Rain Chu 12 月 7, 2023 | GCP , Linux , MIS , Ubuntu
建立一個會自動開機和關閉虛擬機器的排程
值得注意的事項：
主機時間都是 UTC 時間，設定的時候，要記得處理這邊，例如台灣時區是+8，所以設定時間的時候要-8
1.首先設定一個 Compute Engine 的 「執行個體排程」如圖所示
2.建立一個新的執行個體排程
設定在每天18:00到23:00最忙碌的時候多開一台主機
3.將要執行的 VM 個體加入到此排程中
記得建立好排程後，要把適用這個規則的 VM 個體都加入，GCP 的排程才會去處理 VM 的開關
4.執行排程的權限設定
如果你之前沒做過權限設定，那肯定會遇到權限不足的錯誤訊息，這時候要來到 IAM 與管理 -> 身分與存取權管理，並且先勾選「包含 Google 提供的角色授權」，然後選擇「授予存取權」
然後主體要選擇你自己的 compute-system.iam 指派角色則是選擇 Compute 執行個體管理員(v1)，如圖所示
建立 Ubuntu or Debian 的 Shell Script 定時執行開關機
1.建立自動開關設定的 Script
#!/bin/bash
SOURCE_CONF="/path/to/a.conf"
TARGET_CONF="/path/to/nginx/nginx.conf"
# 使用 sudo 執行需要 root 權限的命令
sudo cp "$SOURCE_CONF" "$TARGET_CONF"
sudo nginx -s reload
2.可以使用 crontab 命令來檢查和管理定時任務（cron jobs）
加入執行時間、程式碼等設定
# 分 鐘 小時 日期 月份 星期 命令
0 23 * * * /path/to/update_nginx_conf.sh 這樣就可以利用 root 權限運行 Script
其中：
分鐘 ：分鐘（0-59）小時 ：小時（0-23，採24小時制）日期 ：一個月中的某天（1-31）月份 ：月份（1-12）星期 ：星期幾（0-7，其中0和7都代表星期日）命令 ：要執行的命令或腳本的絕對路徑
例如，如果您希望每天凌晨 3 點執行一個名為 script.sh 的腳本，您應該這樣寫：
檢查
檢查 crontab 列表 ：輸入 crontab -l 來確認您的任務已被添加到 crontab 列表中。
其他方法
at 指令
例如要讓指令碼在明天的 10:00執行，可以執行下面的指令
at 10:00 AM tomorrow /path/to/script.sh systemd (System and Service Manager)
創建一個 systemd 定時任務檔案。
在定時任務檔案中指定要執行的命令或腳本以及執行時間。
啟用定時任務。
例如：每一分鐘都要執行一次 script.sh
[Unit]
Description=My Script
[Timer]
OnCalendar=*-*-* *:* *
[Service]
ExecStart=/path/to/script.sh 錯誤處理
如果有遇到無法執行權限的話，可以參考下面的文章解決權限問題
結語
這樣設定完成後，GCP自己就會在晚上11點關機、晚上6點開機，而我的腳本則是在晚上11:00 關閉 Nginx 的 upstream，在18:15開啟 upstream server
by Rain Chu 11 月 9, 2023 | Nginx , SERVER
Nginx 配置中的 client_max_body_size 參數會限制通過 HTTP 或 HTTPS 請求傳輸的最大消息體積。這個參數對所有客戶端請求體的大小都有影響，包括由 proxy_pass 轉發的文件上傳。
如果 client_max_body_size 沒有在 Nginx 配置中明確設定，則默認值通常是 1MB，這可能導致大於 1MB 的文件上傳失敗。若要允許更大的文件上傳，你需要在 Nginx 的 server 或 http 上下文中增加這個指令並設置一個足夠的值，
例如：
http {
...
client_max_body_size 100M;
...
} 或者在特定的 server 或 location 區塊中設定：
server {
...
client_max_body_size 100M;
...
} 修改後，記得重新載入或重啟 Nginx 使設定生效：
sudo nginx -t
sudo nginx -s reload
sudo systemctl restart nginx 這樣就可以讓使用者上傳超過1MB的檔案了
by Rain Chu 10 月 19, 2023 | Nginx , SERVER
Nginx 是一個高效能、高穩定性的 Web 伺服器。其中，Nginx 提供的 fastcgi_cache 可以有效地快取後端伺服器（如 PHP-FPM）的回應，以提高網站的回應速度。但在預設情況下，我們需要手動清理這些快取。此時，我們可以使用 NGINX Helper 插件來協助進行快取的清除。
前期準備
要有編譯器
NGINX Helper
1. 安裝 NGINX Helper
首先，你需要在你的網站上安裝 NGINX Helper。如果你使用的是 WordPress，可以直接從插件庫中安裝。
2. 設定 NGINX 快取路徑
為了讓 NGINX Helper 知道你的 Nginx 快取路徑，你需要在 Nginx 的設定檔中，指定 fastcgi_cache_path。例如：
fastcgi_cache_path /var/run/nginx-cache levels=1:2 keys_zone=MYCACHE:100m inactive=60m; 此設定將會在 /var/run/nginx-cache 建立快取資料。
3. 配置 NGINX Helper
在 WordPress 的設定中，找到 NGINX Helper 的設定頁面，並啟用以下選項：
Enable Cache Purge
Purge Entire Cache when a post or page is published
並設定你的 Nginx 快取路徑（如 /var/run/nginx-cache）。
4. 手動清除快取
若需要手動清除快取，可以直接在 NGINX Helper 的設定頁面點選 “Purge Entire Cache” 按鈕。
5. Nginx 設定更新
確保你的 Nginx 設定檔有啟用快取清除功能：
location ~ /purge(/.*) { fastcgi_cache_purge MYCACHE "$scheme$request_method$host$1"; } 6.重新加載 Nginx 以使新設定生效。Copy code
sudo systemctl reload nginx
安裝 Nginx 新版包含有ngx_cache_purge
1.備份配置 ：
在進行任何更改之前，確保備份你當前的 Nginx 配置，以防止任何數據丟失。
sudo cp -r /etc/nginx /etc/nginx-backup 停止和卸載現有的 Nginx ：首先，停止 Nginx 服務：
sudo systemctl stop nginx 然後，卸載 Ubuntu 的 Nginx 版本：
sudo apt-get purge nginx nginx-common nginx-full 下載 OpenSSL
wget -c https://www.openssl.org/source/openssl-3.0.11.tar.gz ; tar zxf openssl-3.0.11.tar.gz ; rm openssl-3.0.11.tar.gz 下載第三方模組
安裝 ngx_cache_purge
下載最新版本 https://github.com/nginx-modules/ngx_cache_purge/releases
wget https://github.com/nginx-modules/ngx_cache_purge/archive/refs/tags/2.5.3.tar.gz
tar -xvzf 2.5.3.tar.gz ngx_brotli
git clone https://github.com/google/ngx_brotli.git
pushd ngx_brotli
git submodule update --init
popd 編譯 ngx_brotli
cd ~/ngx_brotli/deps/brotli/c
mkdir -p out
cmake ..
make 編譯和安裝 Nginx 1.2 ：如果你還沒有下載和編譯 Nginx 1.2，首先下載源代碼，然後編譯和安裝它：
sudo apt-get update
sudo apt-get install libpcre3 libpcre3-dev
wget https://nginx.org/download/nginx-1.24.0.tar.gz
tar -xvzf nginx-1.24.0.tar.gz
cd nginx-1.24.0/
./configure --with-pcre=../pcre-8.45 \
--http-log-path=/var/log/nginx/access.log \
--error-log-path=/var/log/nginx/error.log \
--with-http_ssl_module \
--with-http_gzip_static_module \
--with-openssl=../openssl-3.0.11 \
--add-module=../ngx_brotli \
--add-module=../ngx_cache_purge-2.5.3
make
sudo make install 預設情況下，自行編譯的 Nginx 會被安裝到 /usr/local/nginx。
如果出現下面的錯誤
./configure: error: the HTTP rewrite module requires the PCRE library.
You can either disable the module by using --without-http_rewrite_module
option, or install the PCRE library into the system, or build the PCRE library
statically from the source with nginx by using --with-pcre=<path> option.
代表你apt-get install libpcre3 libpcre3-dev這邊出現問題
可以自行安裝 PCRE
wget https://ftp.exim.org/pub/pcre/pcre-8.45.tar.gz
tar -xvzf pcre-8.45.tar.gz
./configure --with-pcre=../pcre-8.45 \
--http-log-path=/var/log/nginx/access.log \
--error-log-path=/var/log/nginx/error.log \
--with-http_ssl_module \
--with-http_gzip_static_module \
--with-openssl=../openssl-3.0.11 \
--add-module=../ngx_brotli \
--add-module=../ngx_cache_purge-2.5.3
如果出現gzip錯誤
./configure: error: the HTTP gzip module requires the zlib library.
You can either disable the module by using --without-http_gzip_module
option, or install the zlib library into the system, or build the zlib library
statically from the source with nginx by using --with-zlib=<path> option.
那可以自行安中 zlib
sudo apt-get update
sudo apt-get install zlib1g zlib1g-dev
如果出現 cannot find -lbrotlienc or cannot find -lbrotlicommon ，那需要安裝 Brotli
sudo apt update
sudo apt install libbrotli-dev 驗證 Brotli 是否安裝成功
ldconfig -p | grep brotli 檢查安裝是否成功
sudo /usr/local/nginx/sbin/nginx -V 配置系統啟動腳本 ：如果你希望 Nginx 在系統啟動時自動運行，你需要設置一個 systemd 服務文件或 init 腳本。由於你從源代碼編譯 Nginx，它不會自帶 systemd 服務文件，所以你可能需要自行創建。
恢復配置 ：從你之前備份的配置恢復設置：
sudo cp -r /etc/nginx-backup/* /usr/local/nginx/conf/ 請注意，由於 Nginx 版本之間可能存在差異，所以你可能需要調整配置以使其與 Nginx 1.2 版本兼容。
啟動新的 Nginx ：sudo /usr/local/nginx/sbin/nginx
要使 /usr/local/nginx/sbin/nginx 可在任何地方都能執行
使用符號鏈接 ：你可以在 /usr/bin 或 /usr/sbin 中創建一個指向 /usr/local/nginx/sbin/nginx 的符號鏈接。這樣，由於 /usr/bin 和 /usr/sbin 通常都在 $PATH 環境變量中，你就可以從任何地方執行 nginx 命令。
sudo ln -s /usr/local/nginx/sbin/nginx /usr/sbin/nginx 修改 $PATH 變量 ：作為另一種方法，你可以將 /usr/local/nginx/sbin 目錄添加到 $PATH 環境變量中。這可以在你的 shell 啟動腳本中完成，例如 ~/.bashrc 或 ~/.profile。打開 ~/.bashrc 文件：
在文件末尾添加以下行：
export PATH=$PATH:/usr/local/nginx/sbin 然後，重新加載 .bashrc 以應用更改：
管理 Nginx
你可以直接從GitHub下載nginx-startup-script-for-debian-ubuntu.sh 至你的『/etc/init.d』目錄，並將名稱更改為『nginx』。
sudo wget -O /etc/init.d/nginx https://raw.githubusercontent.com/KJieGitHub/Nginx/master/nginx-script/nginx-startup/nginx-startup-script-for-debian-ubuntu.sh
sudo chmod +x /etc/init.d/nginx
sudo systemctl daemon-reload
sudo systemctl start nginx
sudo update-rc.d -f nginx defaults 實用管理命令
sudo systemctl start nginx
sudo systemctl stop nginx
sudo systemctl restart nginx
sudo systemctl reload nginx
實用連結
Nginx 版本以及下載連結
https://nginx.org/en/download.html
Nginx 第三方模組
NGINX 3rd Party Modules
參考資料
https://www.kjnotes.com/devtools/83
https://github.com/FRiCKLE/ngx_cache_purge
完整版本的 Nginx Config
proxy_cache_path /var/run/proxy_cache/ levels=1:2 keys_zone=demo-proxy:10m max_size=1000m inactive=600m use_temp_path=off;
fastcgi_cache_use_stale error timeout invalid_header http_500;
fastcgi_ignore_headers Cache-Control Expires Set-Cookie;
server {
listen 80;
server_name yoursite;
proxy_cache demo-proxy;
proxy_cache_valid 200 1d;
#設定上傳的檔案大小
client_max_body_size 64M;
set $skip_cache 0;
add_header X-Cache $upstream_cache_status;
if ($request_method = POST) {
set $skip_cache 1;
}
if ($query_string != "") {
set $skip_cache 1;
}
if ($request_uri ~* "/wp-admin/|/xmlrpc.php|wp-.*.php|^/feed/*|/tag/.*/feed/*|index.php|/.*sitemap.*\.(xml|xsl)") {
set $skip_cache 1;
}
if ($http_cookie ~* "comment_author|wordpress_[a-f0-9]+wp-postpass|wordpress_no_cache|wordpress_logged_in") {
set $skip_cache 1;
}
location / {
proxy_cache_bypass $skip_cache;
proxy_no_cache $skip_cache;
proxy_hide_header X-Frame-Options;
proxy_pass http://X.X.X.X:X;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_cache demo-proxy;
proxy_cache_key $uri$is_args$args;
}
location ~ /purge(/.*) {
allow 127.0.0.1;
proxy_cache_purge demo-proxy $1$is_args$args;
}
}
近期留言