by Rain Chu 6 月 26, 2024 | Linux , MariaDB , Ubuntu , 資料庫
今天來實做一個備份任務，要在 Ubuntu 上設定每日凌晨 4:00 自動備份 MariaDB 中的所有資料庫，我們可以使用 cron 和一個自定義的 Shell 腳本來完成這個任務，以下是詳細步驟和代碼：
步驟 1：創建備份腳本
先創建一個備份 Shell Script，這個腳本將備份所有資料庫並分開儲存。
1.在 /usr/local/bin 目錄下創建一個新的 Shell 腳本：
sudo nano /usr/local/bin/backup_mariadb.sh 2. Script 的內容指令如下
#!/bin/bash
# 設定資料庫的用戶名和密碼
DB_USER="your_db_user"
DB_PASSWORD="your_db_password"
DB_HOST="10.0.0.1"
# 設定備份儲存目錄
BACKUP_DIR="/path/to/backup/dir"
mkdir -p $BACKUP_DIR
# 獲取當前日期和時間
CURRENT_DATE=$(date +%Y-%m-%d-%H-%M-%S)
# 獲取所有資料庫名稱
DATABASES=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASSWORD -e "SHOW DATABASES;" | tr -d "| " | grep -v Database)
# 備份每個資料庫
for DB in $DATABASES; do
if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
fi
done 其中要修改的有
DB_HOST : 要改成自己的
your_db_user : 資料庫中有備份權限的使用者 ID
your_db_password : 密碼
BACKUP_DIR=”/path/to/backup/dir” : 要改成你要存放的路徑，像是 /var/backup_db/
3.將 .sh 變成可執行擋
sudo chmod +x /usr/local/bin/backup_mariadb.sh 步驟 2：設置 Cron 任務
1.打開 cron
2.加入設定內容，要注意的是實間是主機時間，通常主機是 UTC+0 的時區，要注意轉換，才會是正確的當地時間，可以參考這篇
0 4 * * * /usr/local/bin/backup_mariadb.sh 這樣就會在每天的早上四點去備份資料庫了
加入每一個SQL檔案都可以被壓縮的功能
程式碼區塊要改成下面這一個
# 備份每個資料庫並壓縮
for DB in $DATABASES; do
if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
ZIP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.zip"
mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
zip $ZIP_FILE $BACKUP_FILE
rm $BACKUP_FILE
fi
done 刪除舊資料
可以利用下面的指令，放在程式碼的最後面
# 刪除兩天前的備份文件
find $BACKUP_DIR -type f -name "*.zip" -mtime +2 -exec rm {} \; 需要改時間的話，只要修正 -mtime +2 ，把+2改成自己需要的時間
參考資料
https://help.ubuntu.com/community/CronHowto
by Rain Chu 6 月 12, 2024 | Linux
Linux 的 find 指令是一個非常強大而且必定要學習的工具，用於在文件系統中搜索符合特定條件的文件或目錄。以下想要介紹這個指令，通過各種參數和選項來定制搜索條件，讓你能夠精確地找到所需的文件。
基本語法
find 指令的基本語法如下：
路徑 ：指定 find 指令開始搜索的目錄。如果不指定，默認為當前目錄。選項 ：定義搜索的條件，例如按文件名、文件類型、修改時間等。動作 ：對搜索結果執行的操作，如列印文件名、刪除文件等。如果不指定動作，默認動作是列印所有找到的文件的路徑。
常用選項
按名稱搜索 ：
-name 'pattern'：搜索文件名匹配指定的模式的文件。模式可以包含通配符，如 * 和 ?。示例：find /home/user -name '*.txt'
按類型搜索 ：
-type f：僅搜索文件。-type d：僅搜索目錄。示例：find /var/log -type f
按修改時間搜索 ：
-mtime +n：搜索在 n 天之前被修改過的文件。-mtime -n：搜索在最近 n 天內被修改過的文件。示例：find / -mtime -10
按大小搜索 ：
-size +n：搜索大於 n 單位的文件。單位可以是 k（KB）、M（MB）、G（GB）。-size -n：搜索小於指定大小的文件。示例：find / -size +100M
常用動作
-print-delete-exec cmd {} \;{} 是一個占位符，代表當前找到的文件名。示例：find /tmp -type f -mtime +30 -exec rm {} \;
最常使用的動作
搜尋整個硬碟中大於100MB的log檔案(不分大小寫)，並且把她刪除
find / -type f -size +100M -iname "*.log" -delete 使用案例
尋找並刪除 30 天前的臨時文件 ：
find /tmp -type f -mtime +30 -delete 尋找特定大小的日誌文件並列出詳細信息 ：
find /var/log -type f -size +50M -exec ls -lh {} \; 尋找所有 JPG 文件並複製到另一個目錄 ：
find /home/user/Pictures -name '*.jpg' -exec cp {} /home/user/Backup/ \; find 完整參數
-mtime : 搜尋檔案的修改時間(天)
-mmin : 搜尋檔案的修改時間(分鐘)
-ctime : 搜尋檔案的建立時間(天)
-cmin : 搜尋檔案的建立時間(分鐘)
-atime : 搜尋檔案的最後開啟時間(天)
-amin : 搜尋檔案的最後開啟時間(分鐘)
-size : 搜尋檔案的大小
-name : 搜尋檔案名稱(有分大小寫 )
-iname : 搜尋檔案名稱(不分大小寫 )
-type f : 只搜尋“檔案”
-type d : 只搜尋“目錄”
-exec <cmd> {} \; : 把搜尋結果導向指令來執行
-user : 搜尋特定使用者 的檔案或目錄
-o : 邏輯運算為「或」 的意思
-print : 將結果印出於螢幕
參考資料
https://www.redhat.com/sysadmin/linux-find-command
by Rain Chu 5 月 21, 2024 | Linux , SERVER , Windows
如今的網站管理，一個強大且易於使用的主機管理器是不可或缺的。堡塔面板 （BT.CN）用其簡潔的介面以及豐富的功能，成為了多數中文為主的站長們和開發者的首選工具之一。
今天將詳細介紹寶塔面板的功能特點，特別是其WAF（Web應用防火牆）功能，以及它為何被譽為好用且美觀的主機管理器。
寶塔面板概述
堡塔面板，簡稱BT，是一款免費 的Linux/Windows伺服器管理軟件。它通過簡潔的Web介面，幫助用戶輕鬆管理伺服器上的網站、資料庫、FTP、SSL等服務。無論是初學者還是專業運維人員，都能快速上手並高效地管理伺服器。
如何下載以及安裝
https://www.bt.cn/new/download.html
產品線分為面板、WAF、安全模組、日誌分析、手機APP管理模組
功能特點
簡潔易用的介面 寶塔面板的介面設計簡潔明瞭，用戶可以通過圖形化介面輕鬆進行各種操作。無需複雜的命令行輸入，即使沒有太多技術背景的用戶也能快速掌握。多種環境支持 寶塔面板支持多種主流環境的安裝和管理，包括LAMP、LNMP、Tomcat等。用戶可以根據需求選擇不同的運行環境，並進行一鍵部署。豐富的插件系統 寶塔面板提供了豐富的插件，涵蓋了網站管理、性能優化、安全防護等多個方面。例如，Memcached、Redis等緩存插件，以及PhpMyAdmin等資料庫管理工具，都可以通過寶塔面板方便地安裝和管理。高效的運維管理 寶塔面板集成了多種運維管理工具，如日誌查看、監控報警、數據備份等。用戶可以實時監控伺服器狀態，並及時處理各種異常情況，提高運維效率。免費版本方案 寶塔面板提供免費版本，對於大多數小型網站和個人開發者來說，免費版本已經能夠滿足基本需求。免費版本包含了核心功能，如網站管理、資料庫管理、FTP管理等，讓用戶在不花費成本的情況下也能享受到寶塔面板的強大功能。
WAF（Web應用防火牆）
WAF是寶塔面板的一項重要安全功能。它能夠有效地保護網站免受各種網路攻擊，如SQL注入、XSS攻擊、文件包含等。以下是寶塔面板WAF功能的幾個亮點：
規則靈活 寶塔面板的WAF規則庫豐富且靈活，用戶可以根據實際需求自定義規則，精確防禦各種攻擊。同時，寶塔面板會定期更新規則庫，確保最新的安全防護能力。實時監控與報警 WAF提供實時監控功能，可以實時檢測並阻止攻擊行為。同時，系統會通過郵件、短信等方式及時通知管理員，以便快速響應和處理。詳細的日誌記錄 WAF會記錄所有的攻擊日誌，用戶可以通過日誌查看詳細的攻擊信息，包括攻擊來源、攻擊類型、攻擊時間等。這些信息對於後續的安全分析和優化具有重要參考價值。
進階服務-付費升級
有分免費版(基礎功能，管理功能，資源監控)、專業版(專業功能，多數是防火牆)、企業版(增強功能，進階安全防護功能)
https://www.bt.cn/new/pricing.html
by Rain Chu 5 月 14, 2024 | Linux , Ubuntu , Windows
預設在你的windows下的 Linux 系統會取得一個 IP，通常是172.19開頭的，這是因為用的是 Hyper-V 架構導致的，變成你再 WSL 內開發的服務都很難對外，但其實只要利用 windows 內建的 Netsh interface portproxy 即可
設定 NAT Proxy
透過 netsh interface portproxy 來作設定
netsh interface portproxy add v4tov4 listenport=<yourPortToForward> listenaddress=0.0.0.0 connectport=<yourPortToConnectToInWSL> connectaddress=(wsl hostname) -I) 其中
listenport 和 connectport 通常設定一樣，也就是你的服務的 port
listenaddress=0.0.0.0 (固定)
connectaddress 要記得是填入你 ubuntu 的IP喔，可以透過 wsl hostname -I 找出 IP
假設你有一個服務是運行在 port 3001，ubuntu 的 ip 172.19.227.52，修改後的你指令應該要長成
netsh interface portproxy add v4tov4 listenport=3001 listenaddress=0.0.0.0 connectport=3001 connectaddress=172.19.227.5 最後記得要打開對應的防火牆的設定喔
加碼演出
關於 netsh 的控制指令說明
顯示目前所有的設定
netsh interface portproxy show all 重新設定 netsh
netsh interface portproxy reset 參考資料
https://learn.microsoft.com/zh-tw/windows/wsl/networking
by Rain Chu 5 月 13, 2024 | AI , Chat , Linux , NodeJS , React , Ubuntu , ViteJS , 程式
AnythingLLM是一款全功能的應用程序，支持使用商業或開源的大語言模型（LLM）和向量數據庫建構私有ChatGPT。用戶可以在本地或遠端運行該系統，並利用已有文檔進行智能對話。此應用將文檔分類至稱為工作區的容器中，確保不同工作區間的資料隔離，保持清晰的上下文管理。
特點：多用戶支持、權限管理、內置智能代理（可執行網頁瀏覽、代碼運行等功能）、可嵌入到網站的聊天窗口、多種文檔格式支持、向量數據庫的簡易管理界面、聊天和查詢兩種對話模式、引用文檔內容的展示，以及完善的API支持客戶端定制整合。此外，該系統支持100%雲端部署，Docker部署，且在處理超大文檔時效率高，成本低。
VIDEO
注意，以下要用 linux 平台安裝，windows 用戶可以用 WSL，推薦用 Ubuntu OS
在自己的 home 目錄下，到 GitHub 中下載原始碼
git clone https://github.com/Mintplex-Labs/anything-llm.git 利用 yarn 作設定資源
cd anything-llm
yarn setup 把環境變數建立起來，後端主機是 NodeJS express
cp server/.env.example server/.env
nano server/.env 密文需要最少12位的字元，檔案的存放路徑也記得改成自己的
JWT_SECRET="my-random-string-for-seeding"
STORAGE_DIR="/your/absolute/path/to/server/storage" 前端的環境變數，先把/api打開即可
# VITE_API_BASE='http://localhost:3001/api' # Use this URL when developing locally
# VITE_API_BASE="https://$CODESPACE_NAME-3001.$GITHUB_CODESPACES_PORT_FORWARDING_DOMAIN/api" # for Github Codespaces
VITE_API_BASE='/api' # Use this URL deploying on non-localhost address OR in docker. 如果你在設定的時候，遇到更新請求，可以跟我著我下面的方法作
把 prisma 更新好
yarn add --dev prisma@latest
yarn add @prisma/client@latest 前端的程式碼
先編譯前端程式碼，前端是由 viteJS + React
cd frontend && yarn build 將編譯好的資料放到 server 的目錄下
cp -R frontend/dist/* server/public/ 選項，如果需要用到本地端的 LLM 模型，就把 llama-cpp 下載下來
cd server && npx --no node-llama-cpp download 把資料庫建立好
cd server && npx prisma generate --schema=./prisma/schema.prisma
cd server && npx prisma migrate deploy --schema=./prisma/schema.prisma Server端是用來處理 api 以及進行向量資料庫的管理以及跟 LLM 交互
Collector 是一個 NodeJS express server，用來作UI處理和解析文檔
cd server && NODE_ENV=production node index.js &
cd collector && NODE_ENV=production node index.js & 更新的指令碼
現在 anything llm 更新速度超快，把這一段指令碼複製起來，方便未來作更新的動作
#!/bin/bash
cd $HOME/anything-llm &&\
git checkout . &&\
git pull origin master &&\
echo "HEAD pulled to commit $(git log -1 --pretty=format:"%h" | tail -n 1)"
echo "Freezing current ENVs"
curl -I "http://localhost:3001/api/env-dump" | head -n 1|cut -d$' ' -f2
echo "Rebuilding Frontend"
cd $HOME/anything-llm/frontend && yarn && yarn build && cd $HOME/anything-llm
echo "Copying to Sever Public"
rm -rf server/public
cp -r frontend/dist server/public
echo "Killing node processes"
pkill node
echo "Installing collector dependencies"
cd $HOME/anything-llm/collector && yarn
echo "Installing server dependencies & running migrations"
cd $HOME/anything-llm/server && yarn
cd $HOME/anything-llm/server && npx prisma migrate deploy --schema=./prisma/schema.prisma
cd $HOME/anything-llm/server && npx prisma generate
echo "Booting up services."
truncate -s 0 /logs/server.log # Or any other log file location.
truncate -s 0 /logs/collector.log
cd $HOME/anything-llm/server
(NODE_ENV=production node index.js) &> /logs/server.log &
cd $HOME/anything-llm/collector
(NODE_ENV=production node index.js) &> /logs/collector.log &
by Rain Chu 4 月 24, 2024 | Linux , Raspberry Pi , Ubuntu
wpa_cli 是一個用於與 wpa_supplicant 交互的命令行界面工具，當然也支持在 command line 下直接使用命令控制 WIFI，可以用來管理無線網絡接口的設定和運行狀態。這個工具非常強大，支持多種操作，如掃描無線網絡、連接到網絡、變更設定等，而我都用python 透過 wpa_cli 來控制 WIFI。
首先掃描無線網路
打開終端，並且記得要用 root 權限來執行 wpa_cli
sudo wpa_cli -i wlan1 scan
sleep 5 # 給予一些時間來完成掃描
sudo wpa_cli -i wlan1 scan_results 回應如下圖
加一個網路配置
利用 ssid 和 paswword 來連線到一個已知的無線網路上，可以將下面的指令編寫成 wpa_cli_add_network.sh ，並且執行她，也可以直接使用，執行後取得的 network id 通常是一個 int 的數字，把她記起來，之後就可以透過這個 network id 來連接網路，和斷開網路
# 添加新的網絡配置
network_id=$(wpa_cli -i wlan1 add_network | awk '{print $NF}')
# 設置SSID和密碼
wpa_cli -i wlan1 set_network $network_id ssid '"你的SSID"'
wpa_cli -i wlan1 set_network $network_id psk '"你的密碼"'
# 啟用該網絡
wpa_cli -i wlan1 enable_network $network_id
# 保存配置
wpa_cli -i wlan1 save_config 連接網路以及斷開網路
# 重新連線
wpa_cli -i wlan1 reconnect
#斷開連線
wpa_cli -i wlan1 disconnect 刪除網路配置
wpa_cli -i wlan1 remove_network $network_id 檢查連線是否存在
得到的輸出通常如下
其中，檢查是否有連線成功，可以看 wpa_state 是否為 COMPLETED
檢查已經存在的網路設定
sudo wpa_cli -i wlan1 list_networks 輸出如下
可以用 flags CURRENT 來檢查現在是連線到那一個 network ，也可以取得 network id ，並且用他來連線
近期留言