by rainchu | 9 月 23, 2024 | SERVER
在 ubuntu linux 中預設是用 apache2 作為 http server,但現在比較多機會是用 nginx 或是自己建的 http server ,所以在這邊記錄下我的移除方法
移除指令
sudo apt-get remove --purge apache*
執行指令後,注意看一下有沒有可能會誤刪的,沒有的話,接下去執行
執行完畢後,apache2 就會被刪除,但內容以及設定檔都還會存在
移除相關設定和內容
設定預設是存放在 /etc/apache2 這個資料夾
內容預設是放在 /var/www 下,記得要檢查備份後,刪除
by Rain Chu | 6 月 26, 2024 | Linux , MariaDB , Ubuntu , 資料庫
今天來實做一個備份任務,要在 Ubuntu 上設定每日凌晨 4:00 自動備份 MariaDB 中的所有資料庫,我們可以使用 cron
和一個自定義的 Shell 腳本來完成這個任務,以下是詳細步驟和代碼:
步驟 1:創建備份腳本
先創建一個備份 Shell Script,這個腳本將備份所有資料庫並分開儲存。
1.在 /usr/local/bin
目錄下創建一個新的 Shell 腳本:
sudo nano /usr/local/bin/backup_mariadb.sh
2. Script 的內容指令如下
#!/bin/bash
# 設定資料庫的用戶名和密碼
DB_USER="your_db_user"
DB_PASSWORD="your_db_password"
DB_HOST="10.0.0.1"
# 設定備份儲存目錄
BACKUP_DIR="/path/to/backup/dir"
mkdir -p $BACKUP_DIR
# 獲取當前日期和時間
CURRENT_DATE=$(date +%Y-%m-%d-%H-%M-%S)
# 獲取所有資料庫名稱
DATABASES=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASSWORD -e "SHOW DATABASES;" | tr -d "| " | grep -v Database)
# 備份每個資料庫
for DB in $DATABASES; do
if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
fi
done
其中要修改的有
DB_HOST : 要改成自己的
your_db_user : 資料庫中有備份權限的使用者 ID
your_db_password : 密碼
BACKUP_DIR=”/path/to/backup/dir” : 要改成你要存放的路徑,像是 /var/backup_db/
3.將 .sh 變成可執行擋
sudo chmod +x /usr/local/bin/backup_mariadb.sh
步驟 2:設置 Cron 任務
1.打開 cron
2.加入設定內容,要注意的是實間是主機時間,通常主機是 UTC+0 的時區,要注意轉換,才會是正確的當地時間,可以參考這篇
0 4 * * * /usr/local/bin/backup_mariadb.sh
這樣就會在每天的早上四點去備份資料庫了
加入每一個SQL檔案都可以被壓縮的功能
程式碼區塊要改成下面這一個
# 備份每個資料庫並壓縮
for DB in $DATABASES; do
if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
ZIP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.zip"
mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
zip $ZIP_FILE $BACKUP_FILE
rm $BACKUP_FILE
fi
done
刪除舊資料
可以利用下面的指令,放在程式碼的最後面
# 刪除兩天前的備份文件
find $BACKUP_DIR -type f -name "*.zip" -mtime +2 -exec rm {} \;
需要改時間的話,只要修正 -mtime +2 ,把+2改成自己需要的時間
參考資料
https://help.ubuntu.com/community/CronHowto
by Rain Chu | 6 月 12, 2024 | Linux
Linux 的 find
指令是一個非常強大而且必定要學習的工具,用於在文件系統中搜索符合特定條件的文件或目錄。以下想要介紹這個指令,通過各種參數和選項來定制搜索條件,讓你能夠精確地找到所需的文件。
基本語法
find
指令的基本語法如下:
路徑 :指定 find
指令開始搜索的目錄。如果不指定,默認為當前目錄。
選項 :定義搜索的條件,例如按文件名、文件類型、修改時間等。
動作 :對搜索結果執行的操作,如列印文件名、刪除文件等。如果不指定動作,默認動作是列印所有找到的文件的路徑。
常用選項
按名稱搜索 :
-name 'pattern'
:搜索文件名匹配指定的模式的文件。模式可以包含通配符,如 *
和 ?
。
示例:find /home/user -name '*.txt'
按類型搜索 :
-type f
:僅搜索文件。
-type d
:僅搜索目錄。
示例:find /var/log -type f
按修改時間搜索 :
-mtime +n
:搜索在 n 天之前被修改過的文件。
-mtime -n
:搜索在最近 n 天內被修改過的文件。
示例:find / -mtime -10
按大小搜索 :
-size +n
:搜索大於 n 單位的文件。單位可以是 k(KB)、M(MB)、G(GB)。
-size -n
:搜索小於指定大小的文件。
示例:find / -size +100M
常用動作
-print
:輸出匹配文件的完整路徑(這是默認動作)。
-delete
:刪除找到的文件。
-exec cmd {} \;
:對找到的每個文件執行指定的命令。{}
是一個占位符,代表當前找到的文件名。
示例:find /tmp -type f -mtime +30 -exec rm {} \;
最常使用的動作
搜尋整個硬碟中大於100MB的log檔案(不分大小寫),並且把她刪除
find / -type f -size +100M -iname "*.log" -delete
使用案例
尋找並刪除 30 天前的臨時文件 :
find /tmp -type f -mtime +30 -delete
尋找特定大小的日誌文件並列出詳細信息 :
find /var/log -type f -size +50M -exec ls -lh {} \;
尋找所有 JPG 文件並複製到另一個目錄 :
find /home/user/Pictures -name '*.jpg' -exec cp {} /home/user/Backup/ \;
find 完整參數
-mtime : 搜尋檔案的修改時間(天)
-mmin : 搜尋檔案的修改時間(分鐘)
-ctime : 搜尋檔案的建立時間(天)
-cmin : 搜尋檔案的建立時間(分鐘)
-atime : 搜尋檔案的最後開啟時間(天)
-amin : 搜尋檔案的最後開啟時間(分鐘)
-size : 搜尋檔案的大小
-name : 搜尋檔案名稱(有分大小寫 )
-iname : 搜尋檔案名稱(不分大小寫 )
-type f : 只搜尋“檔案”
-type d : 只搜尋“目錄”
-exec <cmd> {} \; : 把搜尋結果導向指令來執行
-user : 搜尋特定使用者 的檔案或目錄
-o : 邏輯運算為「或」 的意思
-print : 將結果印出於螢幕
參考資料
https://www.redhat.com/sysadmin/linux-find-command
by Rain Chu | 5 月 13, 2024 | AI , Chat , Linux , NodeJS , React , Ubuntu , ViteJS , 程式
AnythingLLM是一款全功能的應用程序,支持使用商業或開源的大語言模型(LLM)和向量數據庫建構私有ChatGPT。用戶可以在本地或遠端運行該系統,並利用已有文檔進行智能對話。此應用將文檔分類至稱為工作區的容器中,確保不同工作區間的資料隔離,保持清晰的上下文管理。
特點:多用戶支持、權限管理、內置智能代理(可執行網頁瀏覽、代碼運行等功能)、可嵌入到網站的聊天窗口、多種文檔格式支持、向量數據庫的簡易管理界面、聊天和查詢兩種對話模式、引用文檔內容的展示,以及完善的API支持客戶端定制整合。此外,該系統支持100%雲端部署,Docker部署,且在處理超大文檔時效率高,成本低。
VIDEO
注意,以下要用 linux 平台安裝,windows 用戶可以用 WSL,推薦用 Ubuntu OS
在自己的 home 目錄下,到 GitHub 中下載原始碼
git clone https://github.com/Mintplex-Labs/anything-llm.git
利用 yarn 作設定資源
cd anything-llm
yarn setup
把環境變數建立起來,後端主機是 NodeJS express
cp server/.env.example server/.env
nano server/.env
密文需要最少12位的字元,檔案的存放路徑也記得改成自己的
JWT_SECRET="my-random-string-for-seeding"
STORAGE_DIR="/your/absolute/path/to/server/storage"
前端的環境變數,先把/api打開即可
# VITE_API_BASE='http://localhost:3001/api' # Use this URL when developing locally
# VITE_API_BASE="https://$CODESPACE_NAME-3001.$GITHUB_CODESPACES_PORT_FORWARDING_DOMAIN/api" # for Github Codespaces
VITE_API_BASE='/api' # Use this URL deploying on non-localhost address OR in docker.
如果你在設定的時候,遇到更新請求,可以跟我著我下面的方法作
把 prisma 更新好
yarn add --dev prisma@latest
yarn add @prisma/client@latest
前端的程式碼
先編譯前端程式碼,前端是由 viteJS + React
cd frontend && yarn build
將編譯好的資料放到 server 的目錄下
cp -R frontend/dist/* server/public/
選項,如果需要用到本地端的 LLM 模型,就把 llama-cpp 下載下來
cd server && npx --no node-llama-cpp download
把資料庫建立好
cd server && npx prisma generate --schema=./prisma/schema.prisma
cd server && npx prisma migrate deploy --schema=./prisma/schema.prisma
Server端是用來處理 api 以及進行向量資料庫的管理以及跟 LLM 交互
Collector 是一個 NodeJS express server,用來作UI處理和解析文檔
cd server && NODE_ENV=production node index.js &
cd collector && NODE_ENV=production node index.js &
更新的指令碼
現在 anything llm 更新速度超快,把這一段指令碼複製起來,方便未來作更新的動作
#!/bin/bash
cd $HOME/anything-llm &&\
git checkout . &&\
git pull origin master &&\
echo "HEAD pulled to commit $(git log -1 --pretty=format:"%h" | tail -n 1)"
echo "Freezing current ENVs"
curl -I "http://localhost:3001/api/env-dump" | head -n 1|cut -d$' ' -f2
echo "Rebuilding Frontend"
cd $HOME/anything-llm/frontend && yarn && yarn build && cd $HOME/anything-llm
echo "Copying to Sever Public"
rm -rf server/public
cp -r frontend/dist server/public
echo "Killing node processes"
pkill node
echo "Installing collector dependencies"
cd $HOME/anything-llm/collector && yarn
echo "Installing server dependencies & running migrations"
cd $HOME/anything-llm/server && yarn
cd $HOME/anything-llm/server && npx prisma migrate deploy --schema=./prisma/schema.prisma
cd $HOME/anything-llm/server && npx prisma generate
echo "Booting up services."
truncate -s 0 /logs/server.log # Or any other log file location.
truncate -s 0 /logs/collector.log
cd $HOME/anything-llm/server
(NODE_ENV=production node index.js) &> /logs/server.log &
cd $HOME/anything-llm/collector
(NODE_ENV=production node index.js) &> /logs/collector.log &
by Rain Chu | 3 月 20, 2024 | PHP
在 Linux 中更改命令行的預設 PHP 執行檔,通常涉及更新系統的 PATH
環境變數或使用 update-alternatives
工具(如果你的系統支援)。以下是幾種常見的方法來變更預設 PHP 執行檔:
方法 1:使用 update-alternatives
(適用於 Debian、Ubuntu 及其衍生系統)
如果你的系統安裝了多個 PHP 版本,可以使用 update-alternatives
工具來設定預設的 PHP 版本。
列出所有可用的 PHP 替代版本 :
sudo update-alternatives --display php
設定預設 PHP 版本 :
使用下面的命令設定預設版本。將 phpX.Y
替換成你想設定為預設的 PHP 版本號,例如 php8.2
。
sudo update-alternatives --set php /usr/bin/php8.2
如果你想要在可用選項之間手動選擇,可以使用:
sudo update-alternatives --config php
方法 2:直接修改 PATH
環境變數
你可以通過修改 PATH
環境變數來讓系統首先找到你想要的 PHP 版本。這可以通過在你的 ~/.bashrc
、~/.zshrc
或其他適用的 shell 配置檔案中添加一行來實現。
假設你想使用的 PHP 版本位於 /usr/local/phpX.Y/bin
(將 X.Y
替換成具體版本號),可以添加以下行:
export PATH=/usr/local/phpX.Y/bin:$PATH
然後,執行 source ~/.bashrc
(或對應的配置檔案)來使變更生效。
方法 3:使用符號連結
另一個變更預設 PHP 執行檔的方法是建立一個指向你想要的 PHP 版本的符號連結(symlink)。這通常涉及到刪除或重命名舊的 PHP 符號連結,然後創建一個新的指向你選擇的版本。
刪除或重命名當前的符號連結 :
sudo mv /usr/bin/php /usr/bin/php.old
建立新的符號連結 :
將 /usr/bin/php
指向你想要的 PHP 版本。將 /path/to/your/php
替換成你想要設定為預設 PHP 執行檔的完整路徑。
sudo ln -s /path/to/your/php /usr/bin/php
在進行這些變更後,你可以通過執行 php -v
來驗證新的預設 PHP 版本是否已正確設定。
近期留言