Select Page
Wubuntu:結合 Windows 外觀與 Ubuntu 穩定性的全新OS

Wubuntu:結合 Windows 外觀與 Ubuntu 穩定性的全新OS

Wubuntu(全名為 Windows Ubuntu)是一款基於 Ubuntu 的作業系統,在提供與 Microsoft Windows 相似的主題和工具,但不需要高規格的系統要求,並且可以在 linux 環境下使用 exe 檔案和 Android 應用,也可以支援 Nvidia 顯卡和繁體中文。

Wubuntu

主要特色:

  • Windows 應用程式相容性:透過優化的 Wine,讓Wubuntu 能夠順暢地執行多種 Windows 平台的應用程式。
  • Android 和 PlayStore 相容性:內建的 Android 子系統允許直接從 PlayStore 安裝遊戲和應用程式。
  • 適用於舊硬體設備:Wubuntu 不需要特殊的硬體要求,只需裝置支援 64 位元即可。

最新版本:

Wubuntu 的最新版本基於 Kubuntu 24.04.1 LTS,代號為「Winux」或「Windows Theme Over Linux」。

硬體需求:

  • 64 位元雙核心 CPU
  • 2 GB 記憶體(建議 4 GB)
  • 20 GB 硬碟空間(建議使用 SSD)

PowerTools:

這是一組工具,提供類似於 Windows 系統的控制面板和設定,以及增強的 Windows 和 Android 子系統支援,還可以上網用 OneDrive 和 Google Drive。

下載與支援:

使用者可以透過官方網站下載 Wubuntu 的最新版本,安裝檔案是 ISO 檔案,是可以用 VM 安裝或是用 USB 隨身碟安裝。

採用 Hyper-V

開機的安全性選項要選擇 Microsoft UEFI

注意事項:

Wubuntu 可能涉及一些版權和商標問題,以及使用者資料處理方面的爭議。

資料庫-每日自動備份-Ubuntu-MariaDB

今天來實做一個備份任務,要在 Ubuntu 上設定每日凌晨 4:00 自動備份 MariaDB 中的所有資料庫,我們可以使用 cron 和一個自定義的 Shell 腳本來完成這個任務,以下是詳細步驟和代碼:

步驟 1:創建備份腳本

先創建一個備份 Shell Script,這個腳本將備份所有資料庫並分開儲存。

1.在 /usr/local/bin 目錄下創建一個新的 Shell 腳本:

    sudo nano /usr/local/bin/backup_mariadb.sh

    2. Script 的內容指令如下

    #!/bin/bash
    
    # 設定資料庫的用戶名和密碼
    DB_USER="your_db_user"
    DB_PASSWORD="your_db_password"
    DB_HOST="10.0.0.1"
    
    # 設定備份儲存目錄
    BACKUP_DIR="/path/to/backup/dir"
    mkdir -p $BACKUP_DIR
    
    # 獲取當前日期和時間
    CURRENT_DATE=$(date +%Y-%m-%d-%H-%M-%S)
    
    # 獲取所有資料庫名稱
    DATABASES=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASSWORD -e "SHOW DATABASES;" | tr -d "| " | grep -v Database)
    
    # 備份每個資料庫
    for DB in $DATABASES; do
      if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
        BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
        mysqldump  -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
      fi
    done

    其中要修改的有

    • DB_HOST : 要改成自己的
    • your_db_user : 資料庫中有備份權限的使用者 ID
    • your_db_password : 密碼
    • BACKUP_DIR=”/path/to/backup/dir” : 要改成你要存放的路徑,像是 /var/backup_db/

    3.將 .sh 變成可執行擋

    sudo chmod +x /usr/local/bin/backup_mariadb.sh

    步驟 2:設置 Cron 任務

    1.打開 cron

    crontab -e

    2.加入設定內容,要注意的是實間是主機時間,通常主機是 UTC+0 的時區,要注意轉換,才會是正確的當地時間,可以參考這篇

    0 4 * * * /usr/local/bin/backup_mariadb.sh

    這樣就會在每天的早上四點去備份資料庫了

    加入每一個SQL檔案都可以被壓縮的功能

    程式碼區塊要改成下面這一個

    # 備份每個資料庫並壓縮
    for DB in $DATABASES; do
      if [[ "$DB" != "information_schema" && "$DB" != "performance_schema" && "$DB" != "mysql" && "$DB" != "sys" ]]; then
        BACKUP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.sql"
        ZIP_FILE="$BACKUP_DIR/$CURRENT_DATE-$DB.zip"
        mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASSWORD --databases $DB > $BACKUP_FILE
        zip $ZIP_FILE $BACKUP_FILE
        rm $BACKUP_FILE
      fi
    done

    刪除舊資料

    可以利用下面的指令,放在程式碼的最後面

    # 刪除兩天前的備份文件
    find $BACKUP_DIR -type f -name "*.zip" -mtime +2 -exec rm {} \;

    需要改時間的話,只要修正 -mtime +2 ,把+2改成自己需要的時間

    參考資料

    https://help.ubuntu.com/community/CronHowto

    將你windows中的Ubuntu(WSL)的IP對外

    預設在你的windows下的 Linux 系統會取得一個 IP,通常是172.19開頭的,這是因為用的是 Hyper-V 架構導致的,變成你再 WSL 內開發的服務都很難對外,但其實只要利用 windows 內建的 Netsh interface portproxy 即可

    設定 NAT Proxy

    透過 netsh interface portproxy 來作設定

    netsh interface portproxy add v4tov4 listenport=<yourPortToForward> listenaddress=0.0.0.0 connectport=<yourPortToConnectToInWSL> connectaddress=(wsl hostname) -I)

    其中

    listenport 和 connectport 通常設定一樣,也就是你的服務的 port

    listenaddress=0.0.0.0 (固定)

    connectaddress 要記得是填入你 ubuntu 的IP喔,可以透過 wsl hostname -I 找出 IP

    wsl hostname -I

    假設你有一個服務是運行在 port 3001,ubuntu 的 ip 172.19.227.52,修改後的你指令應該要長成

    netsh interface portproxy add v4tov4 listenport=3001 listenaddress=0.0.0.0 connectport=3001 connectaddress=172.19.227.5

    最後記得要打開對應的防火牆的設定喔

    加碼演出

    關於 netsh 的控制指令說明

    顯示目前所有的設定

    netsh interface portproxy show all

    重新設定 netsh

    netsh interface portproxy reset

    參考資料

    https://learn.microsoft.com/zh-tw/windows/wsl/networking

    手把手教學安裝 anything-llm (不使用 docker)

    手把手教學安裝 anything-llm (不使用 docker)

    AnythingLLM是一款全功能的應用程序,支持使用商業或開源的大語言模型(LLM)和向量數據庫建構私有ChatGPT。用戶可以在本地或遠端運行該系統,並利用已有文檔進行智能對話。此應用將文檔分類至稱為工作區的容器中,確保不同工作區間的資料隔離,保持清晰的上下文管理。

    特點:多用戶支持、權限管理、內置智能代理(可執行網頁瀏覽、代碼運行等功能)、可嵌入到網站的聊天窗口、多種文檔格式支持、向量數據庫的簡易管理界面、聊天和查詢兩種對話模式、引用文檔內容的展示,以及完善的API支持客戶端定制整合。此外,該系統支持100%雲端部署,Docker部署,且在處理超大文檔時效率高,成本低。

    安裝 Anything llm

    注意,以下要用 linux 平台安裝,windows 用戶可以用 WSL,推薦用 Ubuntu OS

    在自己的 home 目錄下,到 GitHub 中下載原始碼

    git clone https://github.com/Mintplex-Labs/anything-llm.git

    利用 yarn 作設定資源

    cd anything-llm
    yarn setup

    把環境變數建立起來,後端主機是 NodeJS express

    cp server/.env.example server/.env
    nano server/.env

    密文需要最少12位的字元,檔案的存放路徑也記得改成自己的

    JWT_SECRET="my-random-string-for-seeding"
    STORAGE_DIR="/your/absolute/path/to/server/storage"

    前端的環境變數,先把/api打開即可

    # VITE_API_BASE='http://localhost:3001/api' # Use this URL when developing locally
    # VITE_API_BASE="https://$CODESPACE_NAME-3001.$GITHUB_CODESPACES_PORT_FORWARDING_DOMAIN/api" # for Github Codespaces
    VITE_API_BASE='/api' # Use this URL deploying on non-localhost address OR in docker.

    如果你在設定的時候,遇到更新請求,可以跟我著我下面的方法作

    把 prisma 更新好

    yarn add --dev prisma@latest
    yarn add @prisma/client@latest

    前端的程式碼

    先編譯前端程式碼,前端是由 viteJS + React

    cd frontend && yarn build

    將編譯好的資料放到 server 的目錄下

    cp -R frontend/dist/* server/public/

    選項,如果需要用到本地端的 LLM 模型,就把 llama-cpp 下載下來

    cd server && npx --no node-llama-cpp download

    把資料庫建立好

    cd server && npx prisma generate --schema=./prisma/schema.prisma
    cd server && npx prisma migrate deploy --schema=./prisma/schema.prisma

    Server端是用來處理 api 以及進行向量資料庫的管理以及跟 LLM 交互

    Collector 是一個 NodeJS express server,用來作UI處理和解析文檔

    cd server && NODE_ENV=production node index.js &
    cd collector && NODE_ENV=production node index.js &

    更新的指令碼

    現在 anything llm 更新速度超快,把這一段指令碼複製起來,方便未來作更新的動作

    #!/bin/bash
    
    cd $HOME/anything-llm &&\
    git checkout . &&\
    git pull origin master &&\
    echo "HEAD pulled to commit $(git log -1 --pretty=format:"%h" | tail -n 1)"
    
    echo "Freezing current ENVs"
    curl -I "http://localhost:3001/api/env-dump" | head -n 1|cut -d$' ' -f2
    
    echo "Rebuilding Frontend"
    cd $HOME/anything-llm/frontend && yarn && yarn build && cd $HOME/anything-llm
    
    echo "Copying to Sever Public"
    rm -rf server/public
    cp -r frontend/dist server/public
    
    echo "Killing node processes"
    pkill node
    
    echo "Installing collector dependencies"
    cd $HOME/anything-llm/collector && yarn
    
    echo "Installing server dependencies & running migrations"
    cd $HOME/anything-llm/server && yarn
    cd $HOME/anything-llm/server && npx prisma migrate deploy --schema=./prisma/schema.prisma
    cd $HOME/anything-llm/server && npx prisma generate
    
    echo "Booting up services."
    truncate -s 0 /logs/server.log # Or any other log file location.
    truncate -s 0 /logs/collector.log
    
    cd $HOME/anything-llm/server
    (NODE_ENV=production node index.js) &> /logs/server.log &
    
    cd $HOME/anything-llm/collector
    (NODE_ENV=production node index.js) &> /logs/collector.log &
    用 wpa_cli 控制你的 WIFI (無線網路)

    用 wpa_cli 控制你的 WIFI (無線網路)

    wpa_cli 是一個用於與 wpa_supplicant 交互的命令行界面工具,當然也支持在 command line 下直接使用命令控制 WIFI,可以用來管理無線網絡接口的設定和運行狀態。這個工具非常強大,支持多種操作,如掃描無線網絡、連接到網絡、變更設定等,而我都用python 透過 wpa_cli 來控制 WIFI。

    首先掃描無線網路

    打開終端,並且記得要用 root 權限來執行 wpa_cli

    sudo wpa_cli -i wlan1 scan
    sleep 5  # 給予一些時間來完成掃描
    sudo wpa_cli -i wlan1 scan_results

    回應如下圖

    加一個網路配置

    利用 ssid 和 paswword 來連線到一個已知的無線網路上,可以將下面的指令編寫成 wpa_cli_add_network.sh ,並且執行她,也可以直接使用,執行後取得的 network id 通常是一個 int 的數字,把她記起來,之後就可以透過這個 network id 來連接網路,和斷開網路

    # 添加新的網絡配置
    network_id=$(wpa_cli -i wlan1 add_network | awk '{print $NF}')
    
    # 設置SSID和密碼
    wpa_cli -i wlan1 set_network $network_id ssid '"你的SSID"'
    wpa_cli -i wlan1 set_network $network_id psk '"你的密碼"'
    
    # 啟用該網絡
    wpa_cli -i wlan1 enable_network $network_id
    
    # 保存配置
    wpa_cli -i wlan1 save_config

    連接網路以及斷開網路

    # 重新連線
    wpa_cli -i wlan1 reconnect
    
    #斷開連線
    wpa_cli -i wlan1 disconnect

    刪除網路配置

    wpa_cli -i wlan1 remove_network $network_id

    檢查連線是否存在

    wpa_cli -i wlan1 status

    得到的輸出通常如下

    其中,檢查是否有連線成功,可以看 wpa_state 是否為 COMPLETED

    檢查已經存在的網路設定

    sudo wpa_cli -i wlan1 list_networks

    輸出如下

    可以用 flags CURRENT 來檢查現在是連線到那一個 network ,也可以取得 network id ,並且用他來連線

    最佳化你的 NFS 效能,讓檔案伺服器也會飛

    最佳化你的 NFS 效能,讓檔案伺服器也會飛


    調整NFS(Network File System)的效能可以從多個角度進行,包括調整NFS伺服器和客戶端的參數、網絡配置、以及文件系統的選擇。

    調整 NFS 參數:

    NFS Server 端

    • 使用 NFSv4: NFSv4 提供更好的效能和安全性。
    • 根據工作負載調整 rpc.mountd.port 和 rpc.nfsd.port 參數的值。
    • 調整 nfsd.minthreads 和 nfsd.maxthreads 參數的值,以優化執行緒數量。
    • 調整 nfs.readahead 和 nfs.writebehind 參數的值,以優化讀寫緩衝區大小。

    範例如下

    我的主機是 4VPU,4G RAM來設計

    修改 /etc/nfs.conf 文件(或你系統中相對應的配置文件),設置最小執行緒數為 8,最大執行緒數為 64

    調整邏輯,將 nfsd.minthreads 和 nfsd.maxthreads 參數設置為與 CPU 核心的數量相同或是略高一些

    [nfsd]
    threads=8 64

    編輯 /etc/sysctl.conf

    # NFS Setup
    nfsd.minthreads =8
    nfsd.maxthreads = 64
    nfs.readahead = 65536
    nfs.writebehind = 262144

    重啟主機

    sudo service nfs-kernel-server start

    NFS Client 端

    • 使用 NFSv4: NFSv4 提供更好的效能和安全性。
    • 調整 mount.nfs.rsize 和 mount.nfs.wsize 參數的值,以優化讀寫緩衝區大小。
    • 調整 mount.nfs.mountd_port 和 mount.nfs.nfsd_port 參數的值。

    調整邏輯,將 mount.nfs.rsize 和 mount.nfs.wsize 參數設置為與 TCP MTU 相同或是略低一點

    範例如下

    sudo /etc/fstab

    /etc/fstab

    server:/path/to/share /mnt/nfs nfs rw,nfsvers=4,noatime,rsize=32768,wsize=32768 0 0

    提高讀取的性能

    mount -o async,noac,rsize=1048576 nfs://server/share /mnt

    兼顧安全性以及效能的設定可以參考

    mount -o async,noac,noatime,nodev,noexec,norecovery,rsize=1048576,tcp,nfsvers=4 nfs://server/share /mnt

    讀取大型文件,如影音,透過 readahead 來幫助提高性能,這裡將 readahead 設置為 128 塊(每塊的大小依賴於系統配置,通常是 4KB)

    sudo mount -t nfs -o rsize=32768,wsize=32768,readahead=128 server:/path/to/share /mnt/nfs

    調整網路配置:

    • 使用高性能網路設備。
    • 調整 TCP/IP 參數,例如 tcp_keepalive 和 tcp_window_size

    常見的 NFS 掛載選項

    • async: 允許 NFS 客户端在將數據寫入磁碟之前將其發送到伺服器。這可以提高寫入性能,但可能會導致數據丟失。
    • bg: 在後台掛載 NFS 共享。
    • intr: 允許 NFS 客户端在伺服器無響應時中斷操作。
    • noac: 不使用 NFS 屬性緩衝區。這可以提高性能,但可能會導致文件屬性不一致。
    • noatime: 不更新文件的訪問時間。這可以提高性能,但可能會導致文件元數據不準確。
    • nodev: 不將 NFS 共享上的設備映射到本地設備。
    • noexec: 不允許在本地執行 NFS 共享上的可執行文件。
    • norecovery: 在 NFS 伺服器發生故障時不嘗試重新掛載共享。
    • ro: 以唯讀模式掛載 NFS 共享。
    • rsize: 設置 NFS 客户端每次讀取操作從伺服器接收的最大數據量。
    • rw: 以讀寫模式掛載 NFS 共享。
    • soft: 在 NFS 伺服器無響應時允許 NFS 客户端重試操作。
    • tcp: 使用 TCP 而不是 UDP 進行 NFS 通信。
    • timeo: 設置 NFS 客户端在伺服器無響應之前等待的時間。
    • nfsvers: 指定 NFS 協議版本

    其中最常用到的是 async, noac, noatime, rsize, nfsvers.

    noatime

    多數情況下,禁用對文件訪問時間的更新可以提升性能,因為它減少了對伺服器的寫操作。

    rsize和wsize:

    對於現代網絡,32768(32KB)或65536(64KB)是比較常見的設定值,能夠提供良好的效能。你可以從這個基點開始,進行實際的性能測試來找到最適合你環境的值。

    NFS 版本的比較說明 (nfsvers)

    • NFSv4 比較新,提供了更好的安全性(如Kerberos身份驗證)和效能優化,包括更高效的文件鎖定機制和狀態保持功能。
    • NFSv3 在一些舊系統上仍然很流行,對於不需要v4的安全性增強的環境來說,可能仍是一個好選擇。在某些情況下,它可能由於其無狀態性而提供更好的效能。

    監控與調整

    使用 nfsstat 這樣的工具來監控 NFS 伺服器的性能,然後根據實際運行情況進行調整。

    sudo apt install nfsstat

    之後就可以輸入 nfsstat 取得相關資訊

    nfsstat

    高效能伺服器

    使用 NFS Ganesha: NFS Ganesha 高性能的 NFS 代理伺服器