在輸入框中，輸入 =py 然後按下 TAB ，就會進入下圖，儲存格前面變成有綠色框的PY，這時就可以輸入 Python 程式碼了
# 台積電股價的小提琴圖
stock2303 = xl("A1:G218", headers=True)
sns.set_theme (font='SimHei', font_scale=0.8)
plt.figure(dpi=300)
plt.ylabel('量', rotation = 0, labelpad=15)
sns.violinplot(x="成交價", y="分量(張)", data = stock2303)資料探索與視覺化的優秀入門數據集，https://github.com/allisonhorst/palmerpenguins
各種 python 圖表的程式碼範例，https://seaborn.pydata.org/examples/index.html
現在AI的時代，實在是離不開python，有時候想要快速的驗證程式設計，並且對外服務，給外部的人測試，這時候可以考慮把在 CLI 執行的 python code ，改成 web api，讓外部的人測試看看，改法如下
pip install Flask
可以建立一個名為 webapi.py 的檔案，並且輸入以下程式碼，這樣就可以簡單地把 GraphRAG 的服務對外
from flask import Flask, request, jsonify
import subprocess
import shlex
app = Flask(__name__)
@app.route('/query', methods=['POST'])
def query():
# 获取请求中的问题
data = request.json
question = data.get('question')
if not question:
return jsonify({'error': 'No question provided'}), 400
# 构建 CLI 命令
command = f"python -m graphrag.query --root ./ragtest --method local \"{question}\""
# 安全地处理命令
args = shlex.split(command)
# 执行命令
try:
result = subprocess.run(args, check=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
response = result.stdout
# 假设输出中包含 "SUCCESS:" 和我们需要的答案
if "SUCCESS:" in response:
answer = response.split("SUCCESS:")[1].strip() # 取得成功后的文本作为答案
return jsonify({'answer': answer})
else:
return jsonify({'error': 'Failed to get a valid response from the CLI tool'}), 500
except subprocess.CalledProcessError as e:
return jsonify({'error': str(e)}), 500
if __name__ == '__main__':
app.run(debug=True, port=5000)
python webapi.py
curl -X POST http://localhost:5000/query -H "Content-Type: application/json" -d "{\"question\": \"新修正之勞工特別休假日數有多少?\"}"我們常常在網路上安裝依賴 Python 的程式碼，但總是會有一推的衝突存在，Python 的虛擬環境（virtual environment）則是一個非常有用的工具，它可以在不同的專案間建立隔離的 Python 執行環境，可以確保不同專案的依賴庫互不干擾，讓 Python 的開發更加簡單、安全。以下將詳細介紹 Python 虛擬環境的概念、創建和使用方法。
在沒有虛擬環境的情況下，Python 的庫和模組都會安裝在全局環境中。這會導致幾個問題：
使用虛擬環境，每個專案都有自己獨立的環境，可以：
Python 3.3 以上版本已經內置了 venv 模組來創建虛擬環境。安裝新的虛擬環境非常簡單：
python3 -m venv myenv
這個命令會在當前目錄下創建一個名為 myenv 的資料夾，其中包含了獨立的 Python 執行環境。
創建虛擬環境後，需要啟用它以使用：
.\myenv\Scripts\activate
source myenv/bin/activate
啟用虛擬環境後，你會在命令行前看到虛擬環境的名稱，這表明你現在在該虛擬環境中運行 Python。
在虛擬環境中，可以使用 pip 安裝所需的庫，而這些安裝只會影響當前的虛擬環境：
pip install -r requirements.txt
這個命令會在虛擬環境中安裝 Flask，而不會影響到其他環境或全局 Python 環境。
完成工作後，可以通過以下命令退出虛擬環境：
deactivate
這會恢復到全局 Python 環境。
https://docs.python.org/zh-tw/3/tutorial/venv.html
AnythingLLM是一款全功能的應用程序，支持使用商業或開源的大語言模型（LLM）和向量數據庫建構私有ChatGPT。用戶可以在本地或遠端運行該系統，並利用已有文檔進行智能對話。此應用將文檔分類至稱為工作區的容器中，確保不同工作區間的資料隔離，保持清晰的上下文管理。
特點：多用戶支持、權限管理、內置智能代理（可執行網頁瀏覽、代碼運行等功能）、可嵌入到網站的聊天窗口、多種文檔格式支持、向量數據庫的簡易管理界面、聊天和查詢兩種對話模式、引用文檔內容的展示，以及完善的API支持客戶端定制整合。此外，該系統支持100%雲端部署，Docker部署，且在處理超大文檔時效率高，成本低。
注意，以下要用 linux 平台安裝，windows 用戶可以用 WSL，推薦用 Ubuntu OS
在自己的 home 目錄下，到 GitHub 中下載原始碼
git clone https://github.com/Mintplex-Labs/anything-llm.git
利用 yarn 作設定資源
cd anything-llm yarn setup
把環境變數建立起來，後端主機是 NodeJS express
cp server/.env.example server/.env nano server/.env
密文需要最少12位的字元，檔案的存放路徑也記得改成自己的
JWT_SECRET="my-random-string-for-seeding" STORAGE_DIR="/your/absolute/path/to/server/storage"
前端的環境變數，先把/api打開即可
# VITE_API_BASE='http://localhost:3001/api' # Use this URL when developing locally # VITE_API_BASE="https://$CODESPACE_NAME-3001.$GITHUB_CODESPACES_PORT_FORWARDING_DOMAIN/api" # for Github Codespaces VITE_API_BASE='/api' # Use this URL deploying on non-localhost address OR in docker.
如果你在設定的時候，遇到更新請求，可以跟我著我下面的方法作
把 prisma 更新好
yarn add --dev prisma@latest yarn add @prisma/client@latest
先編譯前端程式碼，前端是由 viteJS + React
cd frontend && yarn build
將編譯好的資料放到 server 的目錄下
cp -R frontend/dist/* server/public/
選項，如果需要用到本地端的 LLM 模型，就把 llama-cpp 下載下來
cd server && npx --no node-llama-cpp download
把資料庫建立好
cd server && npx prisma generate --schema=./prisma/schema.prisma cd server && npx prisma migrate deploy --schema=./prisma/schema.prisma
Server端是用來處理 api 以及進行向量資料庫的管理以及跟 LLM 交互
Collector 是一個 NodeJS express server，用來作UI處理和解析文檔
cd server && NODE_ENV=production node index.js & cd collector && NODE_ENV=production node index.js &
現在 anything llm 更新速度超快，把這一段指令碼複製起來，方便未來作更新的動作
#!/bin/bash cd $HOME/anything-llm &&\ git checkout . &&\ git pull origin master &&\ echo "HEAD pulled to commit $(git log -1 --pretty=format:"%h" | tail -n 1)" echo "Freezing current ENVs" curl -I "http://localhost:3001/api/env-dump" | head -n 1|cut -d$' ' -f2 echo "Rebuilding Frontend" cd $HOME/anything-llm/frontend && yarn && yarn build && cd $HOME/anything-llm echo "Copying to Sever Public" rm -rf server/public cp -r frontend/dist server/public echo "Killing node processes" pkill node echo "Installing collector dependencies" cd $HOME/anything-llm/collector && yarn echo "Installing server dependencies & running migrations" cd $HOME/anything-llm/server && yarn cd $HOME/anything-llm/server && npx prisma migrate deploy --schema=./prisma/schema.prisma cd $HOME/anything-llm/server && npx prisma generate echo "Booting up services." truncate -s 0 /logs/server.log # Or any other log file location. truncate -s 0 /logs/collector.log cd $HOME/anything-llm/server (NODE_ENV=production node index.js) &> /logs/server.log & cd $HOME/anything-llm/collector (NODE_ENV=production node index.js) &> /logs/collector.log &
如果你有用 Nginx 的快取服務，無論是 fastcgi or proxy cache，都會遇到很難有一套真正好用的清除工具，這邊示範一套自己開發的清除工具，也支援多伺服器使用
你先需要有nodejs，沒有的人先去官網安裝下，安裝完畢的人，先建立一個目錄，並且輸入以下指令，安裝必要的套件
npm init -y npm install express
可以命名為 app.js，內容如下，會建立一個小型的伺服器，用來處理 http 的請求，並且刪除指定的目錄
const express = require('express');
const { exec } = require('child_process');
const fs = require('fs');
const app = express();
const PORT = 3000;
const logFile = 'application.log';
function log(message) {
const timestamp = new Date().toISOString();
fs.appendFileSync(logFile, `${timestamp} - ${message}\n`);
}
app.get('/delete-dir', (req, res) => {
let dir = req.query.dir;
if (!dir || /[^a-zA-Z0-9_\-\/]/.test(dir)) {
log('提供的路徑不合法！');
return res.status(400).send('提供的路徑不合法！');
}
const command = `sudo find /run/proxy_cache/${dir} -mindepth 1 -type d -exec rm -rf {} +`;
exec(command, (error, stdout, stderr) => {
if (error) {
log(`执行错误: ${error}`);
return res.status(500).send('删除子目錄失敗！');
}
log('子目錄删除成功！');
res.send('子目錄删除成功！');
});
});
app.listen(PORT, () => {
log(`服务器正在运行于 http://localhost:${PORT}`);
});其中我把能刪除的資料定義在只有這個目錄下的才行 /run/proxy_cache/ ，避免權限過大問題
打開 sudoers 文件
sudo visudo
加入指令，記得把 <username> 改成自己的名字，或是 www-data
<username> sudo find /run/proxy_cache/ -mindepth 1 -type d -exec rm -rf {} +可以利用 CURL 呼叫 API ，成功就會看到 “子目錄删除成功！” 的訊息
curl "http://localhost:3000/delete-dir?dir=cache_directory"
要記得別讓外部的人可以輕易地存取這項服務，防火牆要記得把port鎖好，執行權限要小心設定，這樣就可以搭配 Nginx Cache 使用，之後再來出對應的刪除功能。
要讓 Node.js 應用在系統開機時由特定使用者（例如 www-data）啟動，需要配置一個 systemd 服務單元。在這個情況中，我們將創建一個服務單元文件來確保 Node.js 應用作為 www-data 使用者運行。
建立一個新的 systemd 服務文件。
sudo nano /etc/systemd/system/nodeapp.service
加入以下配置
[Unit] Description=Node.js Web Application After=network.target [Service] Type=simple User=www-data Group=www-data WorkingDirectory=/path/to/your/app ExecStart=/usr/bin/node /path/to/your/app/app.js Restart=on-failure [Install] WantedBy=multi-user.target
Description: 服務的描述。
After: 這個單元應該在網絡服務可用之後啟動。
User 和 Group: 指定運行此服務的使用者和組。
WorkingDirectory: 指定 Node.js 應用的工作目錄。
ExecStart: 指定啟動應用的命令。
Restart: 指定何時重新啟動服務，on-failure 表示只在程序異常退出時重啟。
重新加載 systemd 配置以讀取新的服務文件：
sudo systemctl daemon-reload
啟用剛創建的服務，使其在開機時自動啟動：
sudo systemctl enable nodeapp.service
啟動服務以檢查它是否運行正常：
sudo systemctl start nodeapp.service
檢查服務的狀態來確認一切正常：
sudo systemctl status nodeapp.service
sudoers 檔案控制了使用者及群組在使用 sudo 指令時的權限。為了安全編輯這個檔案，應該使用 visudo 指令，因為它會檢查語法錯誤，避免創建一個無法使用的 sudoers 檔案。
sudoers 檔案的步驟：開啟你的伺服器的命令行介面。
使用 visudo 編輯 sudoers 檔案： 輸入以下指令以安全方式編輯 sudoers 檔案：
sudo visudo
在編輯器中，新增一條規則，允許 www-data 使用者無需密碼執行特定指令。
www-data ALL=(ALL) NOPASSWD: /usr/bin/rm -rf /path/to/nginx/cache/*
指令的意義是：
www-data：指定的使用者。
ALL=(ALL)：這表示 www-data 使用者可以從任何主機以任何使用者身份執行指令。
NOPASSWD：允許 www-data 使用者在執行指定的指令時不需要輸入密碼。
/usr/bin/rm -rf /path/to/nginx/cache/*：指定 www-data 使用者無密碼可以執行的指令。
如果你使用的是 nano，按 Ctrl+X 來退出，然後按 Y 鍵儲存更改，最後按 Enter 鍵確認檔案名稱。
為了確保設定正確無誤，可以用 www-data 份執行指令：
sudo -u www-data sudo /usr/bin/rm -rf /path/to/nginx/cache/*
如果不需要密碼且指令執行成功，代表 sudoers 檔案配置正確。
www-data 使用者太廣泛的權限。/usr/bin/rm），避免安全風險。sudoers 檔案，確保所有條目仍然符合組織的安全政策和操作需要。
近期留言