by rainchu | 8 月 9, 2024 | AI , Prompt
在人工智慧生成內容的領域,提示詞(Prompt)設計的好壞往往決定了最終結果的質量。隨著語言模型的進步,越來越多的研究者與開發者開始探索更高效的提示詞架構。在新加坡舉辦的一場GPT-4提示詞設計競賽中,Sheila Tao 通過CO-STAR的提示詞架構獲得了冠軍。這個架構為設計有效的提示詞提供了一個明確的框架,幫助使用者更精準地引導語言模型生成期望的內容。
CO-STAR框架介紹
CO-STAR是一種設計提示詞結構的模板,包含六個關鍵要素:上下文(Context)、目標(Objective)、風格(Style)、語氣(Tone)、受眾(Audience)和響應(Response)。通過這六個要素的協同作用,使用者可以更好地控制生成的內容,確保其符合特定的需求。
1. 上下文(Context)
上下文是提示詞的基礎,它提供了生成內容的背景資訊。這一部分的設計旨在讓語言模型理解當前任務的情境。上下文可以包括已有的文本、問題的背景描述,或是其他可能影響生成結果的資訊。
範例 :如果你要生成一篇關於氣候變遷的文章,可以在上下文中提供相關的背景數據和問題描述,讓模型更好地理解這個主題。
2. 目標(Objective)
目標定義了提示詞的核心需求,即希望模型達成的結果。這部分明確指出你希望生成的內容應該涵蓋哪些主題或回答哪些問題。
範例 :你可能會指示模型撰寫一篇關於氣候變遷的教育性文章,目的是讓大眾了解這一問題的嚴重性。
3. 風格(Style)
風格決定了生成內容的表達方式,涵蓋了文本的結構、用詞選擇等方面。不同的風格可能會影響讀者對文本的理解和感受。
範例 :你可以指定內容應該以學術性的風格來撰寫,這樣會使得內容更加嚴謹和專業。
4. 語氣(Tone)
語氣影響了文本的情感表達方式,這在塑造讀者的感受方面至關重要。根據內容的不同,語氣可以是正式、非正式、幽默或是嚴肅的。
範例 :在撰寫一篇新聞報導時,你可能會要求語氣保持中立和客觀。
5. 受眾(Audience)
受眾是提示詞設計中常被忽視的一個部分,但它至關重要。了解你希望吸引的讀者群體可以幫助你調整提示詞的其他要素,確保生成的內容適合這一群體的需求。
範例 :如果你的文章是針對青少年,那麼語言應該更簡單易懂,風格可以更輕鬆。
6. 響應(Response)
響應是提示詞的最終結果,這是你希望模型生成的內容形式。響應可以是段落、清單、對話等多種形式,具體取決於你的需求。
範例 :你可能要求模型生成一個包含多個段落的詳細分析,或是提供一個簡單的要點清單。
為什麼CO-STAR框架如此有效?
CO-STAR框架的成功在於它的結構化方法,這使得提示詞設計變得更加精確和有針對性,也就是說你已經抓到了如何當一個好的主管的精隨。當你明確了每個要素,模型能夠更好地理解你的需求,從而生成符合期望的內容。此外,這個框架也能幫助你在提示詞的不同層面上進行調整,進一步優化結果。
舉例來說,如果你對生成的內容不滿意,可能是因為上下文提供的信息不足,或是語氣與目標不符。通過CO-STAR框架,你可以更容易地找出問題所在,並進行相應的調整。
如果還不甚滿意LLM的輸出結果,建議用自己的訓練資料,並且做出關聯圖,讓語言模型好理解,我最常採用 GraphRAG 處理他
CO-STAR 注意事項
使用分隔符:
分隔符幫助語言模型(LLM)區分提示中的不同部分,尤其是指令區塊和數據區塊對於複雜任務尤其重要。
LLM防護網:
這是一種附加的額外提示,用於指示LLM應如何行為,包括任務定義、輸出格式和防護圍欄(防止LLM生成不當內容),例如要求大語言模型用指定語言輸出 。
使用LLM分析數據集:
不使用插件或代碼,僅採用LLM來分析數據集,這在模式識別任務中特別有用。
猜解複雜的指令:
太過長的文章以及複雜的句型,是需要被理解的,但連人類都很常誤會意思,何況是LLM,所以分割成小塊且清楚的指令才能幫助模型理解和回答
使用CO-STAR框架的示例與對比
為了更好地理解CO-STAR框架的實際應用,我們用一個具體的例子來說明它如何改善提示詞的設計。
假設我們需要生成一篇關於「如何保持工作與生活的平衡」 的文章,我們將展示在沒有使用CO-STAR框架和使用後的效果對比。
沒有使用CO-STAR框架的提示詞
在沒有使用CO-STAR框架的情況下,我們可能只會簡單地輸入一個直接的提示詞:
提示詞 : “寫一篇關於如何保持工作與生活平衡的文章。”
生成的內容 :
保持工作與生活平衡是一項挑戰,尤其是在快節奏的現代社會。人們應該設定明確的工作時間,並確保下班後有足夠的休息時間。安排時間進行娛樂活動也很重要,比如運動或與朋友聚會。這有助於減少壓力並提高整體生活質量。
分析 : 這篇文章雖然提供了一些基本的建議,但內容過於簡單,沒有考慮到讀者的特定需求或語境,語氣也較為中立,缺乏吸引力,說白了,就是無聊雞肋且廢話太多的一句話,簡稱廢文。
使用CO-STAR框架的提示詞
現在,我們運用CO-STAR框架來重新設計這個提示詞,以提高生成內容的質量。
CO-STAR提示詞 :
Context(上下文) :這篇文章將發布在一個專為職場人士設計的IG平台上,主要讀者是希望改善工作與生活平衡的職場中高層管理者。
Objective(目標) :提供實際且具體的策略,幫助讀者在高壓的工作環境中維持健康的工作與生活平衡。
Style(風格) :專業且有說服力,引用實際案例和研究數據支持論點。
Tone(語氣) :積極且鼓勵人心,給予讀者信心去實踐建議。
Audience(受眾) :中高層管理者,他們時間緊張,承受較大的職場壓力,但希望改善生活質量。
Response(響應) :生成一篇包含具體步驟和案例的文章,提供可行的建議,幫助讀者實現工作與生活的平衡。
提示詞 : “為職場中高層管理者撰寫一篇專業的文章,討論如何在高壓環境下維持工作與生活的平衡。這篇文章應該包括具體的策略和案例研究,並引用最新的研究數據。語氣應積極且鼓勵人心,風格應專業且有說服力。”
建議用格式化過的方法編排提示詞後,再傳給LLM
# Context #
這篇文章將發布在一個專為職場人士設計的IG平台上,主要讀者是希望改善工作與生活平衡的職場中高層管理者。
# Objective #
提供實際且具體的策略,幫助讀者在高壓的工作環境中維持健康的工作與生活平衡。
# Style #
專業且有說服力,引用實際案例和研究數據支持論點。
# Tone #
積極且鼓勵人心,給予讀者信心去實踐建議。
# Audience #
中高層管理者,他們時間緊張,承受較大的職場壓力,但希望改善生活質量。
# Response #
生成一篇包含具體步驟和案例的文章,提供可行的建議,幫助讀者實現工作與生活的平衡。
生成的內容 :
在現代職場中,中高層管理者往往面臨著巨大的工作壓力,如何在這樣的環境中維持工作與生活的平衡成為一項關鍵挑戰。根據哈佛商學院的最新研究,超過70%的管理者表示,壓力已經嚴重影響了他們的生活質量。為了應對這一問題,我們可以採取以下三個具體策略:
設立明確的界限 :管理者應該為自己設定明確的工作時間和個人時間界限,並嚴格遵守。例如,可以在晚餐後將手機設置為勿擾模式,專注於與家人共度的時光。
尋求支持系統 :建立一個由同事、家人和朋友組成的支持系統,這可以幫助管理者在壓力過大時及時得到情感和實際的支持。
實行主動管理 :制定每週的工作與生活計畫,確保每週都有足夠的時間進行休閒活動,這不僅有助於減輕壓力,還能提高工作效率。
這些策略不僅能幫助管理者更好地平衡工作與生活,還能提升他們的整體生活質量。根據美國心理學會的研究,採取這些策略的管理者在工作滿意度和幸福感上都有顯著提高。
分析 : 使用CO-STAR框架後,生成的內容更加具體、針對性強,並且提供了實際可操作的建議。語氣積極鼓勵,風格專業且可信,與中高層管理者的需求高度契合。
對比總結
通過這個示例,我們可以明顯看出CO-STAR框架的優勢,它不僅幫助你設計出更精確的提示詞,還確保了生成的內容更具質量和價值,相比於簡單的提示詞,CO-STAR框架能夠大幅度提升內容的針對性和專業度,使其更能滿足特定受眾的需求,話說,現在的小朋友必學提示詞的技巧,才不會淹沒在浪潮中。
參考資料
https://towardsdatascience.com/how-i-won-singapores-gpt-4-prompt-engineering-competition-34c195a93d41
https://hub.baai.ac.cn/view/37050
延伸閱讀
by rainchu | 8 月 9, 2024 | AI , 影片製作
LivePortrait 是一個先進且有趣的影像生成技術,它不僅讓靜態肖像圖片動起來,變得栩栩如生,還能讓用戶在不同的角色之間進行變換,甚至能做到將一位大叔轉變成美女,美女變會跳舞的效果。這項技術目前在GitHub上獲得了10K顆星的高度關注,顯示了它在開源社群中的受歡迎程度。
什麼是 LivePortrait?
LivePortrait 是一個能夠讓靜態人像圖片進行動畫化的技術。該技術的核心是將人臉動作從一個人像轉移到另一個人像上,從而實現讓靜態圖片「動起來」的效果。與傳統的動畫技術相比,LivePortrait 的計算效率更高,並且生成的影像更加自然、流暢。
主要特點
縫合與重定位控制 :LivePortrait 的關鍵特點之一是它的縫合與重定位控制技術。這讓用戶可以將不同的面部特徵縫合到一個目標人像上,並進行動畫化。例如,將一位大叔的臉與美女的臉部特徵進行結合,然後動畫化,達到讓大叔秒變美女的有趣效果。
高效的處理能力 :這個技術使用了一種高效的算法,能夠在較短的時間內生成高質量的動畫效果,適合用於即時應用或者在線處理需求。
開源社群的熱烈反響 :LivePortrait 的 GitHub 項目自發布以來,已經累積了7.9K顆星,成為了開源社群中的一個熱門項目。這顯示了技術人員與開發者對這項技術的認可與支持。
應用場景
LivePortrait 的應用場景非常廣泛,從娛樂到專業用途都有所涉及。舉例來說,它可以用於製作逼真的動畫表情,為虛擬角色賦予生命,或者在影像特效中實現面部交換等功能。其高度的可定製性也讓它成為許多創意工作者的工具首選。
安裝方法
原始項目網址 https://github.com/KwaiVGI/LivePortrait
安裝程式
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
# create env using conda
conda create -n LivePortrait python=3.9
conda activate LivePortrait
# 安裝相關依賴
pip install -r requirements.txt
下載預訓練資料
# !pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"
如果不能存取 Huggingface
# !pip install -U "huggingface_hub[cli]"
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"
執行視窗
# For Linux and Windows users
python inference.py
# For macOS users with Apple Silicon (Intel is not tested). NOTE: this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py
指令碼
# source input is an image
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
# source input is a video ✨
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4
# more options to see
python inference.py -h
超酷的寵物模式
先安裝寵物模式
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # equal to cd ../../../../../../../
要使用的時候只需要下
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching
Huggingface 上使用
https://huggingface.co/spaces/KwaiVGI/LivePortrait
參考資料
VIDEO
by Rain Chu | 8 月 2, 2024 | AI , 語音辨識
這裡整理了自己試過可以使用的語音指令,當然一定還有很多指令我沒試出來,有試過的可以分享給我,我也會陸續增刪
音樂相關
播放藍芽音樂
暫停音樂
停止播放
停掉音樂
上一首歌
下一首歌
切換音樂來源成USB
切換音樂來源
打開廣播
啟動廣播
調到FM91.7
上一個頻道
上一個電台
切換下一個電台
播放下一個電台
暫停收音機
播放收音機
把電台加入我的收藏
把電台從我的收藏裡刪除
從收藏中移除電台
降低音量
音量調高
音量靜音
取消靜音
導航指令
系統控制類型
打開藍芽
關閉藍芽
增加螢幕亮度
設定螢幕亮度為最高
降低螢幕亮度
開啟頭燈
關上大燈
打開360度攝像機
關閉360度攝像頭
門窗控制
打開窗戶
窗戶開一半
關閉窗戶
車窗開四分之一
開一點車窗
解鎖車門
解鎖後門
鎖上車門
鎖上後面的門
詢問資訊
剩餘里程?
電池還有多少電?
胎壓是多少?
我能開多遠?
現在幾點?
今天幾號?
我的駕駛模式是?
通訊方法
空調控制
打開冷氣
冷氣調到25度
關閉冷氣
加大冷氣的風量
減少冷氣的風量
冷氣風量設置為5
TURING 用 Stable Diffusion 畫 EV 概念車 – 雨 (rain.tips)
by rainchu | 7 月 31, 2024 | AI , Chat
2024/07 相信 AI 界最火的是 Microsoft 推出的 GraphRAG 了,看起來很簡單,但坑也不少,網路上教學很多,我這邊專門做一集推坑以及救贖的文章
訓練價格過高
用便宜模型 gpt-4o-mini
llm:
api_key: ${GRAPHRAG_API_KEY}
type: openai_chat # or azure_openai_chat
model: gpt-4o-mini
model_supports_json: true # recommended if this is available for your model.
用 local ollama, vllm, LM Studio
要用 ollama 的話,要先安裝 ollama 的庫
並且用別人已經改好的程式碼
git clone https://github.com/TheAiSingularity/graphrag-local-ollama.git
執行細節可以看
https://medium.com/@vamshirvk/unlocking-cost-effective-local-model-inference-with-graphrag-and-ollama-d9812cc60466
VIDEO
視覺化模型
請下載 Gephi
打開 settings.yaml 並且找到 snapshots 將 graphml 打開,這樣子在 index 的時候就會幫你生成 .graphml 的檔案,之後就可以用 Gephi 去編輯他
snapshots:
graphml: true
raw_entities: true
top_level_nodes: true
參考資料
GraphRAG Github
https://github.com/microsoft/graphrag
by rainchu | 7 月 31, 2024 | AI , Tool , 圖型處理
沒想到AI也可以替你簽名吧?人工智能(AI)已經滲透到我們日常生活的各個方面,其中一項創新應用就是AI手寫文字服務。這類服務提供一個獨特的平台,讓用戶能夠將標準的打字文字轉換成具有個人風格的手寫文字,每一次生成的結果都是獨一無二的。
以下是這類網站的主要功能特色:
1. 個性化手寫生成
用戶只需提供需要轉換的文字,AI系統便能根據預設的或是自訂的手寫樣式,生成具有個人特色的手寫文字圖檔。這種服務特別適合需要在數位媒體上展現個人風格的使用者,例如藝術家、設計師或是市場行銷人員。
2. 多樣化的風格選擇
用戶可以選擇不同的手寫風格,從而使生成的文字展現出多樣的視覺效果。這些風格可能包括但不限於古典書法、現代潦草筆跡或是具有特定情感表達的筆觸。
3. 高解析度圖檔下載
一旦文字被AI轉換成手寫風格,用戶便可以以多種格式下載這些圖檔,例如PNG、JPG或SVG等。這些高解析度的圖檔適合用於各種印刷和數位出版需求。
4. 獨特性與創造性的表現
每次生成的手寫文字都是唯一的,這不僅讓每一份文件都帶有獨特的個人觸感,也增添了文件的創造性和藝術價值。
5. 簡便的使用流程
大多數AI手寫文字網站都設計有用戶友好的界面,使得從文字輸入到圖檔下載的整個過程既快速又簡便。用戶無需擁有專業的設計技能,就可以輕鬆操作並獲得高質量的結果。
https://www.calligrapher.ai
延伸閱讀
by rainchu | 7 月 22, 2024 | AI , Chat
AnythingLLm 官方最推薦的安裝方法是採用 docker,可以最快速的體驗 anything llm web ui 以及驗證想法,雖然說用docker安裝已經超簡單了,但還是有些小細節值得記錄一下,並且告訴大家避免採坑。
最低要求
最低需要 Docker v18.03+ 版本在 Win/Mac 上和 20.10+ 版本在 Linux/Ubuntu 上才能解析 host.docker.internal
Linux:在 docker run 命令中添加 –add-host=host.docker.internal參數以使其能夠解析。例如:在主機上 localhost:8000 上運行的 Chroma 主機 URL 在 AnythingLLM 中使用時需改為 http://host.docker.internal:8000。
安裝指令
docker pull mintplexlabs/anythingllm
Windows 的設定指令,定義好你要存放 llm 的位址
$env:STORAGE_LOCATION="$HOMEDocumentsanythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION.env")) {New-Item "$env:STORAGE_LOCATION.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;
多個 Anything llm containers
如果你需要安裝多個anything llm,那記得要改兩個位置
$env:STORAGE_LOCATION=”$HOMEDocumentsanythingllm-yourid”; `
docker run -d -p 8001(改成你自己的port):3001 `
修改玩會像是下面的樣子
$env:STORAGE_LOCATION="$HOMEDocumentsanythingllm-yourid"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION.env")) {New-Item "$env:STORAGE_LOCATION.env" -ItemType File}; `
docker run -d -p 8001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
--name yourid `
mintplexlabs/anythingllm;
之後可以執行 Docker run
docker run -d -p 8001:3001 --cap-add SYS_ADMIN --user root -v "$env:STORAGE_LOCATION:/app/server/storage" -v "$env:STORAGE_LOCATION.env:/app/server/.env" -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm
利用 Docker Compose 安裝
先寫一段 docker-compose.yml ,再用 docker-compose up -d 執行即可
version: '3.8'
services:
anythingllm:
image: mintplexlabs/anythingllm
container_name: anythingllm
ports:
- "3001:3001"
volumes:
- ./storage:/app/server/storage
- ./env.txt:/app/server/.env
environment:
- STORAGE_DIR=/app/server/storage
cap_add:
- SYS_ADMIN
extra_hosts:
- "host.docker.internal:host-gateway"
restart: unless-stopped
利用介面安裝
在 docker desktop 的搜尋框內輸入 anythingllm ,找到 mintpolexlabs/anythingllm,並且按下 Run
下載完畢後記得要做第一次的初始化設定喔
TIPS
記得你現在運行的服務是在 docker 中,如果您在 localhost 上運行其他服務,如 Chroma、LocalAi 或 LMStudio,您將需要使用 http://host.docker.internal:xxxx 從 Docker 容器內訪問該服務,因為 localhost對主機系統來說無法解析。
參考資料
https://docs.useanything.com/installation/self-hosted/local-docker
錯誤解決
如果遇到Error : ‘Invalid file upload. EACCES: permission denied, open ‘/app/collector/hotdir/xxxx.txt’,可以用以下的方法解決
docker run -d -p 8001:3001 --cap-add SYS_ADMIN --user root -v "$env:STORAGE_LOCATION:/app/server/storage" -v "$env:STORAGE_LOCATION.env:/app/server/.env" -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm
近期留言