by rainchu 11 月 28, 2024 | Agent , AI
Flowise 是一款開源的低代碼工具，一般人也可以輕易地使用，用於構建自定義的大語言模型（LLM）編排流程和 AI 代理。透過直觀的拖放介面，使用者可以輕鬆設計複雜的 AI 工作流程，無需深入的程式設計知識。
Flowise 的主要特點：
開源且免費 ：Flowise 完全開源，使用者可自由使用並進行二次開發，無需擔心授權問題。 GitHub 低代碼開發 ：透過簡單的拖放介面，使用者可以快速構建 LLM 應用，縮短開發週期。 Flowise AI Docs 多代理支援 ：Flowise 提供多代理系統，允許使用者設計可與外部工具和資料來源互動的代理，實現更高效的任務處理。 Flowise AI Docs 靈活的工作流程設計 ：使用者可以根據需求，自定義工作流程的邏輯和順序，滿足不同場景的應用需求。
Flowise 與其他 AI 代理工具的差異：
與 Langflow 的比較 ：Langflow 專注於自然語言處理，提供可視化介面來構建和調試語言處理流程。相比之下，Flowise 更強調 LLM 的編排和代理的靈活性，適用範圍更廣。 與 Dify 的比較 ：Dify 致力於簡化 AI 應用的部署，提供一站式解決方案。而 Flowise 更專注於工作流程的設計和代理的構建，提供更大的自定義空間。 與其他工具的比較 ：Flowise 的開源性和低代碼特性，使其在靈活性和可擴展性方面具有優勢，適合需要快速迭代和自定義需求的開發者。
參考資料
VIDEO
by rainchu 11 月 22, 2024 | AI , 程式 , 程式開發
LLMs Server 還是需要放在 Linux 環境中比較好，但開發階段常常用 Windows 在開發，多數人使用的 Shell export 就沒法使用
export OPENAI_API_KEY="sk-...". Windows中設置LLM環境變數的幾種方法解決方法
使用命令列 CMD
set OPENAI_API_KEY=sk-... 使用 PowerShell
[Environment]::SetEnvironmentVariable("OPENAI_API_KEY", "sk-...", "User") 放在 Python 程式中
import os
# 設置環境變數
os.environ['OPENAI_API_KEY'] = 'sk-你的API密鑰'
# 之後就可以使用這個環境變數了
# 例如，當使用OpenAI的API時，就可以從環境變數中獲取API密鑰
api_key = os.environ['OPENAI_API_KEY']
print("API Key:", api_key) 檢查是否有正確設置
相關資料
by rainchu 8 月 27, 2024 | Agent , AI
Dify AI 是一個開放靈活的生成式 AI 應用開發框架，提供了一個全方面的解決方案，讓開發者能夠輕鬆構建和運營生成式 AI的 原生應用。平台的核心技術包括 AI 工作流程編排、RAG 檢索、模型管理等功能。Dify AI 支持從 Agent 建立到工作流程編排的完整開發過程，讓使用者可以專注於創造應用的核心價值，此外，它提供的工具包括 Prompt IDE、Enterprise LLMOps 和 BaaS 等解決方案，可以大幅度的提升開發效率並優化應用性能，可以先去Dify的GitHUB 看看。
特色介紹
公司內部私有化的知識庫和AI助理 ：Dify AI 允許企業將內部知識庫整合到平台中，並創建專屬的AI助理，來高效地管理和利用企業知識。
公司內部可以控管的紀錄 ：企業可以通過Dify AI平台對所有操作和數據進行詳細記錄和管控，確保數據安全和合規性。
AI工作流自動化 ：Dify AI 提供連結公司內部資訊系統的能力，幫助企業自動化處理各種業務流程，提升運營效率。
零代碼創建 AI Agent ：平台支持用戶在無需編寫代碼的情況下，創建和部署個性化的 AI Agent，滿足各類業務需求。
支持多種大語言模型 ：Dify AI 支持全球各種主流的大語言模型（LLM），為企業提供靈活的選擇，以滿足不同場景的應用需求。
開發以及運營的支持
利用 Docker 安裝
先把專案抓下來
git clone https://github.com/langgenius/dify.git 然後可以用下面的指令安裝
cd docker
cp .env.example .env
docker compose up -d 安裝完成後，利用瀏覽器看 http://localhost/install ，按照步驟設定即可
使用線上服務
https://cloud.dify.ai/apps
價格表
您可以在 Dify AI 官網 上了解更多詳情。
參考資料：
by rainchu 8 月 9, 2024 | AI , Prompt
在人工智慧生成內容的領域，提示詞（Prompt）設計的好壞往往決定了最終結果的質量。隨著語言模型的進步，越來越多的研究者與開發者開始探索更高效的提示詞架構。在新加坡舉辦的一場GPT-4提示詞設計競賽中，Sheila Tao 通過CO-STAR的提示詞架構獲得了冠軍。這個架構為設計有效的提示詞提供了一個明確的框架，幫助使用者更精準地引導語言模型生成期望的內容。
CO-STAR框架介紹
CO-STAR是一種設計提示詞結構的模板，包含六個關鍵要素：上下文（Context）、目標（Objective）、風格（Style）、語氣（Tone）、受眾（Audience）和響應（Response）。通過這六個要素的協同作用，使用者可以更好地控制生成的內容，確保其符合特定的需求。
1. 上下文（Context）
上下文是提示詞的基礎，它提供了生成內容的背景資訊。這一部分的設計旨在讓語言模型理解當前任務的情境。上下文可以包括已有的文本、問題的背景描述，或是其他可能影響生成結果的資訊。
範例 ：如果你要生成一篇關於氣候變遷的文章，可以在上下文中提供相關的背景數據和問題描述，讓模型更好地理解這個主題。
2. 目標（Objective）
目標定義了提示詞的核心需求，即希望模型達成的結果。這部分明確指出你希望生成的內容應該涵蓋哪些主題或回答哪些問題。
範例 ：你可能會指示模型撰寫一篇關於氣候變遷的教育性文章，目的是讓大眾了解這一問題的嚴重性。
3. 風格（Style）
風格決定了生成內容的表達方式，涵蓋了文本的結構、用詞選擇等方面。不同的風格可能會影響讀者對文本的理解和感受。
範例 ：你可以指定內容應該以學術性的風格來撰寫，這樣會使得內容更加嚴謹和專業。
4. 語氣（Tone）
語氣影響了文本的情感表達方式，這在塑造讀者的感受方面至關重要。根據內容的不同，語氣可以是正式、非正式、幽默或是嚴肅的。
範例 ：在撰寫一篇新聞報導時，你可能會要求語氣保持中立和客觀。
5. 受眾（Audience）
受眾是提示詞設計中常被忽視的一個部分，但它至關重要。了解你希望吸引的讀者群體可以幫助你調整提示詞的其他要素，確保生成的內容適合這一群體的需求。
範例 ：如果你的文章是針對青少年，那麼語言應該更簡單易懂，風格可以更輕鬆。
6. 響應（Response）
響應是提示詞的最終結果，這是你希望模型生成的內容形式。響應可以是段落、清單、對話等多種形式，具體取決於你的需求。
範例 ：你可能要求模型生成一個包含多個段落的詳細分析，或是提供一個簡單的要點清單。
為什麼CO-STAR框架如此有效？
CO-STAR框架的成功在於它的結構化方法，這使得提示詞設計變得更加精確和有針對性，也就是說你已經抓到了如何當一個好的主管的精隨。當你明確了每個要素，模型能夠更好地理解你的需求，從而生成符合期望的內容。此外，這個框架也能幫助你在提示詞的不同層面上進行調整，進一步優化結果。
舉例來說，如果你對生成的內容不滿意，可能是因為上下文提供的信息不足，或是語氣與目標不符。通過CO-STAR框架，你可以更容易地找出問題所在，並進行相應的調整。
如果還不甚滿意LLM的輸出結果，建議用自己的訓練資料，並且做出關聯圖，讓語言模型好理解，我最常採用 GraphRAG 處理他
CO-STAR 注意事項
使用分隔符：
分隔符幫助語言模型（LLM）區分提示中的不同部分，尤其是指令區塊和數據區塊對於複雜任務尤其重要。
LLM防護網：
這是一種附加的額外提示，用於指示LLM應如何行為，包括任務定義、輸出格式和防護圍欄（防止LLM生成不當內容），例如要求大語言模型用指定語言輸出 。
使用LLM分析數據集：
不使用插件或代碼，僅採用LLM來分析數據集，這在模式識別任務中特別有用。
猜解複雜的指令：
太過長的文章以及複雜的句型，是需要被理解的，但連人類都很常誤會意思，何況是LLM，所以分割成小塊且清楚的指令才能幫助模型理解和回答
使用CO-STAR框架的示例與對比
為了更好地理解CO-STAR框架的實際應用，我們用一個具體的例子來說明它如何改善提示詞的設計。
假設我們需要生成一篇關於「如何保持工作與生活的平衡」 的文章，我們將展示在沒有使用CO-STAR框架和使用後的效果對比。
沒有使用CO-STAR框架的提示詞
在沒有使用CO-STAR框架的情況下，我們可能只會簡單地輸入一個直接的提示詞：
提示詞 ：
生成的內容 ：
保持工作與生活平衡是一項挑戰，尤其是在快節奏的現代社會。人們應該設定明確的工作時間，並確保下班後有足夠的休息時間。安排時間進行娛樂活動也很重要，比如運動或與朋友聚會。這有助於減少壓力並提高整體生活質量。
分析 ： 這篇文章雖然提供了一些基本的建議，但內容過於簡單，沒有考慮到讀者的特定需求或語境，語氣也較為中立，缺乏吸引力，說白了，就是無聊雞肋且廢話太多的一句話，簡稱廢文。
使用CO-STAR框架的提示詞
現在，我們運用CO-STAR框架來重新設計這個提示詞，以提高生成內容的質量。
CO-STAR提示詞 ：
Context（上下文） ：這篇文章將發布在一個專為職場人士設計的IG平台上，主要讀者是希望改善工作與生活平衡的職場中高層管理者。Objective（目標） ：提供實際且具體的策略，幫助讀者在高壓的工作環境中維持健康的工作與生活平衡。Style（風格） ：專業且有說服力，引用實際案例和研究數據支持論點。Tone（語氣） ：積極且鼓勵人心，給予讀者信心去實踐建議。Audience（受眾） ：中高層管理者，他們時間緊張，承受較大的職場壓力，但希望改善生活質量。Response（響應） ：生成一篇包含具體步驟和案例的文章，提供可行的建議，幫助讀者實現工作與生活的平衡。
提示詞 ：
建議用格式化過的方法編排提示詞後，再傳給LLM
# Context #
這篇文章將發布在一個專為職場人士設計的IG平台上，主要讀者是希望改善工作與生活平衡的職場中高層管理者。
# Objective #
提供實際且具體的策略，幫助讀者在高壓的工作環境中維持健康的工作與生活平衡。
# Style #
專業且有說服力，引用實際案例和研究數據支持論點。
# Tone #
積極且鼓勵人心，給予讀者信心去實踐建議。
# Audience #
中高層管理者，他們時間緊張，承受較大的職場壓力，但希望改善生活質量。
# Response #
生成一篇包含具體步驟和案例的文章，提供可行的建議，幫助讀者實現工作與生活的平衡。 生成的內容 ：
在現代職場中，中高層管理者往往面臨著巨大的工作壓力，如何在這樣的環境中維持工作與生活的平衡成為一項關鍵挑戰。根據哈佛商學院的最新研究，超過70%的管理者表示，壓力已經嚴重影響了他們的生活質量。為了應對這一問題，我們可以採取以下三個具體策略：
設立明確的界限 ：管理者應該為自己設定明確的工作時間和個人時間界限，並嚴格遵守。例如，可以在晚餐後將手機設置為勿擾模式，專注於與家人共度的時光。尋求支持系統 ：建立一個由同事、家人和朋友組成的支持系統，這可以幫助管理者在壓力過大時及時得到情感和實際的支持。實行主動管理 ：制定每週的工作與生活計畫，確保每週都有足夠的時間進行休閒活動，這不僅有助於減輕壓力，還能提高工作效率。
這些策略不僅能幫助管理者更好地平衡工作與生活，還能提升他們的整體生活質量。根據美國心理學會的研究，採取這些策略的管理者在工作滿意度和幸福感上都有顯著提高。
分析 ： 使用CO-STAR框架後，生成的內容更加具體、針對性強，並且提供了實際可操作的建議。語氣積極鼓勵，風格專業且可信，與中高層管理者的需求高度契合。
對比總結
通過這個示例，我們可以明顯看出CO-STAR框架的優勢，它不僅幫助你設計出更精確的提示詞，還確保了生成的內容更具質量和價值，相比於簡單的提示詞，CO-STAR框架能夠大幅度提升內容的針對性和專業度，使其更能滿足特定受眾的需求，話說，現在的小朋友必學提示詞的技巧，才不會淹沒在浪潮中。
參考資料
https://towardsdatascience.com/how-i-won-singapores-gpt-4-prompt-engineering-competition-34c195a93d41
https://hub.baai.ac.cn/view/37050
延伸閱讀
近期留言