by rainchu | 9 月 23, 2024 | AI , Chat
公開如何使用 OpenAI 配合 LiveKit 來實現會多國語言的小姐姐,可以即時回答您的問題,這個跟 Twilio 一樣的簡單和易用
取得 LiveKit key
利用 google 帳號登入 LiveKit Login 命名一個 project
並且到專案中的 settings -> KEYS ,取得 API KEY
程式碼
首先安裝相關依賴
pip install livekit-agents livekit-plugins-openai livekit-plugins-silero python-dotenv
設定環境變數
LIVEKIT_URL=""
LIVEKIT_API_KEY=""
LIVEKIT_API_SECRET=""
OPENAI_API_KEY=""
主要程式碼
import asyncio
from dotenv import load_dotenv
from livekit.agents import AutoSubscribe, JobContext,WorkerOptions, cli, llm
from livekit.agents.voice_assistant import VoiceAssistant
from livekit.plugins import openai, silero
load_dotenv()
async def entry(ctx: JobContext):
chat_ctx = llm.ChatContext().append(
role="system",
text=("你是專業的助理,回答時候用專業的語氣回應。")
)
await ctx.connect(auto_subscribe=AutoSubscribe.AUDIO_ONLY)
asssitant = VoiceAssistant(
vad=silero.VAD.load(),
stt=openai.STT(),
tts=openai.TTS(voice="nova"),
llm=openai.LLM(model="gpt-4o-mini"),
chat_ctx=chat_ctx
)
asssitant.start(ctx.room)
await asyncio.sleep(1)
await asssitant.say("你好,第一次見面,很高興認識你",allow_interruptions=True)
if __name__ == "__main__":
cli.run_app(WorkerOptions(entrypoint_fnc=entry))
測試與驗證
道專案中,可以看到 Get started 中有支援各種的平台的程式碼以及 server 可以使用
價格說明
https://livekit.io/pricing
參考資料
https://livekit.io
https://github.com/livekit/agents
demo code
by rainchu | 9 月 23, 2024 | AI , 人臉辨識 , 圖型處理 , 影片製作
用有多張臉,即時更換人臉的開源軟體,而且有綠色直接使用版本,已經幫忙把環境都打包好了,給懶人使用,支援windows、MAC、GPU
必要條件
Git 原始碼
https://github.com/hacksider/Deep-Live-Cam.git
下載模型
GFPGANv1.4
inswapper_128.onnx (Note: Use this replacement version if an issue occurs on your computer)
並且將這兩個檔案放在 models 的目錄下
安裝相關依賴
pip install -r requirements.txt
參考資料
https://github.com/hacksider/Deep-Live-Cam
by rainchu | 9 月 5, 2024 | AI , Tool , 簡報製作
Mapify 是一個心智圖的 AI 在線工具,專門為了快速且有效地整理和視覺化資訊而設計,無論是學生、教育者、專業人士或任何需要整理大量資訊的人士,都會發現這個工具非常有用。Mapify.so 的核心功能是將文檔(如 Word 或 PDF 文件)轉換成結構化的心智圖,這種轉換不僅迅速,而且保留了原始資訊的豐富性和複雜性。
主要功能
文件轉心智圖 : 使用者只需上傳一份文件,Mapify 就能自動解析文件內容,並將其轉換成一個互動的心智圖。這對於理解複雜的概念、學習新資訊或準備考試和報告特別有幫助。
即時心智圖生成 : 使用者可以輸入一個主題或一句話,Mapify 會根據這些資訊即時生成一個心智圖,適合於快速生成一個概念或項目,並且是腦暴會議中不可或缺的工具。
編輯和自訂 : 生成的心智圖不是靜態的,可以自由地添加、刪除或重新組織節點,使其更符合個人需求或更清晰地反映思考過程,這種靈活性是 Mapify 的一大賣點。
互動和共享 : 完成的心智圖可以共享給其他使用者,支持協作編輯。這使得它成為團隊項目和協作學習的理想選擇。
使用場景
教育 :教師可以利用此工具快速創建課程的心智圖,幫助學生理解和記憶重點。
業務會議 :在商業環境中,快速梳理會議內容或計劃策略時,心智圖可以提供清晰的視覺支持。
個人學習 :學生和終身學習者可以用它來整理學習材料或研究資料,提高學習效率。
by rainchu | 9 月 3, 2024 | 3D , AI
Meshy AI 是一個 AI 3D 建模的工具平台,利用人工智能技術來簡化3D內容的創建,這個工具的設計宗旨是將文字或圖像轉換成詳細的3D模型和紋理,大大加快了傳統的3D建模過程。
Meshy AI的主要特點包括:
文字到3D :使用者可以通過輸入文字說明(Prompt)來生成3D模型。這個功能對於快速創建環境道具和其他非詳細模型特別有用。
圖像到3D :此功能允許用戶將圖像轉換成3D模型,從圖片推斷出物體的結構,生成一個有紋理的3D表現。
文字到紋理 :Meshy AI還可以根據文字描述對3D模型應用紋理,消除了復雜的UV映射和手動紋理處理過程的需要。
易用性 :Meshy 設計了一個用戶友好的界面,簡化了創建過程,使得無需廣泛的3D建模經驗的用戶也能使用。
Meshy的功能還擴展到與 Unity 和 Blender 等流行軟件的整合,通過允許在這些平台內直接應用紋理和生成模型來增強工作流程。此外,Meshy還為開發者提供了API,使他們能夠在更大項目中自定義和自動化3D資產的創建,另外Meshy的紋理生成僅需約三分鐘,完整的3D模型從文字或圖像生成在15分鐘以內完成。這種快速的生產能力可以顯著縮短遊戲開發、數位藝術和虛擬實境等領域的項目時間。
參考資料
by rainchu | 9 月 3, 2024 | AI , 影片製作
Plotagon Studio 是一個讓你能夠輕鬆地使用劇本來創作動畫短片的強大工具。無論你是專業的創作者,還是對動畫有興趣的初學者,這款軟體都能滿足你的需求。
Plotagon Studio與傳統的動畫軟體相比,它不需要複雜的繪圖或動畫技巧。你只需要編寫劇本、設置場景、選擇角色,剩下的工作都交給 Plotagon Studio 來完成。這使得它成為了教育、行銷、娛樂等多種領域的理想工具。
如何開始使用 Plotagon Studio
下載並安裝軟體 首先,你需要到 Google Play 或是 Apple Store 下載並安裝 Plotagon Studio。
創建你的第一個項目 打開軟體後,點擊「新建項目」來創建一個新項目。你可以為項目命名,並選擇你想要的動畫風格。
編寫劇本 在 Plotagon Studio 中,劇本是動畫的核心。你可以直接在軟體中撰寫對話,並為每個角色分配台詞,Plotagon 會根據你的劇本自動生成動畫對話場景。
選擇場景與角色 Plotagon Studio 提供了多種場景和角色選項,你可以根據劇本需求選擇合適的場景和角色,並對角色的外觀、服裝和配件進行自定義。
加入音效與背景音樂 為了讓動畫更具吸引力,你還可以添加音效和背景音樂,Plotagon Studio 提供了豐富的音效庫,當然你也可以上傳自定義音樂和聲音。
預覽與導出 完成所有設置後,你可以預覽你的動畫並進行最後的調整,確定無誤後,將動畫導出為視頻格式,以便於分享或發布。
提示與技巧
利用角色表情與動作 在劇本中插入角色的表情和動作指令,讓角色更加生動。例如,在台詞旁邊添加「微笑」或「點頭」等動作指令。
合理運用場景轉換 為了讓故事更加連貫,可以使用場景轉換來表達時間或地點的變化。這樣可以增加動畫的節奏感。
保持對話簡潔 動畫短片的長度有限,因此對話應該簡潔明了,避免過於冗長的對白,影響觀眾的觀看體驗。
近期留言