Select Page
LiveKit-擁有自己的AI即時語音客服聊天小助理

LiveKit-擁有自己的AI即時語音客服聊天小助理

公開如何使用 OpenAI 配合 LiveKit 來實現會多國語言的小姐姐,可以即時回答您的問題,這個跟 Twilio 一樣的簡單和易用

取得 LiveKit key

利用 google 帳號登入 LiveKit Login 命名一個 project

並且到專案中的 settings -> KEYS ,取得 API KEY

程式碼

首先安裝相關依賴

pip install livekit-agents livekit-plugins-openai livekit-plugins-silero python-dotenv

設定環境變數

LIVEKIT_URL=""
LIVEKIT_API_KEY=""
LIVEKIT_API_SECRET=""
OPENAI_API_KEY=""

主要程式碼

import asyncio
from dotenv import load_dotenv
from livekit.agents import AutoSubscribe, JobContext,WorkerOptions, cli, llm
from livekit.agents.voice_assistant import VoiceAssistant
from livekit.plugins import openai, silero


load_dotenv()

async def entry(ctx: JobContext):
    chat_ctx = llm.ChatContext().append(
        role="system",
        text=("你是專業的助理,回答時候用專業的語氣回應。")
    )

    await ctx.connect(auto_subscribe=AutoSubscribe.AUDIO_ONLY)

    asssitant = VoiceAssistant(
        vad=silero.VAD.load(),
        stt=openai.STT(),
        tts=openai.TTS(voice="nova"),
        llm=openai.LLM(model="gpt-4o-mini"),
        chat_ctx=chat_ctx
    )
    asssitant.start(ctx.room)

    await asyncio.sleep(1)
    await asssitant.say("你好,第一次見面,很高興認識你",allow_interruptions=True)


if __name__ == "__main__":
    cli.run_app(WorkerOptions(entrypoint_fnc=entry))

測試與驗證

道專案中,可以看到 Get started 中有支援各種的平台的程式碼以及 server 可以使用

價格說明

https://livekit.io/pricing

參考資料

https://livekit.io

https://github.com/livekit/agents

demo code

Deep Live Cam-簡單易用,被遮擋也沒關係的即時換臉

Deep Live Cam-簡單易用,被遮擋也沒關係的即時換臉

用有多張臉,即時更換人臉的開源軟體,而且有綠色直接使用版本,已經幫忙把環境都打包好了,給懶人使用,支援windows、MAC、GPU

必要條件

Git 原始碼

https://github.com/hacksider/Deep-Live-Cam.git

下載模型

  1. GFPGANv1.4
  2. inswapper_128.onnx (Note: Use this replacement version if an issue occurs on your computer)

並且將這兩個檔案放在 models 的目錄下

安裝相關依賴

pip install -r requirements.txt

參考資料

https://github.com/hacksider/Deep-Live-Cam

Mapify:轉換您的PDF和Word文件成互動心智圖

Mapify:轉換您的PDF和Word文件成互動心智圖

Mapify 是一個心智圖的 AI 在線工具,專門為了快速且有效地整理和視覺化資訊而設計,無論是學生、教育者、專業人士或任何需要整理大量資訊的人士,都會發現這個工具非常有用。Mapify.so 的核心功能是將文檔(如 Word 或 PDF 文件)轉換成結構化的心智圖,這種轉換不僅迅速,而且保留了原始資訊的豐富性和複雜性。

主要功能

  1. 文件轉心智圖: 使用者只需上傳一份文件,Mapify 就能自動解析文件內容,並將其轉換成一個互動的心智圖。這對於理解複雜的概念、學習新資訊或準備考試和報告特別有幫助。
  2. 即時心智圖生成: 使用者可以輸入一個主題或一句話,Mapify 會根據這些資訊即時生成一個心智圖,適合於快速生成一個概念或項目,並且是腦暴會議中不可或缺的工具。
  3. 編輯和自訂: 生成的心智圖不是靜態的,可以自由地添加、刪除或重新組織節點,使其更符合個人需求或更清晰地反映思考過程,這種靈活性是 Mapify 的一大賣點。
  4. 互動和共享: 完成的心智圖可以共享給其他使用者,支持協作編輯。這使得它成為團隊項目和協作學習的理想選擇。

使用場景

  • 教育:教師可以利用此工具快速創建課程的心智圖,幫助學生理解和記憶重點。
  • 業務會議:在商業環境中,快速梳理會議內容或計劃策略時,心智圖可以提供清晰的視覺支持。
  • 個人學習:學生和終身學習者可以用它來整理學習材料或研究資料,提高學習效率。
Meshy AI:適合遊戲開發的3D建模流程的新工具

Meshy AI:適合遊戲開發的3D建模流程的新工具

Meshy AI 是一個 AI 3D 建模的工具平台,利用人工智能技術來簡化3D內容的創建,這個工具的設計宗旨是將文字或圖像轉換成詳細的3D模型和紋理,大大加快了傳統的3D建模過程。

Meshy AI的主要特點包括:

  1. 文字到3D:使用者可以通過輸入文字說明(Prompt)來生成3D模型。這個功能對於快速創建環境道具和其他非詳細模型特別有用。
  2. 圖像到3D:此功能允許用戶將圖像轉換成3D模型,從圖片推斷出物體的結構,生成一個有紋理的3D表現。
  3. 文字到紋理:Meshy AI還可以根據文字描述對3D模型應用紋理,消除了復雜的UV映射和手動紋理處理過程的需要。
  4. 易用性:Meshy 設計了一個用戶友好的界面,簡化了創建過程,使得無需廣泛的3D建模經驗的用戶也能使用。

Meshy的功能還擴展到與 Unity Blender 等流行軟件的整合,通過允許在這些平台內直接應用紋理和生成模型來增強工作流程。此外,Meshy還為開發者提供了API,使他們能夠在更大項目中自定義和自動化3D資產的創建​,另外Meshy的紋理生成僅需約三分鐘,完整的3D模型從文字或圖像生成在15分鐘以內完成。這種快速的生產能力可以顯著縮短遊戲開發、數位藝術和虛擬實境等領域的項目時間​。

參考資料