技術彙整 - 雨

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

MMAudio：自動為影片生成同步音訊的開源解決方案

by rainchu | 12 月 19, 2024 | AI, 影片製作, 語音合成, 音樂

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

MMAudio 是一款開源的多模態影片轉音訊工具，透過多模態聯合訓練技術，可以將高品質的影片與音訊合成。該專案由伊利諾大學厄巴納-香檳分校、Sony AI 及 Sony 集團公司合作開發，適用於影片配音、虛擬角色語音等多媒體創作場景。

主要特色：

多模態聯合訓練： MMAudio 採用多模態聯合訓練方法，能夠同時處理影片和文字輸入，生成與內容同步的音訊。
高品質音訊合成： 透過先進的模型架構，MMAudio 能夠生成高品質且自然的音訊，適用於各類應用場景。
同步模組： MMAudio 的同步模組確保生成的音訊與影片畫面精確匹配，實現高度同步。

適用場景：

影片配音： 自動為無聲影片生成對應的音訊，提升影片的可觀賞性。
虛擬角色語音生成： 為虛擬角色生成符合其動作和表情的語音，增強互動性。
多媒體內容創作： 協助創作者快速為視覺內容添加音訊，豐富作品表現力。

技術原理：

MMAudio 基於深度學習技術，特別是神經網路，理解和生成音訊資料。模型能夠處理影片和文字輸入，透過深度學習網路提取特徵，進行音訊合成。在訓練時，模型考慮音訊、影片和文字資料，使生成的音訊能夠與影片和文字內容相匹配。透過同步模組，確保音訊輸出與影片畫面或文字描述的時間軸完全對應，實現同步。

使用方法：

MMAudio 提供命令列介面和 Gradio 介面，使用者可以根據需求選擇使用。在命令列中，使用者可以透過指定影片路徑和文字提示，生成對應的音訊。Gradio 介面則提供了更友善的使用者介面，支援影片到音訊和文字到音訊的合成。

已知限制：

目前，MMAudio 存在以下限制：

有時會生成不清晰的語音或背景音樂。
對某些陌生概念的處理不夠理想。

相關資源：

GitHub 專案地址： https://github.com/hkchengrex/MMAudio
線上體驗： Hugging Face Demo

增強式 ChatTTS 跟 Ollama 的整合

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

AgentK與AI的融合：打造自學能力的AGI核心技術

by rainchu | 8 月 13, 2024 | AI, 程式開發

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

AgentK 是一個有團隊概念能自我進化的人工智能通用智能（AGI）項目，它由多個模塊化代理組成，這些代理能夠協同工作完成任務並不斷學習與改進。該系統的目標是透過最小的核心代理和工具集合，自我引導並逐步擴展其智能。

AgentK 介紹與說明

AgentK 的核心代理：

Hermes：作為協調者，負責與人類互動以理解目標，管理任務的創建和分配，並協調其他代理的活動。
AgentSmith：作為建築師，負責創建和維護其他代理，確保這些代理配備必要的工具並檢測其功能。
ToolMaker：作為工具開發者，創建和完善代理所需的工具，確保系統保持靈活且裝備齊全。
WebResearcher：作為知識收集者，執行深入的線上研究，為系統提供最新資訊，使代理能夠做出明智的決策並有效執行任務。

特點：

自進化：AgentK 會隨著時間推移不斷學習和改進，建構新的代理和工具來擴展自身能力。
模塊化：AgentK 由多個獨立的代理組成，每個代理負責特定的任務。
協作：不同的代理之間可以相互協作，共同完成複雜的任務。

環境條件：

先註冊為 LangChain 的會員，價格可以看 https://www.langchain.com/pricing ，一開始直接選擇 Developer 即可

註冊成為 LangChain 會員之後，到 Settings -> API Keys -> Create API Key ，然後進行下一步驟

運行方式：

AgentK 在隔離的 Docker 容器中運行，需要在系統上安裝最新版的 Docker。

從 .env.template 複製到 .env
在 .env 文件中設置環境變量
運行 ./agentk 或是 docker compose run –rm agentk

AgentK 基於 LangGraph 和 LangChain 框架構建，並鼓勵自我編寫測試。該項目仍在進行中，包括對異常代理和工具的檢測與修復。

更多資訊及貢獻方式可訪問其 GitHub 頁面，請看DEMO。

進階功能

你可以進入原始碼中，AgengK/agents/ ，在這裡可以自訂義專屬自己的 Agents

在 AgentK/tools/ 下，則是可以自訂義 Actions，例如用google search或是產生行事曆

參考資訊

利用 Claude Dev 幫你自動化開發程式

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

PDF對話新時代：如何秒懂每份文件？

by Rain Chu | 10 月 9, 2023 | AI, Chat

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Deprecated: explode(): Passing null to parameter #2 ($string) of type string is deprecated in C:\inetpub\raintips\wp-content\themes\Divi\core\functions.php on line 1613

Chat with Any PDF: 進入無限學習的新時代！

這次想與大家分享一項在 ChatFPT 上的創新技術，名為 “Chat with Any PDF”。它可以幫我們讀懂艱難的論文節省大量的時間，讓你成為各個領域的專家。

1. 📜 無懼文件長度：直接上傳你的PDF！

你是否有過這樣的體驗？拿到一份精彩絕倫的論文或專書，卻發現其篇幅龐大、專業詞彙繁多，而感到望而卻步？Chat with Any PDF讓你無需再擔憂！只要直接上傳PDF（最多200頁），這個平台就能迅速為你「讀懂」內容。

2. 🤖 自動提問功能：打開學習之門

當系統讀完你的文件，它會預設給你三個問題，讓你可以從這些基礎問題開始進行深入討論。這不僅是一個教育工具，更是一個深入探索知識的起點。

3. 💬 越問越深：開啟知識的寶藏

隨著你的問答，系統將會根據PDF內容給予越來越深入的回答，這意味著你可以透過問答的方式，徹底掌握文件的每一個角落。

4. 🌐 成為各領域專家

想成為物理學家？醫學研究員？有了Chat with Any PDF，你可以快速理解並深入研究各個領域的知識，開啟你的無限學習潛能！

5. 🔧 強大的背後技術：ChatGPT

這項技術的核心在於使用ChatGPT來處理大型PDF文檔。ChatGPT的語言處理能力確保了平台可以快速且精確地抽取和理解PDF內容。

6. 📚 最適合的文檔長度

雖然這系統支持最多200頁的文檔，但根據實際測試，20頁以上的文檔效果最佳，能夠讓你在短時間內獲得最多的資訊。

如何秒懂PDF

以下示範一個用 Drag Your GAN 的論文，來示範用中文來問他問題

結語：

Chat with Any PDF不僅僅是一項創新技術，更是我們進入無限學習新時代的入口。現在，我們都有機會成為真正的專家，只需一份PDF，一個問題。快來體驗這項技術，開啟你的學習之旅吧！

OpenSource:

https://github.com/postor/chatpdf-minimal-demo

如何用chatgpt讀pdf

https://github.com/ywchiu/largitdata/blob/master/code/Course_222.ipynb?fbclid=IwAR2LyQxnk-Dx_waRZ8uIAMgIMSdY2LFwpymk73lmzZzLAn0OurEVl0WzB3I&mibextid=Zxz2cZ

延伸閱讀

ChatGPT也可以寫小說了，以ChatGPT作為長篇小說的創作工具