by Rain Chu | 3 月 13, 2025 | AI , Chat , Ollama , 模型
Views: 227
超大型語言模型(LLM)成為科技界矚目的焦點,以前這類模型通常需要極高的硬體門檻,要很多的 GPU 才能達成(需要好幾百萬),難以在本地設備上流暢運行。然而,現在配備 512GB 超大記憶體 的 Mac Studio,約33萬台幣,就能輕鬆駕馭滿血版 DeepSeek R1,讓個人或企業用戶都能輕鬆享受超大型語言模型帶來的豐富應用價值!
為何 512GB 就足夠跑 DeepSeek R1?
DeepSeek R1 是一款擁有超過 6710 億參數 的超級大型語言模型,理論上需超過 400GB 以上記憶體空間才能順暢載入。然而,DeepSeek R1 採用了特殊的 Mixture of Experts (MoE) 架構,儘管整體模型規模龐大,但實際上單次推理只會激活約 370 億參數,大幅減少記憶體的實際使用需求,讓 512GB 記憶體的 Mac Studio 就能輕鬆駕馭。
關鍵技巧:調整 VRAM 配置,釋放更大的 GPU 資源
Mac Studio 使用的是統一記憶體架構(Unified Memory),系統自動分配 GPU 使用的 VRAM 空間。預設情況下,VRAM是有限制的,不足以負荷 DeepSeek R1 這樣龐大的語言模型,但使用者可以透過調整系統參數,自由設定 GPU 的 VRAM 配置,以達到最大效能:
以下是關鍵指令:
sudo sysctl iogpu.wired_limit_mb=448000
透過這項設定,系統的 GPU VRAM 即可輕鬆擴展到 448GB ,滿足 DeepSeek R1 等超大型模型的嚴苛需求,真正發揮 512GB 記憶體 Mac Studio 的硬體潛力。
⚠️ 貼心提醒: 調整 VRAM 前,建議備份重要資料。修改設定可能影響系統穩定性,請謹慎操作。
EXO 工具:連接多台 Mac,建立強大的分散式計算環境
如果你需要更強大的算力,還可以透過開源的 EXO 專案 ,將多台 Mac 電腦串聯起來,組成超強大的本地計算集群,以協同運行 DeepSeek R1 這類超大型語言模型。
透過 EXO,你可以:
將多台 Mac Studio 連結成計算網絡。
有效分散模型推理負載,提升整體效能。
進一步降低單機的運算負擔,確保持續穩定運作。
這個方法尤其適合專業研究團隊、企業內部部署,甚至是有進階 AI 運算需求的開發者。
參考資料
https://zenn.dev/robustonian/articles/apple_silicon_vram
by Rain Chu | 1 月 1, 2025 | AI , 影片製作
Views: 73
Pollo AI 可以讓用戶從文字提示、圖片或現有影片中創建超高品質的影片,支援多種影片風格,從真實的電影場景到富有想像力的動畫,滿足不同的創作需求。其快速的影片生成演算法,讓用戶能在短短幾分鐘內獲得高清、專業級的影片輸出,此外,Pollo AI還提供多樣的模板,如AI擁抱影片生成器,方便用戶輕鬆創作溫馨感人的影片
Pollo AI homepage,文字生圖
支援 40多種 AI 影片特效,使得任何事物或人物都能在影片中“活”起來,例如
擠壓特效 :讓照片中的主體如同麵團或橡皮泥般被擠壓變形,呈現出趣味十足的動態效果,適合在社交媒體上分享。
膨脹特效 :使物體、人物或動物如氣球般膨脹,隨後飄走或爆裂,創作出搞笑短片,流暢自然的動畫效果有望成為病毒式影片。
爆炸特效 :讓畫面中的主體以誇張且滑稽的方式“炸裂”,天馬行空的創意為觀眾帶來歡樂。
融化特效 :將靜態圖像轉化為動態影片,讓畫面中的主體如巧克力般慢慢融化,效果逼真,只需簡單的三步操作即可完成。
Pollo AI 特效以及影片樣版庫
VIDEO
首尾偵功能
Pollo AI還引入了首尾偵功能 ,使影片的開頭和結尾更加引人注目。用戶可以選擇多種動畫效果,為影片增添專業的開場和結尾,提升整體質感。這項功能特別適合用於宣傳影片、教學影片或任何需要強調開頭和結尾的影片類型。
Pollo AI Image to Video 功能,首尾禎產影片功能
三張圖片合成功能
Pollo AI的三張圖片合成功能 允許用戶上傳最多三張圖片,並生成一個角色或場景在影片中保持統一外觀的影片,這項功能確保影片中的角色或物體在每一幀中都保持一致的外觀和風格,適合需要連貫性角色動畫的影片創作。用戶可以上傳一至三張圖片,設定影片的長度、解析度和移動幅度,Pollo AI將自動生成符合要求的影片。
參考資訊
by Rain Chu | 3 月 28, 2024 | AI , Chat
Views: 0
在當今快速發展的人工智慧領域中,Perplexity作為一家新興的對話式AI平台公司,於2022年8月成立,迅速吸引了眾多目光。這家新創公司不僅得到了科技界巨頭如黃仁勳和傑夫·貝佐斯等人的重金注資,更是以其創新的知識搜尋平台而聞名。Perplexity提供了一種全新的搜尋體驗,將傳統的網路搜尋與最先進的人工智慧技術結合起來,為使用者遇到的每個問題提供高品質的答案。
Perplexity的特色
注資背景顯赫 :得到黃仁勳、貝佐斯等科技界巨頭的注資,顯示了市場對Perplexity業務模式和未來發展潛力的高度認可。
創新的知識搜尋平台 :Perplexity是一個結合了網路搜尋與人工智慧的對話式AI平台,致力於解決用戶可能遇到的各種問題,無論是學術問題、日常疑惑還是專業咨詢。
高品質的答案 :Perplexity憑藉先進的AI技術,提供的答案品質高於一般搜尋引擎,更加準確、有深度且可靠。
提供參考來源 :為了確保信息的透明度和可信度,Perplexity在提供答案的同時,會附上參考來源,讓用戶可以進一步查證。
自動推薦追問問題 :該平台能夠根據用戶的查詢自動推薦相關的追問問題,豐富用戶的探索過程。
搜尋YouTube影片 :Perplexity不僅限於文本搜尋,還能夠搜索YouTube影片,為用戶提供更多樣化的信息來源。
Chrome擴充工具「Perplexity – AI Companion 」 :Perplexity還推出了一款Chrome擴充工具,讓用戶在瀏覽網頁時能夠更方便地使用其服務。
至於Perplexity的商業模式,它提供了專業版服務,專業版用戶支付每月20美元的費用,便可無限制使用其「Copilot」功能,享受客服支援,甚至可以上傳自己的資料請Perplexity分析。截至目前,Perplexity已擁有約10萬名付費用戶,顯示出其服務的受歡迎程度以及市場的廣大潛力。
https://www.perplexity.ai/
近期留言