半導體世界消息,隨著英偉達(Nvidia)和英特爾(Intel)最近公布了他們本地運行的AI聊天機器人,AMD似乎不想被排除在外,并且還為Ryzen和Radeon處理器的所有者發布了自己的解決方案。只需五到六個步驟,用戶就可以開始與在本地硬件上運行的 AI 聊天機器人進行交互,而不是在云端運行——無需編碼經驗。
AMD 的指南要求用戶擁有 Ryzen AI PC 芯片或 RX 7000 系列 GPU。如今,Ryzen AI 僅適用于基于 Phoenix 和 Hawk Point 的高端 Ryzen APU,配備 Radeon 780M 或 760M 集成顯卡。這表明,雖然支持Ryzen 5 8600G,但Ryzen 5 8500G可能無法正常工作......除了應用程序本身僅將“支持 AVX2 的 CPU”列為要求,這意味著它應該在各種處理器上工作(可能非常慢)。
用戶需要下載并安裝 LM Studio,它為 RX 7000 系列用戶提供了 ROCm 版本——再次請注意,標準軟件包也適用于 Intel CPU 和 Nvidia GPU。安裝并啟動 LM Studio 后,只需搜索所需的 LLM,例如聊天優化的 Llama 2 7B。 AMD 建議使用帶有“Q4 K M”標簽的型號,該標簽指的是特定的量化級別(4 位)和其他特性。雖然 Ryzen CPU 用戶此時可以自由地與機器人聊天——目前尚不清楚 NPU 是否被使用,但我們猜測它沒有——RX 7000 系列 GPU 用戶將需要打開右側面板并手動啟用 GPU 卸載并將卸載滑塊完全拖動到“最大”。
AMD 的教程意味著至少有一種易于使用的官方方法可以在 AMD、Intel 和 Nvidia 的所有消費類硬件上運行 AI 聊天機器人。不出所料,Nvidia 率先推出了 Chat with RTX 應用程序,該應用程序自然只能在 Nvidia GPU 上運行。與 RTX 聊天可以說是最充實的解決方案,因為它可以分析文檔、視頻和其他文件。此外,對這個 Nvidia 聊天機器人的支持可以追溯到 30 系列,而 20 系列的支持可能擺在桌面上。
與此同時,英特爾的 AI CPU/NPU 和 GPU 解決方案更是各種各樣。英特爾沒有使用應用程序來展示本地 AI 聊天機器人,而是演示了如何使用 Python 編寫代碼。雖然用戶必須編寫的代碼并不長,但涉及任何編碼對于許多潛在用戶來說都是一個障礙。此外,聊天響應顯示在命令行中,這并不完全是“尖端 AI”。您可以嘗試 LM Studio,盡管它似乎還沒有 Intel GPU 或 NPU 支持,因此它只會使用您的 CPU。
雖然 AMD 沒有像 Nvidia 那樣擁有自己的 AI 聊天機器人應用程序,但在功能方面它似乎比英特爾走得更遠,因為至少有 ROCm GPU 硬件支持。AMD的下一步可能是使用RTX制作自己的Chat版本,或者至少與LM Studio的開發人員合作,為AMD硬件啟用更多功能。也許我們甚至會看到 AI 功能集成到 Radeon Adrenalin 驅動程序套件中——AMD 確實會進行驅動程序級 AI 優化,并且驅動程序套件經常會獲得流體運動框架等新功能.