早前谷歌在 Google Chrome Canary 版里發(fā)布了 WebGPU 項(xiàng)目,開(kāi)源該項(xiàng)目可以讓開(kāi)發(fā)者基于瀏覽器調(diào)用本機(jī)顯卡算力。項(xiàng)目
所以在 GitHub 上有開(kāi)源團(tuán)隊(duì)構(gòu)建了 Web-LLM 項(xiàng)目,基于機(jī)器蘇州姑蘇區(qū)哪里有小姐上門服務(wù)崴信159-8298-6630提供外圍女小姐上門服務(wù)快速安排面到付款即基于 Web 的安裝大型語(yǔ)言模型,一切都在瀏覽器內(nèi)運(yùn)行,本地不需要服務(wù)器支持、聊天藍(lán)點(diǎn)不需要安裝、人開(kāi)直接利用 WebGPU 特性運(yùn)行。發(fā)中
這個(gè)項(xiàng)目可以大幅度簡(jiǎn)化搭建 AI 聊天機(jī)器人的開(kāi)源步驟,而且可以保護(hù)隱私,項(xiàng)目蘇州姑蘇區(qū)哪里有小姐上門服務(wù)崴信159-8298-6630提供外圍女小姐上門服務(wù)快速安排面到付款因?yàn)檫@個(gè) AI 模型是基于機(jī)器 “你” 控制的,你提交的安裝數(shù)據(jù)不會(huì)被共享給開(kāi)發(fā)者進(jìn)行模型訓(xùn)練。
這個(gè)項(xiàng)目還在開(kāi)發(fā)中,本地有興趣的聊天藍(lán)點(diǎn)開(kāi)發(fā)者可以參與該項(xiàng)目。
![[開(kāi)源項(xiàng)目] 基于WebGPU的人開(kāi)免安裝本地AI聊天機(jī)器人 (開(kāi)發(fā)中)](https://img.lancdn.com/landian/2023/04/98381.png)
當(dāng)然由于是相當(dāng)于在本地運(yùn)行的,所以顯卡性能至關(guān)重要,根據(jù)開(kāi)源團(tuán)隊(duì)說(shuō)明, 顯存至少需要 6.4GB,所以如果你的顯卡顯存比較小的話可能無(wú)法運(yùn)行。
必要條件:Google Chrome 113.0+、顯存至少為 6.4GB,使用不同的模型顯存要求可能還會(huì)增加。
項(xiàng)目地址:https://github.com/mlc-ai/web-llm
演示地址:https://mlc.ai/web-llm/#chat-demo
注:演示聊天使用的模型是 vicuna-7b-v0。


相關(guān)文章




精彩導(dǎo)讀
熱門資訊
關(guān)注我們