2023-12-18 14:54
分享阿里通義千問1.8B超迷你大模型離線包，5年前的老電腦也能跑，下載收藏解壓即玩
我最近，對小尺寸AI大模型比較感興趣。
之前國內外科技公司在大模型領域，一般是不斷增加模型參數來增強模型能力，從7億、13億、70億甚至200億以上，確實越來越強，但這也會讓大家自己家的電腦基本跑不動。
近期，微軟發(fā)布了只有2.7億參數的Phi-2大模型；12月初，阿里也發(fā)布了只有1.8億參數的通義千問超迷你大模型。
這些小尺寸的大模型，不但在性能評測上，超過了一些7億甚至13億參數的大模型，而且因為尺寸小，基本都可以在3G以下顯存甚至CPU模式下快速運行，這樣一來，5年前的老電腦也可以玩了。今天分享一個通義千問1.8B超迷你大模型的懶人包，趕快隨我去看看吧~
Qwen系列，現在包括Qwen基礎語言模型，即Qwen-1.8B，Qwen-7B，Qwen-14B和Qwen-72B。以及Qwen-Chat聊天模型，即Qwen-1.8B -聊天、Qwen-7B-聊天、Qwen-14B-聊天和Qwen-72B-聊天。
Qwen大模型擁有強大的基礎語言模型，針對多達 3 萬億個 token 的多語言數據進行了穩(wěn)定的預訓練，覆蓋領域、語言(重點是中文和英文)等，能夠實現有競爭力的基準數據集上的性能。此外，還有基于SFT和RLHF(尚未發(fā)布)的符合人類偏好的聊天模型，能夠聊天、創(chuàng)建內容、提取信息、總結、翻譯、編碼、解決數學問題等，并且能夠使用工具，扮演代理，甚至扮演代碼解釋器等。
而今天介紹的Qwen-1.8B大模型，只需要2.9GB的顯存即可運行，換句話說5年前的顯卡都可以玩，趕緊下載懶人包，在本地擁有一個AI助手吧~
老規(guī)矩，大家自行在本地部署比較麻煩，已經為球友大家制作好了一款離線整合包了，下載到本地解壓即用。
大家下載解壓到本地。
①雙擊“一鍵啟動-Qwen_1.8B.exe”。
②雙擊一鍵啟動程序后，會打開一個命令提示窗口，項目會自動運行。加載成功后，請自行復制以下網址在瀏覽器打開“ http://127.0.0.1:8000/”。
③打開鏈接后，可以看到Qwen-1.8B大模型可視化聊天主界面：
界面我已經為大家漢化好了~使用非常簡單，可以說是10秒上手:
輸入提示詞：在“input”區(qū)域，直接輸入提示詞
發(fā)送：點擊“Submit(發(fā)送)”按鈕
等待片刻，即可得到通義千問1.8B大模型給你的回復了：
從我自己的體驗來看，反應非常迅速，回答也比較靠譜，大家可以自行去嘗試一下~
注意事項：
①該項目建議使用英偉達顯卡運行，只需要3G顯存，CPU也能運行，但偏慢
②請確保安裝路徑不包含中文，不然可能會引起奇怪的適配問題
今天就聊到這了，我是Glen，感謝你看我的文章，歡迎大家繼續(xù)支持我，請
點擊作者的頭像，然后掃碼關注我的公眾號，并回復【Qwen-1.8B】，免費獲得本文資源~
相關文章
Kardashian
Altman
