大數據就業實戰培訓 Oracle就業實戰培訓
簡單測試了一下在linux上搭建本地deepseek,需要用到:linux、ollama、chatboxai
1、 下載安裝ollama ollama 是一款開源應用,可讓你在 Windows、MacOS 和 Linux 上使用命令行界面在本地運行、創建和共享大型語言模型。
網址:https://ollama.com
1.1、 首頁找到下載【Download】-【Linux】
1.2、 在linux下執行命令
curl -fsSL https://ollama.com/install.sh | sh
安裝完成,可以輸入 ollama --version 來檢驗是否安裝成功,如果正確安裝則會輸出所安裝 ollama 的版本號。
如果安裝過程中出現警告信息,可根據提示安裝需要的安裝包、或者給運行需要的權限等方法解決。
2、 下載安裝deepseek模型
同樣在ollama的網站,在導航上找到【Models】,選擇【deepseek-r1】模型,選擇【1.5b】做測試,表示該模型有 15 億個參數。
3、 下載并執行deepseek模型
ollama run deepseek-r1:1.5b
1.5b有1.1個G大小,需要下載一段時間,也可以把命令中的“run”換成“pull”,支持斷點續傳。
如果看到 success 字樣也就說明模型下載完成了,執行命令ollama list可查看 ollama 目前所下載的模型列表。
4、 下載chatbox:
Chatbox AI 是一款 AI 客戶端應用和智能助手,支持眾多先進的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和網頁版上使用。 地址:https://chatboxai.app/zh/
可以選擇下載客戶端到本地,或者直接在網頁上訪問,如果是本地大模型部署,選擇前者。
5、 配置環境變量
在linux服務器端配置ollama服務。
5.1、修改/etc/systemd/system/ollama.service.d/override.conf文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
#ExecStart=/usr/local/bin/ollama serve #屏蔽掉此行
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/mysql8.0.30/bin:/home/gptt/myvenv/bin:/home/gptt/.local/bin:/home/gptt/anaconda3/bin:/home/gptt/anacond" #這個自動獲取
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
5.2、重啟ollama服務
systemctl daemon-reload
systemctl restart ollama.service
systemctl status ollama.service
查看端口狀態,默認監聽11434端口:
ss -tulnp
6、 配置chatbox
如果模型一開始不能顯示,可以配置到第3步時先保存再設置就可以看到了,因為只有連接到本地大模型后才可以顯示。
7、 開始對話
本次服務器配置比較簡單,cpu為4核,內存8g,無gpu,在回答時有點滯后,但是還是可以接受的。
8、 相關網址
linux下搭建本地deepseek.docx
鏈接: https://pan.baidu.com/s/12eto-TO8-OaYl0j3ZEJRlg
提取碼: jwgk
ollama:https://ollama.com
chatboxai:https://chatboxai.app/zh