DeepSeek-R1 模型自发布以来吸引了众多用户关注,为了让 deepin 用户更好地体验这一前沿技术,UOS AI 现已适配接入 DeepSeek-R1 端侧模型!无需忍受服务器崩溃,两步即可在本地独享DeepSeek-R1模型带来的震撼体验。

本次,我们为大家提供了「离线部署」「在线接入」两种方式在UOS AI 中使用 DeepSeek-R1 模型,大家可根据自身设备及网络环境等情况自行选择:

  • 方法一:使用 deepin 官方适配的 UOS AI DeepSeek-R1 1.5B 模型离线部署
  • 方法二:使用 UOS AI的自定义模型接口在线接入DeepSeek-R1 API

注:离线部署方式支持 deepin 23、deepin 25 Preview系统使用;在线接入方式支持 UOS V20、deepin 20.9、deepin 23、deepin 25 Preview系统使用。

 

方法一:UOS AI 离线部署DeepSeek-R1 1.5B 模型

Step 1:更新 UOS AI 及向量化模型插件

若您正在使用deepin 23,可从应用商店更新 UOS AI 至最新版。

注:若您是首次在 deepin 中下载使用 UOS AI,根据界面提示「勾选用户使用协议-免费领取试用账号」后即可直接进入 UOS AI 全新版本。

若您正在使用 deepin 25 Preview,请通过以下命令升级 UOS AI 至最新版。

sudo apt update

sudo apt install uos-ai deepin-modelhub uos-ai-rag

更新完成后,打开 UOS AI 的「设置」选项,在「模型配置-本地模型」中选择「向量化模型插件-安装/更新」,在自动跳转到应用商店界面后,点击安装/更新即可。

Step 2:安装 DeepSeek-R1 模型 GGUF 版本

UOS AI 的模型后端驱动框架是基于 llama.cpp,大家可直接在魔搭社区找到 DeepSeek-R1 的 GGUF 版本。

此处我们将以最通用且便捷的 1.5B 模型为例,其模型大小适中,对硬件配置要求不高,仅需 CPU 即可实现流畅推理。(若您正在使用 CUDA 推理,可以等后续 deepin 系统更新 CUDA 版本的推理后端框架)。

已适配 UOS AI 的 DeepSeek-R1 1.5B 模型的下载地址如下:

百度网盘: https://pan.baidu.com/s/1-786vFU4dunpdproiOHdbQ?pwd=zxxw
123网盘:https://www.123865.com/s/XXsfjv-Jjcph (备用链接:https://www.123684.com/s/XXsfjv-Jjcph
夸克网盘:https://pan.quark.cn/s/edbf721fefaf

将模型文件下载完成后,打开文件管理器,直接进入如下目录:

/home/用户名/.local/share/deepin-modelhub/models          #其中用户名替换为自己的计算机用户名

注:若没有 deepin-modelhub 文件夹以及下面的 models 文件夹,可以自己手动创建该文件夹。

进入 models 文件夹,将下载完成的模型文件夹解压后,直接复制到刚刚创建的文件夹路径中,注意检查路径不要有多的名称。模型完整路径如下:

/home/用户名/.local/share/deepin-modelhub/models/DeepSeek-R1-1.5B/gguf           #其中用户名替换为自己的计算机用户名

经过上述步骤,再次打开 UOS AI 界面,即可手动切换使用 DeepSeek-R1-1.5B 模型。
以下是一个简单的DeepSeek-R1 运行示例:

 

方法二:UOS AI 在线接入 DeepSeek-R1 API

Step 1:获取 API key

访问 DeepSeek 官网(https://www.deepseek.com/),注册/登录账号后,创建并获取API key。若由于服务器压力等问题无法访问以上页面,也可以其他访问渠道获取 API key。

本文将以硅基流动(https://siliconflow.cn/zh-cn/)为例,在注册/登录账号后,前往 API 密钥管理页面,创建并获取 API key。

 

Step 2:在 UOS AI 中接入 DeepSeek-R1 在线模型

打开 UOS AI 的「设置」选项,在「模型配置」中选择「在线模型-添加」,进入UOS AI的添加模型界面。

完成添加窗口中的内容填写,并点击确定即可,本例中使用到的信息参考如下:

账号名称:自定义
模型类型:自定义
API Key:粘贴 Step 1中所复制的 API 密钥
模型名:deepseek-ai/DeepSeek-R1
请求地址:https://api.siliconflow.cn/v1/chat/completions

填写完毕并提交确认后,即可在UOS AI中选择 DeepSeek-R1 模型进行使用。

理论上只要你在硅基流动账户中的余额够用,其模型仓库的所有模型都可以通过上述方法在UOS AI中配置调用,只需在上述配置方法中的模型名处填写对应的完整模型名称即可,其它不变。

需要注意的是,在线大模型受网络及用户访问量影响,偶尔可能会出现访问慢、超时或无法访问的情况,建议多次尝试即可。

在线模型由于当前适配问题,DeepSeek深度思考的内容与对话内容尚未分开,但这并不影响正常使用,UOS AI 团队会在后续更新中尽快优化体验。

最后感谢社区用户「陈正勇」提供的在线配置参考~

发表评论