在DeepSeek迅速成为行业焦点之际，香橙派昇腾系列产品已经率先完成了与 DeepSeek 模型的深度适配，通过在边缘进行离线部署，帮助用户实现高效端侧智能，确保数据处理的安全性和可控性。
紧接着，香橙派官方发布OrangePi 5Plus运行Deepseek-R1蒸馏模型实操指南，赶紧收藏起来吧！
OrangePi 5 Plus采用了瑞芯微RK3588八核64位处理器，具体为四核A76+四核A55，8nm工艺设计，主频最高可达2.4GHz，集成ARM Mali-G610, 内置 3D GPU，兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2；内嵌的NPU支持INT4/INT8/INT16/FP16混合运算，算力高达6TOPS，可以满足绝大多数终端设备的边缘计算需求；拥有4GB/8GB/16GB（LPDDR4/4X）、32GB LPDDR4X，和eMMC 闪存插座，可以外接16GB/32GB/64GB/128GB/256GB eMMC模块。OrangePi 5 Plus支持OrangePi 官方研发的操作系统Orangepi OS，同时，支持Android12、Debian11、Ubuntu22.04等操作系统。OrangePi 5 Plus顺利通过开放原子开源基金会XTS认证，并获颁OpenHarmony生态产品兼容性证书。
实操指南：OrangePi 5Plus运行Deepseek-R1蒸馏模型
1.1.6.DeepSeek-R1-Distill-Qwen-1.5B
1)参考用户手册在pc端安装RKLLM工具链。
2)参考用户手册在pc端编译llm_demo测试程序。
3)先在Ubuntu操作系统上安装Git LFS，如果已安装可跳过这一步。
test@test:~$ sudo apt update
test@test:~$ sudo apt install curl git git-lfs
4)接着下载DeepSeek-R1-Distill-Qwen-1.5B模型。
test@test:~$ git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
5)参考下面的代码修改test.py文件。
a.modelpath：DeepSeek-R1-Distill-Qwen-1.5B文件夹所在的绝对路径。
b.llm.export_rkllm：转换后模型保存路径。
test@test:~$ vim rknn-llm/rkllm-toolkit/examples/test.py
modelpath = "/path/your/DeepSeek-R1-Distill-Qwen-1.5B" #填你自己的路径
ret = llm.export_rkllm("./DeepSeek-R1-Distill-Qwen-1.5B.rkllm")
6)创建一个名为“data_quant.json”的文件。内容可以参考下面的示例。
test@test:~$ vim rknn-llm/rkllm-toolkit/examples/data_quant.json
[{"input":"Human: 你好！\nAssistant: ", "target": "你好！我是人工智能助手KK！"}]
7)然后用python3运行test.py文件来转换大模型。
test@test:~$ cd rknn-llm/rkllm-toolkit/examples
test@test:~/rknn-llm/rkllm-toolkit/examples$ python3 test.py
8)转换成功的输出如下所示：
9)最后转换成功会在当前目录下得到DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件，大小约为1.9G。
test@test:~/rknn-llm/rkllm-toolkit/examples$ ls
data_quant.json test.py DeepSeek-R1-Distill-Qwen-1.5B.rkllm
10)参考用户手册更新NPU内核驱动和rknn-llm相关文件。这里使用的版本是：
rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.6
11)将在Ubuntu PC端编译好的llm_demo程序和DeepSeek-R1-Distill-Qwen-1.5B.rkllm模型文件上传到开发板中。
orangepi@orangepi:~$ ls
llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm
12)然后运行下面的命令限制最多打开的文件描述符（每开一个终端都要运行）。
orangepi@orangepi:~$ ulimit -HSn 102400
13)然后运行下面的命令来启动模型。
orangepi@orangepi:~$ chmod 777 llm_demo
orangepi@orangepi:~$ ./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm 256 320
14)运行成功的话就会弹出以下界面。
15)如果运行完弹出以下失败界面的话，reboot重启开发板就可以了。第四步运行成功的话则跳过这一步。
orangepi@orangepi:~$ sudo reboot
16)在交互界面输入问题后按回车，测试成功的结果如下：
