7B/1.5B模型DeepSeek成功在瑞芯微RK3576/RK3588本地部署!

发布时间:2025-05-26 阅读量:1672 来源: 我爱方案网 作者: bebop

摘要:本文基于瑞芯微RK3576RK3588国产平台对DeepSeek-R1的7B和1.5B模型进行了全面的性能测评,并整理完整的本地部署测评步骤,提供所需的完整测试文件,方便用户进行快速评估。同时可提供安全稳定且即插即用的RK3588/RK3576开发板及主控芯片。


扫码可申请样片以及获取产品技术规格书

图片

瑞芯微RK3588/RK3576助力香橙派5成功本地运行deepseek-r1 1.5B语言大模型,展现出卓越的性能与适配性。端侧运行时,RK3588凭借自身架构和NPU算力,可流畅运行1.5B模型,生成速度每秒十几token,其能力范围可以覆盖6B、7B模型,虽运行效率和流畅度略低,但足见其强大算力与适配能力。

图片


瑞芯微RK3576为4核Cortex-A72@2.2GHz + 4核Cortex-A53@2.0GHz + 6TOPS算力NPU处理器,RK3588为4核Cortex-A76@2.4GHz + 4核Cortex-A55@1.8GHz + 6TOPS算力NPU处理器,它们在能源电力、工业控制、智慧医疗、仪器仪表等领域有着广泛应用。


AI界新星DeepSeek(中文名:深度求索)在近期迅速崛起,凭借低成本、高性能的AI模型火爆全网。其核心是一个强大的语言模型,能够理解自然语言并生成高质量文本,此外DeepSeek免费向全球开发者开放,加速了AI技术普及。


在RK3588/RK3576上部署Deepseek可以通过瑞芯微官方的 RKLLM量化部署。


7B/1.5B模型性能测评数据


以下为RK3576/RK3588基于“RKLLM量化部署”方案的7B/1.5B模型的性能测评详细数据。

图片

图 3 7B/1.5B模型性能测评数据


RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的Python接口可以便捷地完成以下功能:

1.模型转换:支持部分格式的大语言模型转换为RKLLM 模型转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用2.量化功能:支持将浮点模型量化为定点模型

RKLLM-Toolkit支持将Hugging Face模型或GGUF模型转换为适配瑞芯微NPU的RKLLM模型。RKLLM Runtime负责加载RKLLM-Toolkit转换得到的RKLLM模型,并在RK3576/RK3588本地通过调用NPU驱动,加速RKLLM模型的推理。


以RK3588平台 + 1.5B模型为例,在Ubuntu上位机执行如下命令,下载原始模型文件。
Host# git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

DeepSeek转换完成的RKLLM模型如下图所示:

图片

(图源讯为,下同)

然后将其传输到开发板上,使用对应的可执行文件运行即可,运行之后如下图所示:

图片

接下来向该模型提出问题即可,回复内容如下所示:

图片

在回复的过程中查看CPU和NPU的利用率,可以看到CPU的占用率为84%,并且调用了NPU的3个核心进行加速推理:

图片



(图源创龙科技)


快包电子平台推出了很多设计优化的RK3588主板方案,它们都是稳定出货、即插即用,在具体场景实现应用的产品。


瑞芯微RK3588工控机开发板

图片

方案简介:

方案基于Rockchip新一代旗舰 RK3588处理器开发设计,采用先进8nm制程工艺集成4核Cortex-A76+4核Cortex-A55架构,主频最高达2.4GHZ,支持8K超清显示,四屏异显,内置瑞芯微自研三核NPU,综合算力可达6TOPS。

方案特点:

1.6 TOPS算力加持,赋能人工智能应用

2.提供多种显示接口,支持四屏异显

3.提供丰富的CPU接口资源,满足计算链接存储需求

4.支持多种操作系统和二次开发

5.支持双千兆网口通讯

应用场景:

AGV、边缘计算、智慧大屏、高端平板、智能NVR、可视化网关等领域。

瑞芯微3588直播一体机

图片

方案简介:

瑞芯微 3588 直播机是一款即插即用直播机方案,方案可供直播机设备终端制造商开发自定义直播机。该直播机主板采用RK3588高端8核处理器,6T算力,屏幕分辨率最大可支持1920*1080,并配有两个USB3.0、一个Type-C全功能接口,方便客户组合外设,设置WiFi和4G互联,监控外设录像/编辑,快速导入产品创新。

方案特点:

SOC :RockChip RK3588

CPU :4×Cortex-A76+4×Cortex-A55

GPU :ARM Mali-G610 MP4 四核 GPU

NPU :6TOPS

应用场景:

教学培训、直播带货、产品宣传

瑞芯微RK3588边缘计算盒子

图片

方案简介:

瑞芯微RK3588边缘计算盒子,主频高达2.4GHz,适用于边缘计算,广告机,miniPC整机,工控一体机,零售机和快递柜。支持安卓12系统,内嵌高性能AI加速硬件,支持6T算力NPU.板载LPDDR4/LPDDR4X 8G内存,EMMC标配128GB(最大可选512GB),支持WIFI6通信、10000M以太网。可直接驱动1920*1080液晶屏。

方案特点:

1.RK3588超强CPU搭载Android 12系统,速度更快,性能更强。

2.支持PCIE WIFI6,BT5.0,双天线。

3.网口设计,支持一个1000M网口。

4.分辨率最大支持4K@60。

应用场景:

边缘计算,广告机,miniPC整机,工控一体机,零售机和快递柜


扫码可申请样片以及获取产品技术规格书

图片


相关资讯
480MHz主频!适用于高精度伺服电机的编码器方案

编码器是一种将角位移或直线位移转换为电信号的装置,分别通过码盘和码尺进行检测。根据工作原理,可分为增量式与绝对式两类:增量式依赖从零位开始的脉冲数累计确定位置,断电后需重新寻零;而绝对式则直接读取唯一的绝对位置编码,无需参考点或持续计数,断电后位置信息不丢失,重新上电即可获取准确当前位置,因而具有更高的抗干扰能力和数据可靠性。编码器整体具有精度高、响应快、可靠性强和寿命长等优点,广泛应用于工业自动化、机器人、医疗设备等领域。

1080P高清屏,冷启动小于100ms!国产MCU高性能汽车数字仪表方案合集

随着电子技术的进步,功能丰富、精准灵敏、支持数字及图像显示的仪表日益广泛应用于汽车领域。传统仪表(如车速表、转速表、机油压力表等)依赖传感器监测车辆状态,通过电阻变化转化为显示信号。

瑞芯微RV1126、RV1126B选型难?一文看懂升级差异

瑞芯微正式发布新一代AI视觉芯片RV1126B,而RV1126B作为RV1126的升级版本,在保持完美兼容性的基础上,实现了全方位的性能跃升。该芯片在AI算力、能效表现、编解码性能及场景适配能力等关键维度均有显著提升,其升级重点体现在:更强大的AI计算性能、更卓越的影像处理能力以及更广泛的应用场景覆盖。这一升级更进一步强化了瑞芯微在边缘智能视觉市场的技术领先优势。

君正X2000 Halley5开发板,为物联网设备打造的高性能解决方案

北京君正集成电路股份有限公司推出的X2000 Halley5开发套件,是专为物联网和智能硬件设备设计的综合性开发平台。该套件采用多板层叠结构,包括核心板、底板以及多种扩展模块,为开发者提供开箱即用的完整解决方案,显著缩短产品研发周期并加速市场推广进程。

龙芯LS1D超声波流量测计量开发板方案:高精度测量领域的革新之选

在智慧城市建设和节能减排政策推动下,传统机械式计量仪表正加速向智能化、电子化方向转型。龙芯超声波流量测计量芯片LS1D方案的推出,为供水、供热、燃气及工业流量计量领域带来了全新的技术解决方案。