遇见端侧AI未来,移远通信从模型、模组到应用的全面落地
自DeepSeek面世以来,AI大模型开始以极快的迭代速度进行更新,其应用向千行百业加速席卷。DeepSeek横空出世展现出的“开源开放、高效推理、端侧友好”核心优势,更是点亮了端侧AI的落地前景。
在生成式AI的云端智能到端侧AI本地智能落地的漫长技术周期里,DeepSeek的出现让端侧智能不再受限于硬件算力与能效,大模型通过蒸馏技术重构的小模型在端侧部署的可行性大增。
在端侧AI上下游,厂商们不断探索着硬件平台、端侧算法、模型优化与场景落地的协同,探索着如何将智能带到终端设备。当然,在以DeepSeek为代表的大模型的加持下,赋予终端设备本地智能仍然不是一件一蹴而就的事情。如何在更小的模型参数量里实现更智能的推理,如何平衡终端设备能效比等等问题,仍旧需要软硬件协同的不断打磨来解决。
端侧AI时代,模型应用加速渗透
对于端侧AI的发展,物联网智库此前给出的判断是产业已处在爆发前夕。移远通信也对端侧AI的大规模推进持积极态度。在不久前移远通信端侧AI专场直播上,其产品经理表示,得益于小模型性能的增强以及算力平台的完善,端侧AI正在加速落地。
从模型发展来看,去年,AI手机、AI PC上已经开始应用7B左右的端侧小模型做落地尝试,不过彼时模型能力有限,现在3-4B规模的端侧小模型推理能力已经可以媲美去年7B左右模型。在DeepSeek兴起后,基于MoE架构和优质模型蒸馏重构出的细分小模型,解决了小模型在Self-play学习中的不足,推理能力更强,也更便于在端侧部署。
借用移远通信直播中的表述,“DeepSeek的突破是一次面向产业痛点的工程范式升级,为AI推理开辟了‘少即是多’的新路径”。对于端侧AI来说,这意味着AI能够在计算资源有限的终端设备上运行,从大模型到端侧设备,AI开始具备无缝扩展的能力。利用MoE架构推动模型向端侧发展,将会是未来明确的趋势。
移远通信基于其高算力AI智能模组SG885G,实现了DeepSeek模型的稳定运行,并完成了针对性微调,同时将其融合到移远大模型解决方案中,为客户提供更精准、更高效的端侧AI服务。这些举措不仅体现了移远通信在端侧AI领域的深度布局,更体现了其领先的工程化能力。
不仅是DeepSeek,移远通信在大模型技术上还在不断开拓,其端侧大模型解决方案融合前沿的LLM(大语言模型)、RAG(检索增强生成)与Agent(智能体)等业界主流技术。通过针对特定应用场景对模型进行微调,并合理调度多个模型资源,移远端侧大模型解决方案已满足商用条件,助力终端厂商快速应用前沿AI技术,为硬件终端赋予本地智能。
AI算力模组解决多层次硬件需求,推动端侧AI落地
AI如何在端侧落地生根,让终端设备真正“智能”起来。随着模型的不断优化改进,其在泛化性上已经有了较大提升,能够在保证端侧模型轻量化的同时,适应端侧场景的复杂多变。而在端侧场景硬件算力不一和能效问题上,则需要适配的AI算力模组来解决。
对终端厂商来说,探索如何将模型技术应用到自身产品中并不容易,终端硬件厂商在AI能力上参差不齐,为了缩短AI融合应用的上市时间,需要物联网整体解决方案供应商为他们提供高效便捷的全栈AI能力,并针对具体需求做相应定制化的开发。
目前,移远通信主推的搭载高通QCS8550平台的高性能AI算力模组SG885G,成功实现了DeepSeek-R1蒸馏小模型的稳定运行,生成Tokens的速度超过每秒40个,且随着性能的不断优化,速度还在进一步提升。这款AI算力模组主打高算力、高性能,同时支持Linux、Android、Ubuntu等各种操作系统,在高端机器人等端侧算力需求较大的场景中,能够轻松满足相关算力需求。
对于在计算能效上要求严苛的应用,移远通信也能提供12 TOPS算力的SG560D,满足需要兼顾算力、成本和功耗的端侧应用。同时,搭载紫光展锐UIS7885平台的SG530C也兼顾算力、成本和功耗。
从基础的人脸识别、到工业视觉质量检测、到机器人等各种碎片化的应用场景,移远通信都能提供相应算力硬件,为端侧AI落地提供支持。据悉,移远通信正在规划更高算力模组,满足未来端侧对算力更大的需求,解决不同终端的多层次的算力需求。
除了AI算力模组,近期移远通信也发布了面向全球市场的QuecPi Alpha开源智能生态开发板,AI算力高达12 TOPS,充分满足工业和消费类应用场景下对高速率、多媒体功能及AI算力的需求,加速工业类及消费类智能设备端侧智能技术的突破,推动相关应用快速落地。
目前,AI算力模组已经能够承担更多计算量,减轻云端服务器的计算负担。随着算力模组的进一步扩充完善,更多的计算任务将直接在本地完成,这也意味着更多硬件终端能够搭载更智能的“大脑”。从智能汽车、机器人到PC、家居、玩具及可穿戴设备等多元化设备,AI算力模组针对不同终端应用的持续优化,将大幅缩短端侧智能相关产品的落地周期,越来越多的终端设备将享受到AI技术带来的变革。
大模型解决方案落地,引领机器人创新变革
在众多端侧智能应用中,机器人无疑是最具想象力的智能产品,可以说是最能代表前沿科技成果的智能集合体。加之DeepSeek在高质量小模型和多模态推理模型方面上的创新,机器人在商用落地方面已经准备得十分充分。
对于机器人的应用方向,从落地的角度看,商业服务类机器人是通用智能机器人有望最先落地的场景。在大模型技术的赋能下,机器人在情景理解、知识融合、智能交互上实现了显著增强,这是以往弱交互、弱推理的机器人所欠缺的。模型技术的应用,使机器人能够快速集成先进的自然语言处理能力,并对信息初步处理与分析,从而在人机交互方面实现大幅优化。
移远通信的大模型解决方案在机器人上的应用就是很好的例子。在移远端侧大模型解决方案的助力下,服务机器人可实现1s以内的意图识别,解码速率超过15 tokens/s。从KWS语音唤醒到VAD人声检测,再到ASR语音识别,最后通过TTS语音播报,移远大模型解决方案在全语音链路上实现了无缝衔接与高效运行。
在移远端侧大模型解决方案的帮助下,服务机器人得以准确理解用户意图,并以清晰自然的语音进行反馈,在交互体验和智能服务上远胜于传统的服务机器人。该方案展现出了显著的落地价值,在众多实际场景中得到了广泛应用。
在端侧AI专场直播中,移远通信产品经理强调,在机器人方案规划上,后续会基于控制器,为机器人集成更多外围感知器件,用多维的感知来不断赋予机器人更类人的交互能力。交互的前提是充分的感知,移远通信将借助实时、精准、多维的感知技术,为机器人拓展更多如交互、决策等AI相关功能,充分发挥出端侧AI在数据处理、分类、融合的价值,并通过完备的感知能力与拟人化的交互方式,进一步增强机器人的智能化程度。
移远通信在MWC 2025上推出的全新AI智能无人零售解决方案,正是凭借动态视觉感知与端侧识别模型,让自动售货机实现了跨越发展,这与通过多维感知不断赋予机器人更类人的交互能力有着异曲同工之妙。
端侧AI大模型技术与机器人的紧密结合,使得机器人在识别任务后,能够自动拆解出涉及的机器人技能与子技能,并根据给定的最终目标任务,自主地进行从Language到Action的模型构建。在端侧AI的助力下,自主编排和执行复杂任务,将成为未来具身智能机器人的发展方向。
写在最后
随着端侧模型与端侧算力平台持续协同优化,二者将不再是制约智能终端硬件发展的枷锁。更小、更精、更聚焦垂直领域的端侧小模型,开始向各类终端渗透。从高算力到兼顾能效的算力模组,移远通信针对不同场景对成本、功耗和算力的差异化需求,提供了多样化的选择。接下来,针对不同端侧应用开发的端侧AI解决方案将不断涌现,这将大幅缩短智能终端的落地周期,促进千行百业的智能化变革。
