边缘AI推理加速 › 智能终端AI中间件

智能终端AI中间件

Smart Terminal AI Middleware

面向 IoT / 工业嵌入式场景的边缘 AI 分层推理平台

解决的问题

IoT设备部署后面临"最后一公里"困境:设备状态不透明,运维成本高。工程师到达现场需接调试器、查日志、开发上位机,单次响应30分钟起。

Smart Terminal AI 填补"端侧跑不了模型、纯云端不可靠"之间的产品空白,让每一台MCU设备都能用自然语言回答"你现在状态怎么样?"。


核心数据

128KB SRAM峰值占用
3,500+ 行全模块代码
<100ms 本地推理延迟
240MHz RISC-V主频

三层渐进式推理架构

Tier 3 · 云端LLM WiFi可用时调用云端大模型 · <3s响应 · 处理复杂语义查询
Tier 2 · 规则引擎NLP 本地规则引擎 · <500ms · 19种意图识别 · 无网络可用
Tier 1 · 关键词匹配 零依赖关键词库 · <100ms · 存于Flash · 内存峰值仅128KB

推理调度器根据查询复杂度 + 网络状态自动选择最优路径,Tier 3失败时自动降级至Tier 2,确保离线可用。


四大核心组件

🧠

AI推理引擎库

可移植到任意 RISC-V/ARM MCU + RTOS 组合,提供统一的 ai_engine_query() API,内部自动调度三层推理路径

⌨️

智能CLI框架

带意图识别的命令行框架,支持自然语言与传统CLI命令混合输入,历史记录 + TAB补全,零依赖可移植

📡

设备状态监控SDK

标准化的CPU / 内存 / 温度 / 网络 / 传感器采集接口,适配主流嵌入式平台驱动

FPGA加速模块

针对安路EG4X20的轻量化推理加速IP,轻量化矩阵乘法映射FPGA查找表,理论加速比50x,推理延迟压缩至200ms以内


实际使用演示

串口直连,无需安装任何App或专用工具:

> ai 设备现在状态正常吗
→ CPU使用率 12%,内存使用 21%(128KB/606KB),温度 36.7°C 正常,
  WiFi信号良好(-58dBm),传感器数据采集正常。设备运行健康。

> ai 最近有没有异常日志
→ [AI Tier-3] 分析最近47条日志...
  发现 2条WARN 级别日志:ADC通道2信号为0,可能传感器未连接。
  其余日志均为INFO级别,系统运行正常。

零App安装 · 零专用工具 · 串口直连 · 秒级响应


已验证功能清单

功能模块状态
CLI完整命令集(10条命令)✅ 已验证
Tier 1 关键词匹配(30+双语)✅ 已验证
Tier 2 规则引擎NLP(19种意图)✅ 已验证
Tier 3 云端LLM HTTP POST✅ 已验证
真实ADC/GPIO/温度/CPU/WiFi采集✅ 已验证
LittleFS日志和配置持久化✅ 已验证
LiteOS三任务并发+线程安全✅ 已验证
FPGA Tier 4加速模块🔄 开发中
FreeRTOS移植📋 计划中

技术壁垒

  • 极限内存约束:606KB SRAM内运行网络栈(60KB)、文件系统(32KB)、AI推理(25KB)、CLI(8KB)、传感器采集(4KB)的完整系统
  • 无标准库全栈实现:LiteOS无Linux glibc,手写HTTP/1.1 POST、轻量JSON解析器(节省~8KB SRAM)
  • 跨平台可移植设计:全模块通过OSAL与LiteOS解耦,可移植至FreeRTOS、RT-Thread等任意RTOS
  • FPGA加速路线:轻量化矩阵乘法映射FPGA查找表,理论加速比50x

返回边缘AI产品线 | 联系销售

快速导航
咨询 & 合作

开发板购买 · IP授权 · 定制开发

立即联系

有技术问题或合作意向?

联系我们的技术团队获取支持

立即联系