基于RISC-V + LiteOS的边缘AI分层推理平台 · 128KB SRAM运行完整AI · 三层渐进式推理架构
Smart Terminal AI Middleware
面向 IoT / 工业嵌入式场景的边缘 AI 分层推理平台
IoT设备部署后面临"最后一公里"困境:设备状态不透明,运维成本高。工程师到达现场需接调试器、查日志、开发上位机,单次响应30分钟起。
Smart Terminal AI 填补"端侧跑不了模型、纯云端不可靠"之间的产品空白,让每一台MCU设备都能用自然语言回答"你现在状态怎么样?"。
推理调度器根据查询复杂度 + 网络状态自动选择最优路径,Tier 3失败时自动降级至Tier 2,确保离线可用。
可移植到任意 RISC-V/ARM MCU + RTOS 组合,提供统一的 ai_engine_query() API,内部自动调度三层推理路径
带意图识别的命令行框架,支持自然语言与传统CLI命令混合输入,历史记录 + TAB补全,零依赖可移植
标准化的CPU / 内存 / 温度 / 网络 / 传感器采集接口,适配主流嵌入式平台驱动
针对安路EG4X20的轻量化推理加速IP,轻量化矩阵乘法映射FPGA查找表,理论加速比50x,推理延迟压缩至200ms以内
串口直连,无需安装任何App或专用工具:
> ai 设备现在状态正常吗
→ CPU使用率 12%,内存使用 21%(128KB/606KB),温度 36.7°C 正常,
WiFi信号良好(-58dBm),传感器数据采集正常。设备运行健康。
> ai 最近有没有异常日志
→ [AI Tier-3] 分析最近47条日志...
发现 2条WARN 级别日志:ADC通道2信号为0,可能传感器未连接。
其余日志均为INFO级别,系统运行正常。
零App安装 · 零专用工具 · 串口直连 · 秒级响应
| 功能模块 | 状态 |
|---|---|
| CLI完整命令集(10条命令) | ✅ 已验证 |
| Tier 1 关键词匹配(30+双语) | ✅ 已验证 |
| Tier 2 规则引擎NLP(19种意图) | ✅ 已验证 |
| Tier 3 云端LLM HTTP POST | ✅ 已验证 |
| 真实ADC/GPIO/温度/CPU/WiFi采集 | ✅ 已验证 |
| LittleFS日志和配置持久化 | ✅ 已验证 |
| LiteOS三任务并发+线程安全 | ✅ 已验证 |
| FPGA Tier 4加速模块 | 🔄 开发中 |
| FreeRTOS移植 | 📋 计划中 |