DB-SD40 嵌入式边缘物联网实验平台
平台简介
嵌入式边缘物联网实验平台主要由边缘计算智能网关、AI摄像头、AI麦克风阵列、zigbee节点、蓝牙节点和Nbiot节点、lorawan节点等多种无线传感器节点构成。通过多种传感器的自由选择搭配，可以完成智慧城市、智能家居，智慧校园，智能安防、物联网传感技术、物联网通信技术、为搭建4G/5G综合应用场景提供支持。
实验平台整体框架如下图：
1.1. 边缘计算智能网关
嵌入式边缘物联网实验平台是一款集成物联网、人工智能、嵌入式、移动互联技术于一体的高端教学科研实验平台。整个教学平台包括物联网、嵌入式Linux和人工智能（AI），三个部分互相支撑、互为补充。人工智能部分的硬件基于嵌入式ARM控制器、高清相机模块、7麦麦克风阵列，具备语音、图像数据的采集和处理能力及适用于多种场景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU双处理器架构，配备高清大屏以及丰富的外设接口；物联网部分的硬件支持RFID、Zigbee、Ble、Lora、NBIoT等无线传输技术以及20余种传感器模块。
嵌入式边缘物联网实验平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。
嵌入式边缘物联网实验平台支持图像处理、语音处理、无线通信、传感器原理、RFID等技术的主流算法及应用。提供完整的配套教学教材，实训案例的源码、开发手册等，满足AI和IOT教学实训、应用开发等需求。
嵌入式边缘物联网实验平台采用CPU+GPU双处理器架构，不少于10种模块接口，配备高清大屏、高清相机模块、麦克风阵列和ODB接口，硬件系统采用DC12V电源适配器安全供电，实现嵌入式linux实验和课程设计实验，无线传感器网络实验、人工智能实验及AIOT综合实验等。
嵌入式边缘物联网实验平台基于新工科的教育理念，让教学更轻松，项目开发更容易，售后服务更便捷，更多的考虑实验的先进性、扩展性、包容性。
1.先进性
超强性能
- AI嵌入式边缘计算处理器RK3399，4G+16G内存配置，11.6寸高清电容屏。
- 选配NPU协处理器模块，直接运行神经网络模型，运算能力高达2.8 TOPs@300mW。
- 提供更丰富的扩展接口：双路USB3.0，四路USB2.0，RS232，RS485，嵌入式拓展接口等各种外设接口。
2.扩展性
按需定制
- 所有硬件单元采用模块化设计，可根据需求进行弹性定制选型和搭配。
- 提供可选的丰富的项目套件模块，可以完成各种AI应用场景的设计和创新。
- 智能边缘计算网关平台提供嵌入式扩展接口，包含常用接口的拓展，包括GPIO、ADC、IIC、UART、PWM、SPI等。
3.包容性
一机多用
- 根据教学用途，实验平台可作为人工智能、嵌入式、物联网、移动互联网、智能硬件等学科实验教学，提供不同的教学资源。
- 实验平台可完成丰富的课程及实验，包括：Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、神经网络原理、无线通信、android应用技术、物联网中间件、AIOT应用实训等
- 完美融合物联网，边缘智联网（eAIOT）综合实验平台的对硬件进行了兼容性设计，在硬件上可以同时满足物联网、人工智能和嵌入式三个专业的实训需求。这样大大提高了实训设备在学习不同专业的复用率，能够大大减少学校实训室场地不足的带来的问题，同时也能够为解决学校建设多个实训室资金不足的问题。
边缘智联网（eAIOT）综合实验平台可以为学校解决人工智能开课的师资问题、教学资源问题、实训资源问题、实训设备问题以及和行业应用对接的问题，真正做到了产、教、学、研、创五位一体。
1.1.1. 嵌入式网关核心板
RK3399核心板是一款266-pin金手指形式高性能ARM计算机模块，它采用了瑞芯微64位六核（包含双核Cortex-A72 +四核Cortex-A53）Soc RK3399作为主处理器，标配4GB DDR3内存和16GB闪存，板载2×2 MIMO双天线Wi Fi模组，尺寸只有69.6×50mm，模块上带有独立的Typec供电接口，以及USB-C显示接口。
RK3399计算模块具有丰富的外设和扩展接口，可以扩展使用双MIPI宽动态摄像头，另外它还带有eDP显示接口，MIPI显示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各种资源。RK3399可流畅运行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系统，软件资源和生态非常丰富，尤其是Android 8.1具有NN SDK神经网络加速软件包，Qt-5.10集成了VPU硬件编解码，GPU图形加速，可使用QML快速开发流畅的动态式界面，因此RK3399核心板非常适合做高端人脸识别，机器视觉，VR虚拟现实，自动驾驶，深度计算分析等方面的人工智能产品快速原型及产品开发。
硬件参数：
| CPU |
SOC:RK3399 核心:64位双核Cortex-A72 +四核Cortex-A53 频率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz) |
| GPU | Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC |
| VPU | 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc |
| Memory | RAM: Dual-Channel 4GB DDR3 |
| Storage | eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1 |
| Power Management | RK808-D PMIC,配合独立直流/直流,启用dvf solfware省电,RTC唤醒,系统睡眠模式 |
| Connectivity |
以太网:本机千兆以太网 wi - fi: 802.11 a / b / g / n / ac 蓝牙:4.1双模式 天线:双天线接口 |
| Video Input | 1个或两个4-Lane MIPI-CSI,双重ISP, 13 mpix / s,同时支持双相机数据的输入 |
| Video Output |
HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI |
| USB |
USB 2.0: 2独立的本地主机USB 2.0 USB 3.0: 1本地主机USB 3.0 USB c类型:支持USB3.0 c型和显示端口1.2 Alt模式USB c型 |
| PCIe | PCIe x4, compatible with PCIe 2.1, Dual operation mode |
| 调试 | 1 x调试UART, 3 v级,1500000个基点 |
| LED | 1x Power LED(Red) 1x GPIO LED(Green) |
| Key | Power Key x1 Reset Key x1 Recovery Key x1 |
| 工作温度 | -20℃ to 70℃ |
| 电源 | 直流12 v / 1(边缘连接器)或DV 5 v / 2.5 (c型) |
1.1.2. 网关底板其他外设
l 11.6寸高清触显一体屏：板载，eDP接口,电容式多点触摸，分辨率1920*1080
l 按键：板载重启、恢复、电源3个功能按键，4个用户自定义按键
l UART：1路RS232，1路RS485
l 以太网：100/1000M
l 音频：音频输出接口、MIC音频输入接口、板载4欧3W扬声器
l 无线网：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l 4G模组：板载，板载EC20模组
l LoRaWAN网关模块接口：板载mini-pcie接口，可接入SX1301八通道并行LoRaWAN网关模块。1个项目须至少配备1个LoRaWAN网关模块，以实现对实验室所有lora节点的接入管理。
l Zigbee网关模块：板载，直列双排20芯插针接口，非usb接口。
l BLE网关模块：板载，直列双排20芯插针接口，非usb接口。
l USB 3.0 HOST接口：板载2个
l Debug接口：板载1个
l Download接口：板载1个
l 键盘：板载7寸80键标准键盘
l 高清相机模组：CMOS传感器OV13850，MIPI信号输出，400万像素，最高支持2688x1520像素。
l 麦克风阵列：板载7颗数字高性能硅麦克风。
l 震动马达传感器：1个
l LED：板载4颗蓝色LED灯珠。
l 天线接口：板载wifi、BLE、lora、LET 共4个天线接口。
l 传感器扩展接口：板载，与无线传感器节点的传感器模块接口兼容，可完成linux系统下的传感器驱动开发实验。
l OBD接口：板载，标准16针OBD-II插座，与配套软件结合可完成基于CAN总线通信相关实验。
l 电源：DC 9-12V输入
l 其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
1.2. 无线传感器节点及外设模块
l 网络：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l 制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l 工作频带：HSPA1900/2100，GSM 900/1800；
l 高速USB 2.0接口、PCI-E接口；
l 支持短信、数据、电话本、PCM语音功能；
l 支持IPv4,IPv6协议；
l 支持LTE多频；
l 支持最大150M/50Mbps的理论上下行数据传输速率；
1.2.2. zigbee节点
ZigBee节点其一系列完整的ZigBee产品参考设计，旨在帮助开发人员缩短产品上市时间，并简化开发基于ZigBee的家庭自动化、互联照明和智能网关产品。
产品特点
图形化无线应用开发。
ZigBee3.0/EmberZNet PRO/物联网网状例程。
丰富应用开发示例。
最大输出功率16.5dBm、最大灵敏度-99dBm。
32位40MHz CortexM4、256KB内存、32KB RAM。
采用TI新一代ZIGBEE芯片CC2530。
支持基于IEEE802.15.4的ZIGBEE2007/PRO协议。
采用LP标准的20芯双排直插模式接入底板。
支持TIZ-STACK协议栈。
双排通孔封装（兼容xbee模组）。
1.2.3. 蓝牙节点
蓝牙MESH节点专门针对蓝牙网状Mesh和BLE5.1研发的， 支持最新蓝牙网状网络和蓝牙5规范的全套软件和硬件。
产品特点
l 图形化无线应用开发。
l 采用TI超低功耗蓝牙解决方案CC2540芯片。
l 采用WXL标准的20芯双排直插模式接入网关主板。
l 符合蓝牙规范 4.0 版标准支持TI最新Z-STACK协议栈。
l 双排通孔封装（兼容xbee模组）。
1.2.4. Lorawan节点
Lorawan 节点模块：SX1278 节点，配合行 LoRaWAN 网关模块使用。
产品特点
l 双排通孔封装（兼容 xbee 模组）
l 休眠模式下电流低至 1.8uA
l 工作频段：470~510MHz
l 发射功率 18dBm±1dBm,发射电流 100mA,
l 接收灵敏度-139dBm（SF12 、带宽 125KHz）
l 通信接口：SPI/USART/IIC
l 扩展接口：ADC；SPI；IIC；GPIO
l 支持 LoRaWAN V1.0.2 Class A/C 协议
l 提供 SDK 开发方式
l 系统资源 FLASH/128K，RAM/16K，EEPROM/4K
l 用户可用资源：FLASH/64K，RAM/8K，EEPROM/4K
1.2.5. Nbiot节点
Nbiot节点模块采用的是lierda NB86-G，模块主控芯片是STM32F103， 基于 HISILICON Hi2115 的 Boudica 芯片，符合 3GPP 标准。
产品特点
l 工作电压：4.3V
l 最低功耗：≤10uA
l 发射功率：23dBm±2dB（Max），最大链路预算较 GPRS 或 LTE 下提升 20dB,最大耦合损耗MCL为-164dBm
l 采用LP标准的20芯双排直插模式接入底板
l 提供SDK开发方式
l 系统资源FLASH/64K，RAM/20K
l 用户可用资源：FLASH/30K，RAM/10K
1.2.6. AI麦克风阵列
1）7路麦克风阵列，提供声源定位、语音增强、语音降噪、回声消除、声音拾取等功能。2）带硬件浮点运算的RISC-V 双核64位处理器，主频最高800MHz。
3）具备机器听觉能力和语音识别能力，内置语音处理单元（APU）。
4）具备卷积人工神经网络硬件加速器KPU,可高性能进行卷积人工神经网络运算。
5）麦克风阵列模块集成TFT彩屏屏，能够直观显示音频频谱图。
6)内置ARM STM32 USB音频驱动芯片，提供USB声卡驱动，开放源代码。
7)接口：双列直插封装/USB，需能够接入到eAIOT平台使用。
8)支持语音识别、语义理解、语音合成、人机对话等功能，可与硬件进行语音交互。
5米监测范围、基于linux系统
1.2.7. AI摄像头
l 1/1.8" SONY Exmor CMOSl 有效像素200万像素，30帧@1920*1080
l C/CS镜头接口，最低照度0.001 Lux，120dB TWDR
l 支持协议：PROFILE S，GB/T28181，FTP/RTSP.UPNP等
l 支持双码流、手机监控、心跳机制，具3D降噪、去雾、数字宽动态、镜头校正、走廊监控等智能模式
l 提供基于eAIOT教学平台的人脸识别系统案例。
1.2.8. 高读卡器
高频读卡器采用的RC632是NXP公司生产的一款集成了ISO/IEC14443A、ISO/IEC14443B和ISO/IEC15693三种协议标准的调制解调芯片及嵌入式微控制器设计可完成对ISO14443A协议标准的非接触式IC卡如Mifare_Std S50，ISO15693协议标准的非接触式IC卡如I.CODE2等卡片的读写操作。
 |
1.2.9. 低频读卡器
低频读卡器采用先进的射频线路及嵌入式微控制器设计，结合高效解码算法，可完成对64bitsRead-Only Em4100兼容式125KHz非接触式ID卡的读取
 |
具有接收灵敏度高，工作电流小，单电源供电的特点。
1.2.10. 超高频读卡器
超高频读卡器采用高度集成的UHF RFID读写芯片（超高频读写芯片）及嵌入式微控制器设计，可完成对ISO18000-6C & EPC global Gen2 协议卡片的读写操作。
 |
板载有源模块扩展模块可以和网关有源扩展模块配对完成有源通信功能。
1.2.11. 传感器组件
选配：温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、可调LED灯光模块、振动传感器/蜂鸣器一体模块、超声波测距传感器模块、4位LED数码管显示模块；
1.3. St-link仿真器
ST-LINK/V2是ST意法半导体为评估、开发STM8系列和STM32系列MCU而设计的集在线仿真与下载为一体的开发工具。STM8系列通过SWIM接口与ST-LINK/V2连接。
STM32系列通过JTAG / SWD接口与ST-LINK/V2连接。
ST-LINK/V2通过高速USB2.0与PC端连接。
支持的软件
ST-LINK Utility v2.0（及以上版本）
STVD Version 4.2.1（及以上版本）
STVP Version 3.2.3（及以上版本）
IAR EWARM Revision v6.20（及以上版本）
IAR EWSTM8 Revision v1.30（及以上版本）
KEIL RVMDK Revision v4.21（及以上版本）
1.4. 物联网应用基础云平台
1、功能简介1）学生能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。
2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。
3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。
4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。
5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。
6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。
7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。
8）实现基于云平台的智能家居实验，并包含配套完整的教学资源。
9）支持本地化部署和云端部署两种方式。
1.5. Lorawan云平台软件
（1）私有 NS 及 websocket 接口
（2）lorawan第三方公有 NS
TTN（国外 NS）
（3）*Lorawan AISZ（国内 NS）
（4）lorawan公有云 AS
NBiot中国电信管理平台
在 NB 海量设备高并发场景，电信平台与电信 NB 网络进行有机协同，能够有效缓解拥塞，保障业
务成功，充分发挥 NB 网络的特性和价值。
 |
2. 部分实验案例
2.1.1. 手写字识别
学习设计一个神经网络模型，然后用已经标注过的MNIST数据来训练这个模型，然后进行测试验证。
图：手写字识别案例
2.1.2. 人脸识别
通过OpenCV自带的分类器、OpenCV的深度学习分类器是基于SSD(Single Shot Detector)框架的ResNet网络，实现在图片、视频中对人脸的检测，并用矩形框框出来。学校可用于身份识别、课堂/上下班考勤、会议签到、刷脸支付、门禁通行、安防监控相关场景。
图： 人脸识别案例
2.1.3. 目标检测
利用深度学习框架caffe，实现对常见物体的检测。
图：目标检测案例
2.1.4. 人体姿态识别
使用边缘侧推理框架Tengine检测图像中的所有人体并返回每个人体的矩形框位置，精准定位 21 个核心关键点，包含五官、四肢、脖颈等部位，更多关键点持续扩展中；支持多人检测、人体位置重叠、遮挡、背面、侧面、中低空俯拍、大动作等复杂场景。
图：人体姿态识别案例
2.1.5. 手势识别
利用深度学习框架caffe，实现对简单手势的识别。
图：手势检测和识别系统案例
2.1.6. 车牌识别
使用opencv 的 HAAR Cascade 检测车牌大致位置，使用卷积神经网络回归车牌左右，然后使用卷积神经网络滑动窗切割字符、及识别字符。
图：交通门禁车牌检测和识别系统案例
2.1.7. 人脸门禁
采用 mtcnn 进行人脸检测，采用MobileFaceNet 进行人脸识别，然后用活体检测算法进行检测。
图：人脸门禁检测和识别系统案例
2.1.8. 声纹锁实验
通过语音增强、语音质量检测、语音增强、有效语音提取、声纹特征提取等步骤，完成声纹注册及声纹验证。
图：声纹电子锁系统案例
2.1.9. AI语音控制智能家居
基于百度语音识别 API 完成语音识别，并用无线方式控制电灯，电风扇，以及获取温度和湿度。
图：语音控制智能家居系统案例
2.1.10. 知识图谱和聊天机器人
知识图谱融合了两千五百多万的实体，拥有亿级别的实体属性关系，机器人采用了基于知识图谱的语义感知与理解，致力于最强认知大脑。自然语言处理工具包的功能有：中文分词、词性标注、命名实体识别、关键词提取、文本摘要、新词发现、情感分析等。
图：知识图谱和文本聊天机器人系统案例
2.1.11. 智慧城市实验平台实验
智慧城市实验平台实现了从终端到物联网网关到物联网云端，再到APP服务端四者之间完整物联网通讯，本系统通过在学校安装部署LoRaWAN基站以及各终端达到以下目标：实现停车场管理， 资产定位，智能安防等。
2.1.12. 物联网云平台智能家居实验
丰富多样的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。
