1.1项目建设背景
随着新一代人工智能技术快速迭代，多模态人工智能成为产业发展核心趋势，AI语音交互与机器视觉作为人工智能感知层的两大核心技术，已全面渗透智能制造、智能安防、智能家居、智慧医疗、智能车载、公共服务等各大领域，成为数字经济与实体经济深度融合的关键支撑技术。相较于传统单一算法技术，语音交互+机器视觉的多模态融合技术，能够模拟人类“听、看、感知”的智能交互能力，实现环境感知、智能识别、人机交互、自动决策、精准控制等智能化功能，是当前人工智能落地应用最广泛、人才需求最旺盛的核心技术方向。
从产业发展现状来看，国内AI产业进入规模化落地、场景化应用、国产化替代的关键阶段，企业对AI语音识别、语音合成、语义理解、目标检测、图像分类、人脸识别、行为分析、三维视觉感知等技术的落地需求持续激增。行业急需大量掌握深度学习基础、多模态算法开发、模型训练与轻量化部署、视觉场景应用、语音智能交互的复合型技术人才。据人工智能行业人才白皮书统计，我国AI感知技术相关岗位年缺口超30万人，其中机器视觉工程师、AI语音算法工程师、多模态应用开发工程师、智能场景落地工程师等岗位长期供不应求，人才紧缺已成为制约人工智能中小企业规模化发展的核心瓶颈。
从高校教学现状分析，当前计算机科学与技术、人工智能技术应用、电子信息工程、软件工程、物联网工程等相关专业，普遍存在实训设备滞后、教学内容偏理论、多模态实训场景缺失、软硬件脱节、前沿技术覆盖不足等问题。传统实验室多单一开展基础编程或简单图像实验，无法覆盖AI语音算法训练、机器视觉深度学习、多模态融合开发、模型轻量化部署、行业场景落地等核心实训内容，导致学生知识体系陈旧、实操能力薄弱、工程落地能力不足，与企业真实岗位需求严重脱节。
为响应国家《新一代人工智能发展规划》《新工科建设行动计划》战略要求，贴合人工智能产业技术迭代趋势与岗位人才需求，补齐院校AI感知技术教学科研短板，构建专业化、前沿化、场景化的人工智能实训科研平台，特启动本次AI语音与机器视觉实验室建设项目。实验室聚焦多模态感知核心技术，打造集教学实训、科研创新、技能竞赛、产教融合、社会服务于一体的综合性AI实验平台，全面提升院校人工智能专业办学水平与人才培养质量。
1.2项目建设依据
本项目严格遵循国家政策、行业标准、教育规范及院校办学要求，核心建设依据如下：
1.《国务院新一代人工智能发展规划》（国发〔2017〕35号）
2.《教育部高等学校人工智能专业教学质量国家标准》
3.《新工科研究与实践项目建设指南》
4.《高等学校实验室安全管理规范（JGJ918-2018）》
5.《人工智能视觉识别系统技术规范（GB/T 38671-2020）》
6.《智能语音交互系统通用技术要求（GB/T 42080-2022）》
7.院校人工智能、计算机、电子信息相关专业人才培养方案与实训教学大纲
8.人工智能行业主流技术框架、设备安全标准与项目验收规范
1.3项目建设意义
1.3.1人才培养意义
本实验室建成后，可构建从AI基础算法、语音交互开发、机器视觉深度学习到多模态融合应用、行业场景落地的全流程实训教学体系，彻底解决传统AI教学“重理论、轻实操、无场景、缺前沿”的痛点。全面覆盖人工智能相关专业核心实训需求，有效提升学生算法调试、模型训练、软硬件开发、场景部署、问题排查等工程实践能力，培养适配行业需求的多模态AI复合型人才，大幅提升学生就业竞争力与就业质量。
1.3.2教学改革意义
实验室搭载行业主流的深度学习框架、AI语音与视觉开发平台、多模态实训设备，可支撑《深度学习原理》《机器视觉应用》《智能语音交互技术》《图像处理与识别》《多模态人工智能》《Python人工智能开发》等核心课程的实训教学改革。助力院校开发新型实训课程、校本教材、项目化教学案例，创新项目驱动、虚实结合的AI教学模式，打造人工智能特色优势专业。
1.3.3科研创新意义
平台具备模型训练、算法优化、多模态融合、轻量化部署等科研能力，可为师生提供前沿科研创新支撑，支持开展语音降噪、语义识别优化、目标检测算法改进、人脸识别优化、三维视觉感知、多模态融合交互等前沿方向研究，助力教师申报科研项目、发表高水平论文、申报知识产权，支撑学生创新创业项目与学科竞赛攻坚。
1.3.4产教融合与社会服务意义
实验室完全对标企业AI项目开发流程与技术标准，可深度对接人工智能企业开展校企联合育人、订单培养、项目共建、技术研发合作。同时可面向社会开展AI技术培训、技能认证、技术科普、小型智能项目开发等服务，承接各级人工智能技能竞赛、创新创业赛事，充分发挥平台资源价值，助力区域人工智能产业人才体系建设。
1.4总体建设目标
1.4.1硬件建设目标
搭建高性能、模块化、多场景、可扩展的AI语音与机器视觉硬件实训平台，涵盖AI深度学习实训终端、边缘计算开发设备、高清视觉采集模块、多阵列语音采集模块、智能交互终端、实训仪器设备等。构建“数据采集—模型训练—算法推理—场景落地”的完整硬件架构，设备选型贴合行业主流应用，兼顾教学基础性、科研前沿性、场景实用性，满足规模化实训、深度科研、竞赛创新多重需求。
1.4.2软件建设目标
配套搭建完整的AI软件开发体系，搭载主流深度学习框架、机器视觉开发工具、智能语音算法平台、虚拟仿真教学系统、教学资源管理平台。整合算法源码、实训案例、教学视频、题库资源，实现算法训练、模型调试、场景开发、在线教学、智能管理一体化，构建软硬协同、虚实融合的AI教学科研环境。
1.4.3教学体系建设目标
构建分层递进、项目驱动、岗课赛证融合的实训教学体系，开发基础验证、综合设计、项目创新、科研进阶四级实训项目，完善实训指导书、课程教案、考核标准、案例资源。创新AI项目化教学模式，实现理论教学、实操实训、创新研发、竞赛集训一体化育人。
1.4.4管理与团队建设目标
完善实验室安全、设备、教学、运维全流程管理制度，打造双师型AI教学科研团队，形成常态化教学、科研、竞赛、开放共享的运营模式，建成标准化、智能化、特色化的高水平人工智能专业实验室。
1.5项目建设原则
1.5.1先进性原则
软硬件选型紧跟人工智能多模态感知前沿技术，采用企业主流的深度学习框架、AI芯片、视觉与语音采集设备，支持轻量化模型部署、多模态融合、边缘智能推理等前沿技术应用，规避老旧淘汰技术，保障实验室3-5年技术不落后，适配新工科AI教学与科研发展需求。
1.5.2实用性原则
紧密贴合院校人才培养方案、课程教学大纲与企业岗位核心需求，所有设备、软件、实训项目均服务于日常教学、技能实训、科研创新。摒弃冗余低效配置，兼顾基础入门与高阶创新，适配不同学段、不同能力层次学生的学习需求，最大化资源利用率。
1.5.3扩展性原则
整体采用模块化、开放式架构，硬件预留丰富拓展接口，软件支持功能迭代、模型更新、场景新增。可根据后续技术升级、课程改革、科研需求，灵活新增视觉、语音拓展模块与算法案例，无需整体改造，降低后续升级成本。
1.5.4安全性原则
严格遵循高校实验室安全建设标准，硬件设备具备过压、过流、短路防护功能，电路线路布局规范。建立完善的用电安全、设备安全、数据安全、操作安全管理制度，配备消防、应急防护设施，全方位保障师生人身安全与设备、数据安全。
1.5.5通用性原则
平台适配人工智能、计算机科学、电子信息、软件工程、物联网等多个专业教学需求，可支撑多门核心课程实训，兼容主流AI开发技术栈，设备复用率高、适配场景广，贴合多学科融合教学趋势。
第二章行业与教学现状分析
2.1 AI语音与机器视觉行业发展现状
当前人工智能产业已从单一算法智能，全面迈入多模态融合智能阶段，AI语音与机器视觉作为人机交互、环境感知的核心基础技术，是人工智能落地场景最丰富、产业化最成熟的两大板块。在机器视觉领域，传统的图像预处理、简单识别技术已升级为基于深度学习的目标检测、图像分割、人脸识别、行为分析、三维视觉重建、缺陷检测等高阶技术，广泛应用于工业质检、智能安防、自动驾驶、智慧物流、医疗影像分析等场景。YOLO、Faster R-CNN、U-Net等轻量化、高精度检测算法成为行业主流，模型轻量化部署、边缘端实时推理、视频流智能分析成为企业核心技术刚需。
在AI语音领域，技术已从基础的语音识别、语音合成，迭代为离线语音唤醒、实时降噪、远场拾音、多语种识别、上下文语义理解、多轮对话交互等智能交互技术。结合麦克风阵列声场优化、本地离线推理、多模态联动控制，可实现无接触智能交互，广泛应用于智能家居、智能车载、客服机器人、智能穿戴、公共服务终端等领域。国产化语音算法框架与轻量化模型逐步替代进口技术，离线语音交互、低功耗语音推理成为行业技术发展主流趋势。
多模态融合成为行业核心发展方向，通过机器视觉的“视觉感知”与AI语音的“听觉交互”深度结合，实现“看听结合、智能决策、自主交互”，大幅提升智能设备的场景适配能力与交互体验，是当前AI产品创新、产业升级的核心突破口，也对从业人员的多技术融合开发能力提出了更高要求。
2.2行业人才需求特点
当前企业对AI语音与机器视觉人才的需求不再局限于单一算法掌握，更注重复合型、工程型、落地型人才，核心岗位包括机器视觉开发工程师、AI语音算法工程师、多模态AI应用工程师、边缘智能部署工程师、智能场景开发工程师等。企业核心招聘要求分为三大维度：一是基础能力，熟练掌握Python编程、深度学习基础、数字图像处理、语音信号处理基础知识；二是核心技能，能够独立完成视觉模型训练、优化、部署，语音降噪、识别、合成、对话开发，多模态功能融合调试；三是工程能力，具备项目需求分析、方案设计、软硬件集成、场景落地、问题排查的综合能力，适配企业项目化开发流程。
目前高校人才供给存在明显结构性短板，多数学生仅掌握理论算法，缺乏实操训练与项目经验，不会模型训练、不懂轻量化部署、无法完成多模态场景融合开发，上岗适配周期长，难以满足企业产业化落地需求，导致行业复合型人才缺口持续扩大。
2.3现有教学与实验室短板
2.3.1教学内容滞后产业技术
现有教学多侧重深度学习理论、基础图像操作、简单语音识别，未覆盖轻量化模型部署、离线语音交互、三维视觉检测、多模态融合等前沿产业技术，教学内容与企业主流技术脱节，学生知识体系陈旧。
2.3.2软硬件资源不成体系
传统实验室设备碎片化，多为基础电脑与简易摄像头、麦克风，无专业AI训练终端、边缘计算设备、阵列语音采集模块、工业级视觉采集设备。无法完成高精度视觉识别、远场语音交互、模型训练推理、多模态融合等综合实验，软硬件脱节、场景缺失。
2.3.3实训模式单一固化
现有实训以验证性、基础性实验为主，缺乏项目化、综合性、创新性实训内容，学生无法独立完成完整的AI项目开发流程，难以培养工程思维与创新能力，与企业项目化开发模式不符。
2.3.4多模态融合教学缺失
多数实验室将语音与视觉技术分开教学，未搭建多模态融合实训场景，无法开展“视觉识别+语音交互”联动项目实训，无法适配当前行业多模态智能应用的发展趋势。
2.3.5科研与竞赛支撑不足
现有设备算力不足、功能有限，无法支撑高阶算法优化、模型微调、创新项目研发与高水平学科竞赛集训，制约师生科研创新与竞赛成果产出。
第三章实验室整体规划与功能设计
3.1整体架构设计
本实验室遵循人工智能多模态技术产业架构，构建数据采集层、算法训练层、边缘推理层、场景应用层四层一体化实训科研架构，全面覆盖AI语音、机器视觉、多模态融合全链路技术体系，架构完整、技术前沿、场景贴合产业实际，可全方位支撑教学实训、科研创新、项目开发与竞赛集训。
3.1.1数据采集层
作为实验室基础数据输入单元，包含工业级单目摄像头、双目深度相机、高清全景摄像头、麦克风阵列、远场语音采集模块、环境声场模拟设备等。负责采集高清图像、视频流、远近场语音信号、环境噪声数据，为图像预处理、视觉模型训练、语音降噪、语义识别提供高质量原始数据，覆盖工业、家居、安防、服务等多场景数据采集需求。
3.1.2算法训练层
依托高性能AI实训终端、GPU算力设备，搭建深度学习训练平台，搭载PyTorch、TensorFlow、OpenCV、Keras等主流框架。支持图像标注、数据集制作、模型训练、参数调优、算法迭代、精度优化，可完成目标检测、图像分割、人脸识别、语音特征提取、降噪算法、语义理解等核心算法训练实训，是实验室核心算力与算法研发核心层。
3.1.3边缘推理层
通过高性能边缘计算AI设备，实现训练后模型的轻量化、量化、裁剪与边缘部署，支持端侧实时推理。可完成视频流实时检测、离线语音唤醒、本地语义交互、多模态联动推理，解决云端推理延迟高、依赖网络、数据安全差的问题，贴合企业端边云协同的产业应用架构。
3.1.4场景应用层
搭建多模态智能应用场景，整合视觉识别与语音交互功能，构建智能安防、智能家居、智能服务机器人、工业智能质检、智能门禁交互等实训场景，实现算法技术与行业应用的深度结合，支撑学生完整项目开发与场景落地实训。
3.2功能区域划分
结合教学、科研、竞赛、开放共享的多元需求，科学划分四大功能区域，布局规整、分工清晰、互不干扰，可同时满足规模化实训、小组创新、科研攻坚、教学研讨需求。
3.2.1核心实训教学区
为实验室核心功能区域，配置标准化AI实训终端、语音视觉综合实验设备、实训桌椅，可同时容纳40-50名学生分组实训。主要承担日常课程实训、基础算法实验、核心技能训练任务，支持学生单人单机完成图像预处理、语音信号处理、基础模型训练、简单智能交互实验，适配常态化规模化教学。
3.2.2多模态创新研发区
配置高性能GPU算力设备、双目视觉开发套件、阵列语音交互设备、智能场景实训模块，面向学生创新项目研发、学科竞赛集训、教师科研攻坚。支持多模态融合项目开发、算法优化、模型微调、高阶智能场景开发，是实验室创新与科研成果产出核心区域。
3.2.3理论研讨展示区
配备多媒体教学一体机、投影设备、研讨桌椅、AI技术展示大屏，用于课前理论讲解、技术案例演示、项目成果汇报、师生技术研讨、实训总结点评。实现理论教学、实操实训、成果展示无缝衔接，打造教、学、练、研一体化教学场景。
3.2.4设备运维存储区
设置专用防静电储物柜、耗材存放架、设备检修工位，用于存放备用实验模块、采集设备、工具耗材、配件资料。承担设备日常检修、保养维护、耗材管理、台账登记工作，保障实验室设备完好、运行稳定，实现规范化运维管理。
3.3实验室核心功能定位
3.3.1基础教学实训功能
全面覆盖人工智能、计算机、电子信息等专业核心课程实验需求，可开展数字图像处理、图像滤波与分割、特征提取、基础目标识别、语音信号采集、降噪处理、语音合成、关键词识别、深度学习基础等基础验证性实验，夯实学生AI感知技术基础技能。
3.3.2综合项目开发功能
支持开展机器视觉综合项目、AI语音交互项目、多模态融合智能项目开发，包括人脸识别门禁、目标检测计数、工业缺陷检测、离线语音控制、多轮语音对话、视觉+语音智能交互系统等完整项目实训，培养学生系统开发与工程落地能力。
3.3.3科研创新攻坚功能
支撑师生开展轻量化视觉算法优化、低信噪比语音降噪、远场语音识别、多模态融合交互、边缘智能推理等前沿科研方向研究，助力高水平论文发表、专利软著申报、各级科研项目立项，打造校级AI感知技术科研创新平台。
3.3.4技能竞赛集训功能
完全适配全国大学生人工智能创新大赛、电子设计竞赛、职业技能大赛、机器视觉应用竞赛等各级赛事标准，可常态化开展竞赛集训、模拟考核、项目演练，培育高水平竞赛成果。
3.3.5产教融合社会服务功能
可承接企业小型AI感知项目开发、算法调试、场景优化，开展校企联合育人、订单人才培养、企业员工技术培训，同时面向社会开展AI技术科普、职业技能认证培训，深化产教融合，发挥平台社会服务价值。
配置表
| 序号 | 产品名称 | 数量 | 规格 |
| 1 | AI语音与机器视觉开发应用系统平台 | 25 | 由边缘计算处理器RK3399，4G+16G内存配置，11.6寸高清电容屏、AI摄像头、AI麦克风阵列等构成。提供更丰富的扩展接口：双路USB3.0，RS232，RS485，嵌入式拓展接口等各种外设接口。 |
| 2 | AI图像视觉开发资源包 | 1 | 配套源码，视频教程，实验指导书，PPT等 |
| 3 | AI语音语言开发资源包 | 1 | 配套源码，视频教程，实验指导书，PPT等 |
| 4 | AI神经网络基础资源包 | 1 | 配套源码，视频教程，实验指导书，PPT等 |
| 5 | 物联网应用云平台软件 | 1 |
1）能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。 2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。 3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。 4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。 5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。 6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。 7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。 8）实现基于云平台的智能家居实验，并包含配套完整的教学资源。 9）支持本地化部署和云端部署两种方式。 |
| 6 | 实验桌 | 50 | |
| 7 | 电脑 | 50 |
2. 产品说明
2.1. AI语音与机器视觉实验室建设思路
2.1.1. 实验室建设概况
2.1.1.1. 建设目标
嵌入式人工智能创新应用实验室，整体规划与布局如下：在原专业的基础上，培养能在人工智能及其应用的各相关领域中从事数据挖掘、深度学习、神经网络、计算机视觉、机器人学习、语音识别等的人工智能应用型人才。以ARM人工智能创新实验室作为产业聚集地，承担规划设计、建设指导、协调支持等作用；涵盖基础教学、算法应用开发、产品原型开发验证和企业案例应用实训等四个关联递进的场景；形成以人才培养基地、资源中心、培训中心、资质认证中心、创新创业基地、教学研究中心为目标的6大生态体系，建成工信部紧缺人才实验中心并获得工业和信息化领域急需紧缺人才培养工程授牌，为学校建设和社会人工智能人才培养服务，实现产教深度融合。
通过人工智能技术手段，结合学院的人才培养特点，为学院的实践教学、科技创新、学科竞赛及产学研项目等提供平台支撑。打造能够服务于人工智能、物联网等研发产业,为优化升级产业结构和发展提供技术支撑和人才培养教学平台。
1.2 建设思路
AI趋势：智能向端迁移，端云结合• 云：数据挖掘、算法训练
• 端：推理，产生高质量数据（信息）
• 全面渗透金融、医疗、安防、零售、制造业、以及家庭等全行业，典型应用AIoT。
面对新一轮人工智能浪潮中如何将人工智能教育落实到课程上,嵌入式人工智能创新应用实验室为学员准备不同层次的训练，使学员能由简到繁、由易到难不断的深化学习。
1.3 建设内容
人工智能产业尚处于一个发展的初步阶段，随着标准的制定、核心技术的研发与普及，将会衍生至各产业行业的众多技术变革与应用。为此学校在实训室的建设方面需要有一定的前瞻性。一、应保证满足3至5年的需要；二、升级换代方便；三、最大限度地保护已有投入。那么参照这个原则，人工智能实训基地的建设发展目标是：Ø 设备能够满足5年内的教学需求。
Ø 设备易于升级与更迭。
Ø 设备扩展性好。
Ø 企业能提供强大的售后服务支持。
Ø 企业能够在人工智能研发探索上提供关键技术支撑平台。
Ø 企业能够提供行业发展的最新信息，能够提供满足教学需求的教学资源库。
Ø 企业应具备为学校提供师资队伍的能力。
2.1.2. 课程体系设置
2.1.2.1. 教材名录
2019年，国内来自北京大学、北京邮电大学、武汉大学、同济大学、哈尔滨工业大学、哈尔滨工程大学等近30所学校知名专家教授共同撰写的42本教材，由人民邮电出版社出版。| 序号 | 书名 | 序号 | 书名 |
| 1 | 人工智能原理 | 22 | 物联网概论 |
| 2 | 脑科学导论 | 23 | 物联网通信技术 |
| 3 | 人工智能学科基础 | 24 | 射频识别（RFID）原理与应用 |
| 4 | 大数据导论 | 25 | 窄带物联网原理及应用 |
| 5 | 计算智能 | 26 | 工业物联网技术及应用 |
| 6 | 自然语言处理与深度学习 | 27 | 智能家居设计与实践 |
| 7 | 人工智能导论 | 28 | 智慧交通信息服务体系与应用 |
| 8 | 计算机视觉 | 29 | Linux操作系统基础 |
| 9 | 机器学习原理与python实现 | 30 | 嵌入式系统导论 |
| 10 | 知识图谱 | 31 | 嵌入式系统基础-基于Arm Cortex-M微控制器系统 |
| 11 | Python数据处理与挖掘 | 32 | 嵌入式系统设计 |
| 12 | 深度学习 | 33 | Arm嵌入式系统及应用 |
| 13 | 智能自主体系统 | 34 | 智能嵌入式硬件系统开发实例教程 |
| 14 | 人工智能与区块链：数字经济学视角的技术范式 | 35 | 基于Arm Cortex-M3核的SoC设计实验教程 |
| 15 | GPU编程 | 36 | C++程序设计 ——现代方法 |
| 16 | 人工智能白皮书 | 37 | Python高级程序设计 |
| 17 | 物联网系统开发技术 | 38 | 计算机网络与通信 |
| 18 | 机器学习 | 39 | 微型计算机原理及应用--基于Arm微处理器 |
| 19 | 智能无人系统 | 40 | 5G移动通信技术 |
| 20 | 数字图像处理与Python实现 | 41 | 物联网信息安全与隐私保护 |
| 21 | 智能系统设计与实践 | 42 | 物联网智能控制 |
2.1.2.2. 2.2 课程资源
Ø 人工智能课程建设思路| 一、基础模块 | 二、智能科学与技术模块 | 三、物联网技术模块 | 四、嵌入式系统模块 |
| 1.数据结构 | 1.人工智能导论 | 1.物联网技术导论 | 1.Linux操作系统基础 |
| 2.程序设计基础（C/Python） | 2.人工智能原理 | 2.物联网通讯技术 | 2.Linux高级编程 |
| 3.计算机网络与通信 | 3.机器学习 | 3.自动识别技术及应用 | 3.嵌入式微处理器技术及应用 |
| 4.操作系统 | 4.计算机视觉 | 4.传感器原理及应用 | 4.开源硬件应用开发 |
| 5.微型计算机原理及应用 | 5.智能机器人 | 5.物联网中间件技术 | 5.嵌入式系统设计 |
| 6.单片机基础 | 6.模式识别 | 6.物联网应用系统设计 | 6.嵌入式操作系统 |
| 7.数据库系统原理 | 7.数据挖掘 | 7.窄带物联网 | 7.嵌入式软件设计及开发 |
| 8.自然语言处理 | 8.工业物联网 | 四、嵌入式系统模块 | |
| 9.智能移动软件开发技术 | 三、物联网技术模块 | 1.Linux操作系统基础 | |
| 10.数据科学 | 1.物联网技术导论 | 2.Linux高级编程 | |
| 11.深度学习框架及应用 | 2.物联网通讯技术 | 3.嵌入式微处理器技术及应用 |
1） 基础课程设置
提供人工智能、大数据、云计算等相关基础技术开源组件的理论知识、各组件的安装部署配置等上机实训手册，以及运维监控、性能优化等知识宝典、提供教学环境上机操作实训体验 。
Ø 理论知识：相关的电子书籍、技术介绍文章等
Ø 实训知识：相关的安装、部署、配置手册
Ø 技能宝典：自动化部署脚本、维护和优化知识库、主要论坛地址等
Ø 操作体验：提供环境，进行安装部署操作
2）专业提升课程
通过各个开源组件部署配置，以及定制开发，实现通用的云计算平台（容器、DevOps）、大数据可视化平台、人工智能平台等符合企业需求的技术平台，以及近似企业平台的用户操作体验，提升专业技能。
Ø 技术平台：介绍技术平台架构，如：技术组件，系统架构
Ø 使用手册：介绍如何通过平台实现企业各类场景需求
Ø 上机体验：提供教学环境的场景，
Ø 提升认知：引入配套的AR增强现实体验等方式
2.1.2.3. 2.3 课程设置
Ø 课程（本科）：专业方向：智能技术及应用| 课程类别 | 课程名称 | 学分 | 总/周学时 |
理论 课时/学分 |
实践 课时/学分 |
先修课程 | |||||||||||||||||||||||||||||
| 专业核心课 | C++程序设计 ——现代方法 | 4 | 64/4 | 48/3 | 16/1 | ||||||||||||||||||||||||||||||
| Linux操作系统基础 | 3 | 48/3 | 32/2 | 16/1 | C++ | ||||||||||||||||||||||||||||||
|
2 | 32/2 | 32/2 | ||||||||||||||||||||||||||||||||
| 神经网络与深度学习 | 4 | 64/4 | 32/2 | 32/2 | C++ | ||||||||||||||||||||||||||||||
| 计算机视觉 | 4 | 64/4 | 32/2 | 32/2 | C++ | ||||||||||||||||||||||||||||||
| 语音信号处理 | 3 | 48/3 | 32/2 | 16/1 | C++ |
2.2. AI语音与机器视觉开发应用系统平台
人工智能语音机器视觉系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。
整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。
平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。
提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。
2.2.1. 嵌入式网关核心板
RK3399核心板是一款266-pin金手指形式高性能ARM计算机模块，它采用了瑞芯微64位六核（包含双核Cortex-A72 +四核Cortex-A53）Soc RK3399作为主处理器，标配4GB DDR3内存和16GB闪存，板载2×2 MIMO双天线Wi Fi模组，尺寸只有69.6×50mm，模块上带有独立的Typec供电接口，以及USB-C显示接口。
RK3399计算模块具有丰富的外设和扩展接口，可以扩展使用双MIPI宽动态摄像头，另外它还带有eDP显示接口，MIPI显示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各种资源。RK3399可流畅运行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系统，软件资源和生态非常丰富，尤其是Android 8.1具有NN SDK神经网络加速软件包，Qt-5.10集成了VPU硬件编解码，GPU图形加速，可使用QML快速开发流畅的动态式界面，因此RK3399核心板非常适合做高端人脸识别，机器视觉，VR虚拟现实，自动驾驶，深度计算分析等方面的人工智能产品快速原型及产品开发。
硬件参数：
| CPU |
SOC:RK3399 核心:64位双核Cortex-A72 +四核Cortex-A53 频率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz) |
| GPU | Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC |
| VPU | 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc |
| Memory | RAM: Dual-Channel 4GB DDR3 |
| Storage | eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1 |
| Power Management | RK808-D PMIC,配合独立直流/直流,启用dvf solfware省电,RTC唤醒,系统睡眠模式 |
| Connectivity |
以太网:本机千兆以太网 wi - fi: 802.11 a / b / g / n / ac 蓝牙:4.1双模式 天线:双天线接口 |
| Video Input | 1个或两个4-Lane MIPI-CSI,双重ISP, 13 mpix / s,同时支持双相机数据的输入 |
| Video Output |
HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI |
| USB |
USB 2.0: 2独立的本地主机USB 2.0 USB 3.0: 1本地主机USB 3.0 USB c类型:支持USB3.0 c型和显示端口1.2 Alt模式USB c型 |
| PCIe | PCIe x4, compatible with PCIe 2.1, Dual operation mode |
| 调试 | 1 x调试UART, 3 v级,1500000个基点 |
| LED | 1x Power LED(Red) 1x GPIO LED(Green) |
| Key | Power Key x1 Reset Key x1 Recovery Key x1 |
| 工作温度 | -20℃ to 70℃ |
| 电源 | 直流12 v / 1(边缘连接器)或DV 5 v / 2.5 (c型) |
2.2.2. 网关底板其他外设
l 11.6寸高清触显一体屏：板载，eDP接口,电容式多点触摸，分辨率1920*1080
l 按键：板载重启、恢复、电源3个功能按键，4个用户自定义按键
l UART：1路RS232，1路RS485
l 以太网：100/1000M
l 音频：音频输出接口、MIC音频输入接口、板载4欧3W扬声器
l 无线网：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l 4G模组：板载，板载EC20模组
l LoRaWAN网关模块接口：板载mini-pcie接口，可接入SX1301八通道并行LoRaWAN网关模块。1个项目须至少配备1个LoRaWAN网关模块，以实现对实验室所有lora节点的接入管理。
l Zigbee网关模块：板载，直列双排20芯插针接口，非usb接口。
l BLE网关模块：板载，直列双排20芯插针接口，非usb接口。
l USB 3.0 HOST接口：板载2个
l Debug接口：板载1个
l Download接口：板载1个
l 键盘：板载7寸80键标准键盘
l 高清相机模组：CMOS传感器OV13850，MIPI信号输出，400万像素，最高支持2688x1520像素。
l 麦克风阵列：板载7颗数字高性能硅麦克风。
l 红外接收：板载红外接收模块1个
l 震动马达传感器：1个
l LED：板载4颗蓝色LED灯珠。
l 天线接口：板载wifi、BLE、lora、LET 共4个天线接口。
l 传感器扩展接口：板载，与无线传感器节点的传感器模块接口兼容，可完成linux系统下的传感器驱动开发实验。
l OBD接口：板载，标准16针OBD-II插座，与配套软件结合可完成基于CAN总线通信相关实验。
l
电源：DC 9-12V输入
l 其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
2.3. 外设模块
2.3.1.
4G LTE模块l 网络：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l 制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l 工作频带：HSPA1900/2100，GSM 900/1800；
l 高速USB 2.0接口、PCI-E接口；
l 支持短信、数据、电话本、PCM语音功能；
l 支持IPv4,IPv6协议；
l 支持LTE多频；
l 支持最大150M/50Mbps的理论上下行数据传输速率；
2.3.2. AI麦克风阵列
l 7路麦克风阵列，提供声源定位、语音增强、语音降噪、回声消除、声音拾取等功能。l 带硬件浮点运算的RISC-V 双核64位处理器，主频最高800MHz。
l 具备机器听觉能力和语音识别能力，内置语音处理单元（APU）。
l 具备卷积人工神经网络硬件加速器KPU,可高性能进行卷积人工神经网络运算。
l 麦克风阵列模块集成TFT彩屏屏，能够直观显示音频频谱图。
l 内置ARM STM32 USB音频驱动芯片，提供USB声卡驱动，开放源代码。
l 接口：双列直插封装/USB，需能够接入到eAIOT平台使用。
l 支持语音识别、语义理解、语音合成、人机对话等功能，可与硬件进行语音交互。
l 5米监测范围、基于linux系统。
2.3.3. AI摄像头
l 1/1.8" SONY Exmor CMOSl 有效像素200万像素，30帧@1920*1080
l C/CS镜头接口，最低照度0.001 Lux，120dB TWDR
l 支持协议：PROFILE S，GB/T28181，FTP/RTSP.UPNP等
l 支持双码流、手机监控、心跳机制，具3D降噪、去雾、数字宽动态、镜头校正、走廊监控等智能模式
l 提供基于eAIOT教学平台的人脸识别系统案例。
2.4. 物联网应用基础云平台
1、功能简介1）学生能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。
2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。
3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。
4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。
5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。
6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。
7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。
8）实现基于云平台的智能家居实验，并包含配套完整的教学资源。
9）支持本地化部署和云端部署两种方式。
10）提供“物联网应用基础云平台”软件著作权登记证书及软件产品登记测试报告复印件并加盖公章，原件备查。
3. 部分实验案例
3.1.1. 嵌入式linuxQT综合实验
 |
3.1.2. 手写字识别
学习设计一个神经网络模型，然后用已经标注过的MNIST数据来训练这个模型，然后进行测试验证。
图：手写字识别案例
3.1.3. 人脸识别
通过OpenCV自带的分类器、OpenCV的深度学习分类器是基于SSD(Single Shot Detector)框架的ResNet网络，实现在图片、视频中对人脸的检测，并用矩形框框出来。学校可用于身份识别、课堂/上下班考勤、会议签到、刷脸支付、门禁通行、安防监控相关场景。
图： 人脸识别案例
3.1.4. 目标检测
利用深度学习框架caffe，实现对常见物体的检测。
图：目标检测案例
3.1.5. 人体姿态识别
使用边缘侧推理框架Tengine检测图像中的所有人体并返回每个人体的矩形框位置，精准定位 21 个核心关键点，包含五官、四肢、脖颈等部位，更多关键点持续扩展中；支持多人检测、人体位置重叠、遮挡、背面、侧面、中低空俯拍、大动作等复杂场景。
图：人体姿态识别案例
3.1.6. 手势识别
利用深度学习框架caffe，实现对简单手势的识别。
图：手势检测和识别系统案例
3.1.7. 车牌识别
使用opencv 的 HAAR Cascade 检测车牌大致位置，使用卷积神经网络回归车牌左右，然后使用卷积神经网络滑动窗切割字符、及识别字符。
图：交通门禁车牌检测和识别系统案例
3.1.8. 人脸门禁
采用 mtcnn 进行人脸检测，采用MobileFaceNet 进行人脸识别，然后用活体检测算法进行检测。
图：人脸门禁检测和识别系统案例
3.1.9. 声纹锁实验
通过语音增强、语音质量检测、语音增强、有效语音提取、声纹特征提取等步骤，完成声纹注册及声纹验证。
图：声纹电子锁系统案例
3.1.10. AI语音控制智能家居
本系统实现语音数据高速传输，基于百度语音识别 API 完成语音识别，并用无线方式控制电灯，电风扇，以及获取温度和湿度。
图：语音控制智能家居系统案例
3.1.11. 知识图谱和聊天机器人
知识图谱融合了两千五百多万的实体，拥有亿级别的实体属性关系，机器人采用了基于知识图谱的语义感知与理解，致力于最强认知大脑。自然语言处理工具包的功能有：中文分词、词性标注、命名实体识别、关键词提取、文本摘要、新词发现、情感分析等。
图：知识图谱和文本聊天机器人系统案例
4. 招标参数
| 序号 | 项目名称 | 项目技术指标 | 备注 |
| 1 |
名称：AI人工智能语音机器视觉开发应用系统平台 型号：DB-SD38 |
本项目实验系统采用CPU+GPU双处理器架构，是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。 整个教学平台包括人工智能（AI）和嵌入式Linux部分，两部分互相支撑、互为补充，共同实现嵌入式人工智能。人工智能部分的硬件基于嵌入式ARM控制器、高清相机模块、7麦麦克风阵列，具备语音、图像数据的采集和处理能力及适用于多种场景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU双处理器架构，配备高清大屏以及丰富的外设接口。 平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。 提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。 一、硬件技术参数 ★1、处理器： CPU: RK3399：六核 Dual Cortex-A72 + Quad Cortex-A53, 64-bit CPU at 1.8GHz GPU: Mali-T864 GPU,支持 OpenGL ES 1.1/2.0/3.0/3.1, OpenVG 1.1, OpenCL, DX11 2、存储器：双通道LPDDR3（64-bit）不低于4GB，16GB 高速emmc 扩展存储，MicroSD不低于64G 3、高清相机模组：CMOS传感器OV13850，MIPI信号输出，1300万像素，最高支持4224x3136像素。 4、AI高清摄像机：有效像素500万像素，对焦方式自动对焦，USB2.0接口，提供基于eAIOT教学平台的人脸识别系统案例。 ★5、11.6寸板载高清触显一体屏：11.6寸eDP接口,分辨率不低于1920*1080 ★6、1）Zigbee网关模块接口：板载，采用直列双排20芯插针牢靠固定，非usb接口。 2）BLE网关模块接口：板载，采用直列双排20芯插针牢靠固定，非usb接口。 7、4G模组：板载EC20模组，支持LTE TDD/LTE FDD/TD-SCDMA/WCDMA /TD-SCDMA/CDMA2000/CDMA/GSM等频段 ★8、7路麦克风阵列： 1）7路麦克风阵列，提供声源定位、语音增强、语音降噪、回声消除、声音拾取等功能。（需提供完整硬件原理图及PCB文件截图证明为自主研发产品） 2）主控芯片K210，RISC-V 双核64位处理器，主频最高800MHz。集成卷积神经网络加速器KPU，峰值算力1TOPS。 3）一体化单板设计，集成TFT彩色液晶屏，能够直观显示彩色音频频谱图。 4）集成 STM32音频驱动芯片，提供USB声卡驱动，开放源代码。（提供源码工程截图，源码备查） 5）采用双列直插封装和USB接口输出，需能够接入到系统主板中使用。 6）5米监测范围，基于linux系统。 ★9、OBD接口：板载，标准16针OBD-II插座，与配套软件结合可完成基于CAN总线通信相关实验。 10、天线接口：板载wifi、BLE、lora、LTE共4个天线接口。 11、其他硬件接口： 1）UART：1路RS232，1路RS485 2）以太网：100/1000M 3）音频：音频输出接口、MIC音频输入接口、板载4欧3W扬声器 4）无线网：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1 5）USB 3.0 HOST接口：板载2个 6）Debug接口：板载1个、Download接口：板载1个 7）键盘：板载7寸80键标准键盘 8）红外接收：板载红外接收模块1个 9）传感器扩展接口：板载，与无线传感器节点的传感器模块接口兼容，可完成linux系统下的传感器驱动开发实验。 10）按键：板载重启、恢复、电源3个功能按键，4个用户自定义按键 LED：板载4颗蓝色LED灯珠 11）震动马达传感器：板载1个 12）其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz 12、实验箱箱体：单层一体式设计，左边固定安装实验所需硬件，右边收纳放置配套电源适配器、线材、配件等设备。 二、软件规格参数要求 ★1、操作系统：Linux+QT、Ubuntu18.04、Android8.1，支持Linux+QT、Ubuntu双操作系统SD卡快速离线切换，方便教学管理； ★2、须配备LoRaWAN NS(network server)实验软件，配合硬件可实现LoRaWAN双向通信实验，实验可以显示无线通信频率值、扩频因子、RSSI（接收信号强度）、信噪比、fcnt等信息。通过实验可以快速评估和测试LoraWan协议下的数据通信格式、通信距离、信号质量等，同样也可以基于现有的样例进行二次开发快速完成课程设计、项目开发、科研等。 ★3、提供嵌入式深度学习框架Tengine：针对 ARM CPU 及 ARM Mali GPU 优化，支持 Caffe/TensorFlow/MXnet/ONNX 模型文件，兼容 Caffe/TensorFlow API，以插件方式支持底层算子扩展，支持 INT8 量化。 ★4、提供物联网应用基础云平台： 1）学生能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。 2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。 3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。 4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。 5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。 6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。 7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。 8）支持本地化部署和云端部署两种方式。 ★5、人工智能麦克风阵列语音前处理软件： 1）需支持以下实验并提供所有源代码：声源定位、语音增强、语音降噪、回声消除、声音拾取实验。 三、实验教学课程资源 ★平台提供成套教学资源，用户可以按照学期长度和实际教学情况安排教学，须配备实验指导书，实验指导书可以提供10～18周、每周2～6节课的教学实验需要。包含但不限于以下知识实验课程： Linux 实验列表 初识linux 系统：Ubuntu 系统安装、Ubuntu 系统入门、Ubuntu 终端操作、Shell 操作、APT 下载工具、Ubuntu 下文本编辑、Linux 文件系统、Linux 用户权限管理、Linux 磁盘管理 Linux应用开发基础：编写 HelloWorld 代码、编译 HelloWorld、GCC 编译器、Makefile文件 ARM Linux 开发基础：RK3399开发平台介绍、开发环境搭建、关于ARM架构、AArch64汇编基础、RK3399启动方式详解、汇编LED灯试验、C语言版LED灯实验 基于SDK开发Uboot,kernel,rootfs：SDK 基础、U-Boot 顶层 Makefile 详解、U-Boot 启动流程详解、U-Boot 图形化配置及其原理、Linux 内核顶层 Makefile详解、buildroot根文件系统构建 linux 设备驱动程序开发基础：字符设备驱动开发、嵌入式 Linux LED 驱动开发实验、新字符设备驱动实验、Linux 设备树、设备树下的 LED 驱动实验、pinctrl 和 gpio 子系统实验、Linux 并发与竞争、Linux 并发与竞争实验、Linux 按键输入实验、Linux 内核定时器实验、Linux 中断实验、Linux 阻塞和非阻塞 IO 实验、异步通知实验 linux 设备驱动程序开发进阶：platform 设备驱动实验、设备树下的 platform 驱动编写、Linux 自带的 LED 灯驱动实验、Linux MISC 驱动实验、Linux INPUT 子系统实验、Linux RTC 驱动实验、Linux I2C 驱动实验、Linux SPI驱动实验、Linux misc杂项设备驱动实验 Linux 无线通信编程实验：lorawan NS实验、Linux网络编程试验、嵌入式 Web 服务器试验、IOT云服务实验 嵌入式 Linux QT开发 Qt简介：Qt环境搭建 Qt编程基础：Qt用到的开发工具、Qt编程涉及的术语和名词、Qt Creator的初步使用、第一个Qt程序、Qt项目管理文件、Qt项目界面文件、Qt项目中的main主函数、Qt界面布局管理、Qt信号与槽机制、Qt Creator使用技巧 Qt应用开发实例：QCalculator计算器应用实验、QClock实时时钟应用实验、QLed LED控制应用实验、QSht20温湿度计应用实验、QFileview文件浏览应用实验、QReader文本阅读器应用实验、QTest综合测试应用实验、添加应用到系统桌面 人工智能实验列表-基础 神经网络的基本工作原理：神经网络的基本工作原理 神经网络中的基本概念：线性反向传播实验、非线性反向传播实验、梯度下降实验、损失函数实验 神经网络之回归问题：单变量线性回归、多变量线性回归 神经网络之分类问题：线性二分类、线性多分类、神经网络非线性二分类、神经网络非线性多分类 神经网络模型的推理与部署：测试训练结果实验、查看模型文件实验、ONNX模型文件制作实验、模型部署和测试实验 深度神经网络：深度神经网络框架设计、深度神经网络应用、神经网络优化、神经网络过拟合问题 卷积神经网络：卷积神经网络概述、卷积的前向计算、卷积的反向传播、池化的前向计算与反向传播、经典的卷积神经网络模型、MNIST分类实验、Fashion-MNIST分类实验 循环神经网络：普通循环神经、通用的循环神经网络模型实验网络、两个时间步的循环神经网络实验、四个时间步的循环神经网络、不定长时序的循环神经网络实验、深度循环神经网络、双向循环神经网络、高级循环神经网络 人工智能实验列表-图像 图像采集：USB摄像头图像采集 图像处理：图片显示、色彩空间、像素运算、ROI与泛洪填充、滤波与模糊操作、图像直方图、模板匹配、图像二值化、图像金字塔、图像梯度、Canny边缘检测、直线检测、圆检测、轮廓发现 传统机器视觉：手写字识别、人脸检测、目标检测 深度学习机器视觉：手写字识别、人脸检测、目标检测、 端侧推理框架 云端机器视觉应用：图像识别实验、文字识别、人体分析 图像视觉综合应用：人脸门禁控制、车牌道闸控制、手势识别 人工智能实验列表-语音 语音处理 ：语音采集和播放实验、语音编码和解码实验、语音变速变调实验、语音活性检测实验、语音唤醒实验、语音识别实验、语音合成实验 自然语言处理：中文分词实验、关键词提取实验、文本可视化实验、文本向量化实验、文本分类实验、文本聚类实验、文本情感分析实验、句法依存分析实验、构建聊天机器人实验 云端语音语言应用：云端语音合成实验、云端语音识别实验、云端对话情绪识别实验、云端新闻摘要实验、云端短文本相似度实验、云端情感倾向分析实验、云端地址识别分析实验 语音语言综合应用：构建知识图谱和聊天机器人实验、声纹识别门禁实验、AI语音智能家居实验 |
|
