一、工业AI研究方向
物联网研究院设立工业AI研究方向，旨在利用计算机视觉、信号处理、多横态信息融合等技术手段,实现多传感器之间的协同,通过结合人工智能算法和领域专家知识库。协助工业企业完成智能化、数字化转型。研究院在工业视觉智能和工业交互智能领域的应用研究主要包括以下三个方面:
(1) 工业安全生产解决方案
以计算机视觉算法为基础，融合多种成像方式、环境传感器、GPS定位等感知信息，对人员、物态、环境进行全方位、24 小时的监控和分析，实现快速感知、实时检测、超前预警的能力，赋能工业园区和工业企业安全生产，消除韦故隐患，提升工业生产本质安全水平。
(2) 工业缺陷检测解决方案
利用计算机视觉算法和深度学习算法对工业制品(如 3C 零部件、汽车零部件、钢铁、药品、织物等)进行图像的采集、处理和计算，实现产品缺陷检测、控制和应用。基于机器视觉技术的工业缺陷检测具有高精度、高效率、高安全性的特点，可广泛应用于无人质检、智能巡检、生产控制、异常溯源等场景。
(3) 工业交互智能解决方案
利用VR、AR和语音等交互技术,结合人工智能算法、边缘计算、虚拟仿真和远程协助等技术，赋能远程培训指导、远程维护、智能巡检、协同作业等各个环节，实现关键设备数字信息可视化，以及精准的远程协作，提高工业企业智能化水平和生产维护效率。
二、主要技术支撑
(1) 面向工业领域的视觉大模型，快速应用于各工业垂域
基于通用视觉大模型强大的学习能力和泛化能力，采集丰富的跨模态工业数据，包括视频、图像、声音、时序/时空信号等，进行二次预训练(自监督算法或图文对比弱监督算法)，构建工业领域视觉大模型。为了适应不同业务场景的下游任务，使用少量场景数据对模型的解码器进行微调，生成专属的垂域模型。该方案从很大程度上消除了传统视觉模型对数据的强依赖，并且大幅度提升2D/3D 图像和视频的检测、识别、分割等能力，可高效地将工业A1能力复制到各工业垂域，节省开发周期，降低边际成本。
(1) 端边云协同和在线学习，模型可灵活部署、自适应升级
在工业领域的不同应用场景中，算力存在不同程度的限制。通过知识蒸馏、量化、NAS、动态网络等方案进行模型压缩和加速，把模型弹性部署在端、边、云设备。通过大小模型协同，端边云协同，更好地适应工业智能的多样化场景。模型部署上线后，在使用过程中将持续收集新的样本数据，并且挖掘新的缺陷类型。利用在线学习技术，快速对模型进行迭代升级提升模型在特定场景下的可用性和可靠性。
三、主要实验平台
(1) 高速图像采集系统
在工业领域，高速图像采集系统能够可视化和分析物体运动，特别是超过人眼和普通相机感知的动作。主要的应用场景包括:机械和流程工艺、设备安装和精细调节、机械故障检修等。物联网研究院拥有采集速度达到 566fps，图像分辨率为1696(H)x1710(V)的高速图像采集系统，可以提供丰富的过程图像和完整的细节信息。
(2) 3D视觉检测系统
2D 视觉检测容易受到光照、遮挡等因素的影响，可能导致误检或漏检。3D 视觉检测技术可以提供更多的几何和语义特征，从而提高零部件尺寸、缺陷等视觉检测的准确性和鲁棒性。3D 视觉检测系统包括深度学习版本的计算机视觉算法开发板、3D激光传感器、双目结构光相机、ABB六轴和四轴机械手、环形传送带等，可为多种工业 3D 视觉检测方案提供实验环境。
