近日，www.优德88.cpm 机电工程学院孙立宁教授团队研发了一款用于远程双向智能感知交互的人机界面，实现了机器人的遥操作、信息识别及反馈。最新研究成果以www.优德88.cpm 机电工程学院为第一单位发表在权威期刊《Advanced Functional Materials》（中国科学院分区一区TOP期刊，影响因子19.924），论文题为“A Multi-Module Sensing and Bi-Directional HMI Integrating Interaction, Recognition, and Feedback for Intelligent Robots”。

www.优德88.cpm 2020级硕士研究生方平与www.优德88.cpm 机电工程学院副教授朱铭鲁为论文的第一作者，王凤霞教授、陈涛教授为共同通讯作者。该研究得到了国家自然科学基金项目、江苏省高校基础科学(自然科学)重点专项、江苏省政策引导专项(国际科技合作)“一带一路”创新合作项目等支持。

缺乏人机-机人双向感知交互与信息反馈是目前人机交互领域的关键难题。针对这一难题，该研究提出了一种基于生物兼容材料的多功能感知系统的双向人机界面（BD-HMI）。该界面采用多模态感知模块与嵌入式振动器外骨骼系统相结合的方式，通过外骨骼手臂与带有齿轮转向电极开关的摩擦电传感器感知模块及外骨骼手套与应变传感器相结合感知模块，能够灵敏捕获手臂关节的双向旋转运动信号和人体手指弯曲信号，从而实现机器人的精准遥操作及运动控制。

图1.双向人机交互示意图以及不同传感模块

该成果同时集成了高性能压力传感阵列的智能机器手，能够实现对抓取物体信息的精准采集。结合机器学习和神经网络算法对机器人手抓取数据进行建模分析，在显示器和振动器的辅助下，以视觉和振动的形式对被抓握物体的特性进行直观反馈，实现了人与机器人、机器人与人的双向闭环交互。

图2. 双向交互的设计和应用演示

展望：

具有多模态感知与视觉振动反馈的双向人机交互界面的研发，为实现机器人的遥操作、评估过程及具有振动和视觉反馈的物体识别提供了一种新方法，同时也为医疗机器人、工厂分拣机器人和极端环境下的远程操作机器人向更加智能化、安全化发展提供了新策略。

文章链接：

https://onlinelibrary.wiley.com/doi/10.1002/adfm.202310254