基于语义理解和深度强化学习的 Unity 多模态语音控制系统研究

张 佳欣
哈尔滨信息工程学院

摘要

随着人工智能技术的快速发展，人机交互方式正经历着从传统的键盘、鼠标到触摸屏，再到现在的语音、手势等多
模态交互的演变。这种变化使得用户能够以更加自然、高效的方式与机器进行交互，提高了用户体验和工作效率。在 Unity 这
一广泛应用于游戏开发和混合现实应用的平台上，构建一个多模态语音控制系统，将为用户带来更加智能化、沉浸式的交互
体验。

关键词

语义理解；深度强化学习；Unity 多模态语音控制系统

参考

［1］张正立 . 基于态势感知理论的驾驶员多模态交互体验

研究［D］. 广东：华南理工大学，2022.

［2］刘聪 . 线上线下混合教学模式及基于 HoloLens 的应

用研究［D］. 湖北：华中师范大学，2021.

［3］南京航空航天大学 . 一种面向空间机械臂在轨操

作的多模态神经解码控制系统及方法：CN202011312820.6

［P］.2021-03-19.

［4］耿文秀 . 基于代理的虚拟面试系统研究与实现［D］.

山东：山东大学，2020.