
AI驱动的数字化身在XR中的应用
AI-Driven Digitized Avatar in XR
RAC联合密歇根大学信息学院讲师Ramiro Serrano Vergel,带领学生探索如何将人工智能与增强现实(AR)和虚拟现实(VR)技术相结合,创造智能化的数字化身,并探讨其在各个领域的应用。

此次将通过【线上交流】+【线上技术支持】+【导师集中授课】+【终期评图】的方式,与同学一起共享知识盛宴。
完成此课程后,同学们将获得一个概念方案与导师评价。此外,表现优异者则更有机会获得推荐信,助力申请!
适合人群
交互设计、信息设计、传媒设计、视觉传达、工业设计、系统设计
课程时间
2024年7月(暂定)
授课形式
- 讲座+教授集中授课+RAC导师辅导+终期评图
- 英文授课
*本课题不会在其他任何场景下应用
参加海外工作坊可以收获什么?
• 名校在职教授亲授+分组研讨,探索前沿理论
• 深入策略原理,全面提升设计思维逻辑和技能
• 合理的课程安排,高效完成的项目作品
• 设计研究作品(可用于申请)
• Workshop结业证书+导师评价,表现优异有机会获得海外导师推荐信
• 了解与实践前沿领域科学探索
• 尝试打破跨学科研究壁垒的能力
最终课程成果还可以用于不同申请场景:海外院校申请、国内院校保研考研、实习及工作申请、国际竞赛等等。
/ 01
导师介绍
Ramiro Serrano Vergel
密歇根大学信息学院讲师
密歇根大学环境与可持续学院研究员
未来可持续研究中心研究员
教育经历:阿肯色大学博士 计算 信息科学

论文研究
Haoting Gao
密歇根大学 信息学院 信息科学硕士
工作经历
XR应用设计导论研究生讲师 | 密歇根大学信息学院
XR研究助理 | 密歇根大学可持续未来研究中心
XR原型设计师和开发工程师 | Manomotion
/ 02
工作坊课题
PART/1
课题介绍

这个课题旨在探索如何将人工智能与增强现实(AR)和虚拟现实(VR)技术相结合,创造智能化的数字化身,并探讨其在各个领域的应用。
首先,我们将介绍人工智能、AR和VR技术的发展现状,并分析数字化身在教育、医疗、娱乐和企业培训等领域的潜在应用。
其次,我们将解释生成式人工智能模型在XR环境中的应用原理,并提供数字化身在教育、医疗和企业培训等领域的实际应用案例。接着,我们将讨论创建智能化数字化身过程中可能遇到的技术挑战,并提出相应的解决方案。
此外,我们还将分析生成式人工智能与XR技术结合在未来的发展趋势,探讨数字化身在未来可能的新应用场景,并总结课题研究的主要发现和结论,提出未来研究和产业发展的建议。
同学们将分组并选择AR/VR/MR进行项目设计。(详情请参见下文课程安排)
每组同学都会实际完成一个ARVR应用设计以及开发,从交互的原型设计再到最终的产品开发,从XR原型工具再到Unity的开发。
PART/2
课题背景
生成式人工智能(GenAI)和扩展现实(XR)技术的结合将在未来带来深远的变革:
结合GPT和XR技术可以实现更个性化的体验。通过识别用户的偏好、历史数据和行为模式,生成式人工智能可以为用户定制个性化的虚拟体验,而XR技术则可以将这些体验融入到现实世界中,例如个性化的导航、购物体验等。
XR设备配备生成式人工智能可以实现更智能的实时翻译和交流。用户可以通过AR眼镜或VR头盔与其他语言使用者进行沟通,生成式人工智能可以实时翻译并显示在用户的视野中,极大地拓展了人们之间的交流范围。
结合GPT和XR技术可以提升教育和培训的效果。通过AR和VR技术,学生和培训者可以身临其境地参与到虚拟的学习环境中,而生成式人工智能可以提供智能辅导和个性化学习内容,帮助用户更好地理解和吸收知识。
生成式人工智能可以为XR设备提供智能辅助和导航功能。例如,在AR眼镜中,用户可以通过语音或手势与智能助理交互,获取实时的导航指引、周边信息等,极大地提升了用户的体验和效率。
结合GPT和XR技术可以实现个性化的医疗和健康监测。通过智能传感器和XR设备,可以实时监测用户的健康数据,并结合生成式人工智能进行分析和预测,为用户提供个性化的健康管理方案和建议。
PART/3
课程安排
时间 | 授课内容 |
05.24 | 公开课 XR简介及XR未来发展 |
Day1 | 什么是XR? · XR的设计原则 · XR Problem Statement · 每组同学和教师讨论并决定设计主题以及设计类型 AR/VR/MR · 每组同学找相应的国外XR案例进行分析 |
Day2 | AR/VR设计概论 · AR/VR设计概论 · 故事版绘制 · Adobe Aero AR原型设计工作坊 |
Day3 | AR/VR 物理原型 · 每组同学都需要完成物理原型的制作以及草图绘制 · Bezi 工作坊 |
Day4 | AR/VR 数字原型 · 什么是数字原型设计? · 设计原则 · 每组同学需要跟教师完成数字原型设计,利用Bezi Aero等原型设计软件 |
Day5 | Selection and Manipulation · 什么是Selection? · 什么是Manipulation? · Unity 开发工作坊1 |
Day6 | Locomotion System · XR中的移动方式是什么 · Unity开发工作坊2 · 人工智能数字人创建 |
Day7 | System Control · 人类行为因素 · 系统要素 · 控制器类别 · 手势识别 · 姿势识别 · Unity开发工作坊3 |
Day8 | XR的未来发展 · 传感器融合技术 · 数字人 · 多模态输入 · 可穿戴设备 |
Day9 | 终期汇报 · 每组汇报10分钟,教授评价10分钟 · 助理教授评价5分钟 · 教授总结工作坊 |
PART/4
成果意向




/ 03
工作坊报名
PART/1
答疑公开课报名

为了让同学们更直观地了解此次工作坊,北京时间5月24日 (周五) 晚上20:30,我们对本次工坊进行背景介绍,并进行课前答疑。添加【干货小助手】,备注【密歇根讲座】,即可获取讲座直播链接~

PART/2
工作坊报名
内部学生:由教务和主管老师通知并沟通确认报名
外部学员:可添加下方二维码咨询报名

招生人数有限,报满为止
文中作品及图片归原作者本人所有
未经允许禁止转载


