AI驱动的数字化身在XR中的应用

AI-Driven Digitized Avatar in XR


RAC联合密歇根大学信息学院讲师Ramiro Serrano Vergel,带领学生探索如何将人工智能与增强现实(AR)和虚拟现实(VR)技术相结合,创造智能化的数字化身,并探讨其在各个领域的应用。


此次将通过【线上交流】+【线上技术支持】+【导师集中授课】+【终期评图】的方式,与同学一起共享知识盛宴。


完成此课程后,同学们将获得一个概念方案与导师评价。此外,表现优异者则更有机会获得推荐信,助力申请!


适合人群

交互设计、信息设计、传媒设计、视觉传达、工业设计、系统设计


课程时间

2024年7月(暂定)


授课形式

- 讲座+教授集中授课+RAC导师辅导+终期评图

- 英文授课


*本课题不会在其他任何场景下应用


 参加海外工作坊可以收获什么?

• 名校在职教授亲授+分组研讨,探索前沿理论 

• 深入策略原理,全面提升设计思维逻辑和技能 

• 合理的课程安排,高效完成的项目作品 

• 设计研究作品(可用于申请) 

• Workshop结业证书+导师评价,表现优异有机会获得海外导师推荐信 

• 了解与实践前沿领域科学探索 

• 尝试打破跨学科研究壁垒的能力 


最终课程成果还可以用于不同申请场景:海外院校申请、国内院校保研考研、实习及工作申请、国际竞赛等等。




/ 01

导师介绍

Ramiro Serrano Vergel

密歇根大学信息学院讲师

密歇根大学环境与可持续学院研究员

未来可持续研究中心研究员

教育经历:阿肯色大学博士 计算 信息科学


 论文研究 

1. A comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training.

2. Gamifying decision support systems to promote inclusive and engaged urban resilience planning.

3. Exploring the suitability of using virtual reality and augmented reality for anatomy training.

4. Towards Gamified Decision Support Systems: In-game 3D Representation of Real-word Landscapes from GIS Datasets.

5. vGameReviews: An R package for harnessing video game reviews for scientific research.

6. Comparative Study of Virtual Reality vs Augmented Reality for Training Oriented Applications. 

7. Igrafi-Sistema multi-usuario para interacción colaborativa sobre una imagen proyectada.

8. Steamreviews: An R Package for Harnessing Video Game Reviews for Scientific Research.



Haoting Gao

密歇根大学 信息学院 信息科学硕士


工作经历

XR应用设计导论研究生讲师 | 密歇根大学信息学院

XR研究助理 | 密歇根大学可持续未来研究中心

XR原型设计师和开发工程师 | Manomotion




/ 02

工作坊课题

PART/1

课题介绍


这个课题旨在探索如何将人工智能与增强现实(AR)和虚拟现实(VR)技术相结合,创造智能化的数字化身,并探讨其在各个领域的应用。


首先,我们将介绍人工智能、AR和VR技术的发展现状,并分析数字化身在教育、医疗、娱乐和企业培训等领域的潜在应用。


其次,我们将解释生成式人工智能模型在XR环境中的应用原理,并提供数字化身在教育、医疗和企业培训等领域的实际应用案例。接着,我们将讨论创建智能化数字化身过程中可能遇到的技术挑战,并提出相应的解决方案。


此外,我们还将分析生成式人工智能与XR技术结合在未来的发展趋势,探讨数字化身在未来可能的新应用场景,并总结课题研究的主要发现和结论,提出未来研究和产业发展的建议。


英文

This topic aims to explore how AI can be combined with Augmented Reality (AR) and Virtual Reality (VR) technologies to create intelligent digital bodies and explore their applications in various fields. First, we will introduce the current state of development of AI, AR and VR technologies and analyze the potential applications of digital bodies in fields such as education, healthcare, entertainment and corporate training. Second, we will explain the principles of generative AI models in XR environments and provide examples of real-world applications of the digital body in fields such as education, healthcare, and corporate training. Then, we will discuss the technical challenges that may be encountered in the process of creating an intelligent digital body and propose corresponding solutions. In addition, we will analyze the future development trend of combining generative AI with XR technology, explore possible new application scenarios of digital bodies in the future, and summarize the main findings and conclusions of the research on the topic, and make suggestions for future research and industrial development.


01

课程要求

同学们将分组并选择AR/VR/MR进行项目设计。(详情请参见下文课程安排)


02

课程成果

每组同学都会实际完成一个ARVR应用设计以及开发,从交互的原型设计再到最终的产品开发,从XR原型工具再到Unity的开发。



PART/2

课题背景

生成式人工智能(GenAI)和扩展现实(XR)技术的结合将在未来带来深远的变革:


01

个性化体验

结合GPT和XR技术可以实现更个性化的体验。通过识别用户的偏好、历史数据和行为模式,生成式人工智能可以为用户定制个性化的虚拟体验,而XR技术则可以将这些体验融入到现实世界中,例如个性化的导航、购物体验等。


02

实时翻译与交流

XR设备配备生成式人工智能可以实现更智能的实时翻译和交流。用户可以通过AR眼镜或VR头盔与其他语言使用者进行沟通,生成式人工智能可以实时翻译并显示在用户的视野中,极大地拓展了人们之间的交流范围。


03

增强的教育与培训

结合GPT和XR技术可以提升教育和培训的效果。通过AR和VR技术,学生和培训者可以身临其境地参与到虚拟的学习环境中,而生成式人工智能可以提供智能辅导和个性化学习内容,帮助用户更好地理解和吸收知识。


04

智能辅助和导航

生成式人工智能可以为XR设备提供智能辅助和导航功能。例如,在AR眼镜中,用户可以通过语音或手势与智能助理交互,获取实时的导航指引、周边信息等,极大地提升了用户的体验和效率。


05

个性化医疗和健康监测

结合GPT和XR技术可以实现个性化的医疗和健康监测。通过智能传感器和XR设备,可以实时监测用户的健康数据,并结合生成式人工智能进行分析和预测,为用户提供个性化的健康管理方案和建议。


英文

· The combination of Generative Artificial Intelligence (GenAI) and Extended Reality (XR) technologies will bring about far-reaching changes in the future.

o Personalized Experience: Combining GPT and XR technologies can enable more personalized experiences. By recognizing user preferences, historical data, and behavioral patterns, generative AI can customize personalized virtual experiences for users, while XR technology can integrate these experiences into the real world, such as personalized navigation, shopping experiences, and more.

o Real-time translation and communication: XR devices equipped with generative AI enable smarter real-time translation and communication. Users can communicate with other language speakers through AR glasses or VR headsets, and generative AI can translate and display in real-time in the user's field of view, greatly expanding the scope of communication between people.

o Enhanced education and training: Combining GPT and XR technologies can improve the effectiveness of education and training. With AR and VR technologies, students and trainers can immersively participate in virtual learning environments, while generative AI can provide intelligent tutoring and personalized learning content to help users better understand and absorb knowledge.

o Intelligent assistance and navigation: generative AI can provide intelligent assistance and navigation functions for XR devices. For example, in AR glasses, users can interact with intelligent assistants through voice or gestures to obtain real-time navigation guidance, neighborhood information, etc., which greatly enhances user experience and efficiency.

Personalized medicine and health monitoring: Personalized medicine and health monitoring can be achieved by combining GPT and XR technologies. Through smart sensors and XR devices, user health data can be monitored in real time and combined with generative artificial intelligence for analysis and prediction to provide users with personalized health management solutions and recommendations.



PART/3

课程安排

时间

授课内容

05.24

公开课

XR简介及XR未来发展

Day1

什么是XR?

· XR的设计原则

· XR Problem Statement

· 每组同学和教师讨论并决定设计主题以及设计类型 AR/VR/MR

· 每组同学找相应的国外XR案例进行分析

Day2

AR/VR设计概论

· AR/VR设计概论

· 故事版绘制

· Adobe Aero AR原型设计工作坊

Day3

AR/VR 物理原型

· 每组同学都需要完成物理原型的制作以及草图绘制

· Bezi 工作坊

Day4

AR/VR 数字原型

· 什么是数字原型设计?

· 设计原则

· 每组同学需要跟教师完成数字原型设计,利用Bezi Aero等原型设计软件

Day5

Selection and Manipulation

· 什么是Selection?

· 什么是Manipulation?

· Unity 开发工作坊1 

Day6

Locomotion System

· XR中的移动方式是什么

· Unity开发工作坊2

· 人工智能数字人创建

Day7

System Control

· 人类行为因素

· 系统要素

· 控制器类别

· 手势识别

· 姿势识别

· Unity开发工作坊3

Day8

XR的未来发展

· 传感器融合技术

· 数字人

· 多模态输入

· 可穿戴设备

Day9

终期汇报

· 每组汇报10分钟,教授评价10分钟

· 助理教授评价5分钟

· 教授总结工作坊



PART/4

成果意向




/ 03

工作坊报名

PART/1

答疑公开课报名


为了让同学们更直观地了解此次工作坊,北京时间5月24日 (周五) 晚上20:30,我们对本次工坊进行背景介绍,并进行课前答疑。添加【干货小助手】,备注【密歇根讲座】,即可获取讲座直播链接~


PART/2

工作坊报名

内部学生:由教务和主管老师通知并沟通确认报名

外部学员:可添加下方二维码咨询报名

招生人数有限,报满为止



文中作品及图片归原作者本人所有

未经允许禁止转载