一师一友 

密歇根大学 信息科学

Haoting

RAC交互教研项目导师


学历背景:

密歇根大学 信息科学硕士


工作经验:

XR原型设计师和开发工程师 | 医疗科技

2024年7月 – 现在

应用XR技术开发医疗软件及设备

XR原型设计师和开发工程师 | Manomotion

2024年5月 – 2024年9月 在 斯德哥尔摩,瑞典

使用Manomotion 手势识别SDK进行AR手势原型项目的开发和测试使用Manomotion

XR应用设计导论研究生讲师 | 密歇根大学信息学院

2023年9月 - 在 安娜堡,美国

协助教授运行XR工作坊,教学Bezi,虚幻引擎,Unity,Adobe Aero,Unity Vuforia,Google地理空间API等软件,帮助超过100位学生开发AR/VR项目

XR研究助理 | 密歇根大学可持续未来研究中心

2023年7月 - 现在 安娜堡,美国

NSF2026(美国国家科学基金):EAGER:利用XR游戏化和众包设计高性能的新型景观以应对气候变化

数据研究员 | 群岛保护基金(CPF)

2023年5月 - 2023年7月雅典,希腊

· 徒步收集道路生态,文化,建筑信息,并编制详细的步道描述上传到ArcGIS平台,并绘制徒步地图。

· 利用拍摄的无人机照片,应用Context Capture以及NeRF建模方式实现了现实环境的数字化还原,建成了数十个数神庙和教堂,为VR的3D数据库奠定了基础。


获奖经历:

密歇根大学Rackham研究生研究资助 2000美元

密歇根大学信息学院最高实习资助 5000美元

密歇根大学环境与可持续性学院毕业设计资助 1500美元

现代希腊项目资金 2000美元

密歇根大学研究生讲师全额奖学金 84000美元


擅长领域:

虚拟现实(VR)、增强现实(AR)、人工智能(AI)与交互设计


个人作品:




 擅长的研究方向 

Directional Studies


您擅长哪个领域的设计,有哪些成果,可以介绍下自己满意作品吗?


我的研究方向是人工智能和扩展现实的技术结合。


我的研究重点是利用生成式人工智能(AI)和沉浸式技术(AR/VR)来增强人机交互,并增强虚拟或增强环境中的社交互动。


具体来说,我正在探索将人工智能驱动的化身整合到历史遗迹的沉浸式数字复制品中,例如希腊纳克索斯岛上的德墨忒尔神庙。我的研究旨在通过创造身临其境的教育体验、计算和社会身份来推进人机交互(HCI),同时为文化遗产保护、交互式数字学习和数字孪生等更广泛的领域做出贡献。


研究项性项目分享:

在沉浸式虚拟现实环境中使用人工智能驱动的化身进行教育:工作流程和研究


生成式人工智能(AI)和虚拟现实(VR)技术正在改变教育,并为人们如何与环境互动提供了新的机遇。


其中一个很有前景的方法是将人工智能驱动的化身融入虚拟现实场景中,让用户使用自然语言进行沉浸式学习体验。这项研究通过摄影测量创建了点云数字三维模型,并将这些模型集成到虚幻引擎 5 中。然后将生成式人工智能化身集成到环境中,实现了用户与人工智能导师之间的自然语言交互。


这种整合促进了互动参与,并实现了物理环境的高精度数字再现。该项目提供了有益的虚拟学习体验,同时又避免了派遣学生进行实地考察的经济和环境成本。



该研究成果已发表在期刊 Journal of DLA 2024



自己的/欣赏认同的设计理念是?


我的设计理念是“以人为本,科技赋能”。我认为设计应该始终关注用户的需求和体验,以用户为中心进行设计。同时,利用最先进的科技手段,如人工智能、虚拟现实等,提升设计的创新性和实用性。


例如,在我参与的希腊纳克索斯岛的项目中,我不仅关注如何通过虚拟现实技术还原真实环境,还考虑到用户如何通过自然语言与AI导游互动,从而获得沉浸式的教育体验。



怎么看待设计师的社会责任感以及介入社会生活的角色和方式?


作为设计师,我认为我们有责任使用我们的技能和知识来为社会带来积极的变化。设计不仅仅是创造美学上的作品,更重要的是解决现实世界中的问题,提升人们的生活质量。



您认为设计师未来的角色是什么?


未来,设计师的角色将更加多样化和跨学科化。他们不仅需要具备传统的设计能力,还需要懂得如何利用新技术解决复杂问题。设计师将成为创新的驱动者,通过跨学科的合作,推动技术和艺术的融合,创造出更多有价值的产品和服务。


此外,随着社会对可持续发展和社会公平的关注增加,设计师还将成为社会变革的重要推动力量,利用设计的力量促进环境保护和社会进步。




 密歇根大学的学习经历 

Learning Design


可以跟同学们说说老师的留学生活吗?在密歇根大学有什么难忘的经历?


在密歇根大学的留学生活充满了挑战和机遇。作为国际学生,刚开始时语言和文化的差异让我感到不安,但在教授和同学的支持下,我逐渐适应了新的环境。密歇根大学的开放和包容的氛围让我有机会探索不同的学科,并最终找到自己真正的兴趣所在。


在这里,我接触到了最前沿的技术和理论,特别是在信息科学和XR技术方面,我学到了很多实用的技能和知识。最难忘的一门课程是《XR应用设计导论》,这门课不仅让我掌握了虚拟现实和增强现实的基础知识,还通过实际项目的开发,使我真正理解了如何将这些技术应用于实际问题的解决中。这段留学经历极大地拓展了我的视野,让我学会了从不同角度思考问题,并不断挑战自我,追求卓越。



一路走来,有哪些对自己重要的导师/设计师,发生了怎样的故事给予了大的启发?


虽然我最后做的事情和生态关联性不大,但是却是一位生态学的教授改变了我的研究生学习生活。刚来到美国学习时还处在戴口罩的时期,大家都戴着口罩。久而久之,我也变得不爱交流和说话,再加上作为国际学生,我的口语并不好,也变得非常不愿意和其他学生交流。


而我的生态学教授,发现了这个问题。他看到了我在说话时的不自信,他对我常说的话是say again,意思是让我把说过的话再说一遍,重复一遍。并且他要求我取下口罩对他说话,这样他才能看到我在说什么。我刚开始非常不习惯,但正是因为教授的耐心以及对我的包容,让我逐渐有了勇气进行交流。


后来,我进入了全英文的研究小组,也找到了国外的实习工作,也成功的在密歇根大学当上了研究生讲师。放在以前,我无法想象我能站在讲台上给同学们讲课,但正是因为这位教授的开导和鼓励,让我知道只要努力,一点点的去改变,总会有收获和结果。不管我们以前是什么样子,只要努力,我们都可以成为我们想象中的样子。



对于申请,您有什么看法?可以给现在的同学们一些建议吗?


申请时,同学们应该多关注自己感兴趣的研究方向,并找到相对应的教师。我认为学校排名以及专业排名并不重要,更应该找到自己感兴趣的研究方向,志同道合的研究生同学,以及愿意帮助你和支持你的教授。




 从风景园林到XR研发 

Extended Reality


老师是如何走上XR研发工程师之路的,有哪些契机?


本科阶段我学习风景园林,在该学科里我学习到了许多传统的园林历史,空间设计手法,处理人与环境的问题。同时我对新兴科技十分感兴趣,我关注人工智能,虚拟扩展现实等新技术的发展。


而我对XR得研究与开发产生兴趣,来源于我暑假的一次研究,在那个暑假,我跟随导师前往希腊进行生态数据的收集,在收集的过程中,我将数据做了无人机扫描和3D重建与还原,并将场景做成了VR形式,让更多的人能够数字访问希腊的岛屿。


同时我也将具身人工智能代理集成到我的VR场景中,提供了AI数字导游,方便旅客了解当地的文化与生态。在研究的过程中,我对人工智能与XR的技术结合产生了兴趣,于是我开始了自学XR研发。


幸运的是,我的另外一位导师看到了我的努力,将我招聘为密歇根大学的研究生讲师,与他一起教学XR的设计与开发导论。在这样的教与学的过程中,让我逐渐掌握了XR的基本开发工具,并在业界找到了实习和工作,能够让我顺利的进入该行业。



为何选择留学?又为何最终选择在吗密歇根大学进行深造?在密歇根大学读书是怎样的体验?


我选择留学的原因是我大二在台湾辅仁大学交换的一次经历,教我的老师们,都拥有美国留学的经历,并且我非常喜欢他们授课的理念。他们更加注重对设计思维的塑造与培养。于是留学的念头在我心中萌芽,在大三时我开始了留学准备。因为在申请时,我并不知道我能够在未来从事什么样的工作,我认为我会做景观设计师一辈子。再加上我特别喜欢景观设计这个学科,于是我着手开始制作作品集,申请美国的景观设计研究生。


可我的申请结果并不理想,我没能申请到美国一流的风景园林大学,而是去到了密歇根大学,这让我对自己是否能成为一名景观设计师产生了怀疑。密歇根大学是一所非常包容的大学,它允许学生选择自己喜欢的专业,并且有着非常好的双学位制度。学生可以放弃原来的学位,选择自己更喜欢或者更擅长的学科进行攻读,也可以选择保留原学位,同时攻读两个研究生学位。


SEAS 环境学院

UMSI 信息学院


正是因为密歇根大学包容的双学位政策和选课制度,让我能够在不同的学科里,寻找自己真正感兴趣的内容,也从景观设计的小圈子走出来看见更广阔的世界。在完成一学年的选课探索后,我毫不犹豫的选择了密歇根大学信息学院学习信息科学,并以用户为中心的敏捷开发作为我的专业方向,以人工智能与XR交互设计与开发作为研究方向进行学习。


三年充实的研究生学习,让我收获了风景园林与信息科学的双学位硕士。虽然最终我没能成为一名景观设计师,而是成为一名XR研发工程师,但是景观设计一直是我的兴趣和爱好,我非常感谢密歇根大学能够让我把专业变成兴趣,同时让我带着更前沿的眼光去探索新事物,去发挥自己更多的价值。



结合学习/获奖/工作经历自己的设计思维在各个阶段的学习中是如何成型的?


在本科阶段,我学习了风景园林,学习了许多传统的园林历史和空间设计手法,这奠定了我对设计的基本认识,并让我开始思考人与环境的关系。


随着对新兴科技的兴趣增加,我开始关注人工智能和虚拟现实等技术的发展。研究生期间,我在密歇根大学选择了信息科学,专注于用户为中心的敏捷开发和人工智能与XR交互设计。


这段时间里,我通过不同的项目和实习机会,不断实践和提升自己的技能。例如,在群岛保护基金的项目中,我利用无人机和3D建模技术,实现了现实环境的数字化还原,这不仅提升了我的技术能力,也深化了我对数字化和虚拟现实的理解。


此外,在教学和实习的过程中,我不断将所学知识应用于实际项目,帮助学生开发AR/VR项目,使我的设计思维在不断的实践和反思中逐渐成型。




 师者,传道受业解惑 

Become a teacher


为什么会选择老师这份工作?


选择老师这份工作是因为我热爱分享知识和帮助他人。我在自己的学习和工作过程中,受到了很多老师和导师的帮助,他们的指导和鼓励对我的成长起到了至关重要的作用。我希望能将这份帮助传递下去,通过教学来激发学生的兴趣,培养他们的能力,并帮助他们实现自己的目标。


教学不仅让我有机会与学生一起探索和学习最新的技术和理论,还让我在与学生的互动中不断反思和提升自己的知识和技能。看到学生们通过我的教学取得进步和成功,是一件非常有成就感的事情。



从设计“师”到老“师”,视角的转变带给自己那些观念的变化?


在我教学一年里,我认为自己更像是一个非常努力的学生,我需要掌握全面的知识,才能帮助到其他同学,这也促使着我不断地去学习和探索。这个过程让我认识到,教学不仅仅是传授知识,更是与学生一起成长和进步的过程。


作为设计师,我关注的是如何创造和解决问题;而作为老师,我关注的是如何启发和引导学生去发现和解决问题。这种视角的转变让我更加注重学生的思维发展和创造力培养,同时也让我自己在教学中获得了新的灵感和知识,不断提升自己的专业水平。



您的教学风格和擅长领域?


我的教学风格注重互动和实践,强调理论与实际操作相结合。我喜欢通过实际项目和案例分析来讲解复杂的概念,让学生在实践中学习和掌握知识。我鼓励学生积极参与讨论,提出问题,并通过团队合作解决问题。


我的擅长领域包括虚拟现实(VR)、增强现实(AR)、人工智能(AI)与交互设计。我尤其擅长将这些前沿技术应用于实际项目中,并指导学生如何在开发过程中有效地使用这些技术。




 生活&爱好 

Life and Hobbies


我喜欢在空闲时间里进行户外活动,如徒步旅行和骑行,这不仅让我保持健康,还让我有机会接触大自然,放松身心。此外,我也喜欢阅读和写作,通过阅读专业书籍和文章来提升自己的知识和技能,同时通过写作来整理和表达自己的想法。


闲暇一日tips,平时会选择怎样的方式放松或者提升自己?


平时我会选择进行冥想和瑜伽来放松自己,这有助于缓解压力并提升专注力。此外,我也会参加一些在线课程和研讨会,学习最新的技术和设计理念,以不断提升自己的专业能力。



最近在做什么?下一个阶段的人生规划是?


最近我在密歇根大学担任研究助理,将城市公共健康元素和游戏融合,开发公共健康游戏,让K12群体在游戏中学习城市中的公共健康元素。同时在Manomotion公司进行XR开发实习,并兼职担任讲师。下一个阶段,我计划成为一家医疗科技公司的开发工程师,专注于利用XR技术推动医疗领域的创新和发展。

使用Spatial和Unity进行游戏开发

使用Manomotion SDK开发原型



最近读的书是什么?


最近在读的是《Designing Virtual Worlds》 by Richard Bartle,这本书深入探讨了虚拟世界的设计原则和实践方法,对我在XR领域的研究和开发有很大的启发。



喜欢的设计师或艺术家是谁?


我最喜欢的设计师是路易斯·康(Louis Kahn),他对空间和光线的运用非常独特,他的作品不仅美观实用,还富有深刻的哲学内涵。我最喜欢的设计师是路易斯·康(Louis Kahn),他对空间和光线的运用非常独特,他的作品不仅美观实用,还富有深刻的哲学内涵。





End

本期专访到这里就结束啦!


如果你对Haoting老师的设计方向很感兴趣,希望可以和Haoting老师一起成长进步,可以扫描下方二维码添加我们【小助手】预约1v1免费试听课哦~




图文来源:Haoting

文中作品及图片归原作者本人所有

未经允许禁止转载