大连工业大学团队研发沉浸互动体验系统 用AI、AR技术让文物“活起来”
转自：大连日报
“欢迎来到沉浸式元宇宙空间，说出传送门上的口令即可进入传送门。”戴上眼镜，链接一个手机大小的终端，就可以进入一个元宇宙空间。红山C形玉龙浮现在眼前，讲解声在耳边响起，走两步，可以像在博物馆一样360度观赏C形玉龙的细节，低头，C形玉龙的考古现场就在脚下……这是大连工业大学教授单鹏带领研究生团队打造的创新型AI数字文旅产品。以人工智能（AI）赋能增强现实（AR）技术，该团队研发的创新型产品AI多模态+AR穿戴式沉浸互动体验系统，在文博行业同类产品中已达到国际领先水平。
航空之光、星幻红山、引擎画卷、宇宙加特林、艺术空间……日前，记者戴上AR眼镜，亲身体验了一下这个产品的奇妙。“星幻红山”主题场景中，“参观者”可以通过手势或者语音询问，触发系统智能地呈现出与之相关的历史场景、人物故事或文物细节，通过多模态信息的协同处理，让观众仿佛穿越时空，深度沉浸于历史文化的长河之中。“航空之光”模块，握拳后张开手掌，飞机模型就会在掌心处显现，每次握拳都能展示不同飞机模型。“引擎画卷”模块，手指凌空触碰面板上“一键拆解”，飞机引擎发动机拆解爆炸图立刻展现在眼前。“宇宙加特林”模块娱乐性非常强，以手臂为“枪”，手掌一收一放，瞄准前方目标，“加特林”烟花就在空中绽放……高清画质、立体展示、寓教于乐、交互效果好，一番沉浸式体验下来，确实让人惊艳不已。
单鹏一直从事数字文旅、工业、教育、科普等领域的AI多模态+AR、XR研发。2023年，他主持的“元宇宙赋能辽宁红山文化数字博物馆系统”研发项目获得省教育厅基本科研面上项目，相关成果一直在升级。单鹏介绍，当前这个互动体验系统的AI多模态技术融合了计算机视觉、语音识别、大空间识别、检索增强生成（RAG）等前沿技术，能够精准捕捉用户的手势动作、语音指令、空间信息，并实时反馈生成高度个性化的互动体验。除了文博行业，这个系统还可以应用在企业产品设计、智能工业产品展示、教育研学等众多领域。借助先进的AI算法与元宇宙构建技术，企业能够创建高度逼真且极具交互性的虚拟工作空间与产品展示平台，相关工业制造企业可利用该成果构建企业元宇宙产品中心，用户在虚拟环境中通过与AI智能导师互动，完成复杂机械产品的装配培训，可以极大地提高展示效率与体验效果。
据了解，单鹏团队的这一成果在行业应用方面已取得显著进展，达到国际领先水平。已有多家单位围绕AI多模态+元宇宙数字沉浸式互动体验系统设计、企业级AI元宇宙数字沉浸式应用产品设计等细分领域，与大连工业大学成功签署框架协议。11月29日举行的2024中国国际数字和软件服务交易会上，单鹏团队打造的“红山文化”沉浸式互动体验创作项目精彩亮相，卓越的创新设计与技术应用引发了参会者的广泛关注。单鹏说：“现场50余家企业纷纷表达了强烈的合作意向，希望能够进一步探讨校企合作模式以及成果转化的可行性。这不仅体现了这个项目在技术和应用层面的先进性，也体现出数字媒体艺术专业人才培养与市场需求之间的紧密对接，反映出高校产学研创新成果的市场需求度。”
（大连新闻传媒集团记者谢小芳）