专访纽约城市大学田英利教授:用多通道、多模态的方法「看懂」手语
基于视觉的手语识别通常包括三个步骤:首先,通过摄像头或传感器捕捉手语动作,建立训练数据集;其次,利用计算机视觉技术分析和识别手语动作;最后,通过机器学习算法将识别结果转化为文字或语音输出。然而,第一步中的遮挡、投影和光线变化等因素,使得基于视觉的方法难以精确捕捉手指动作。直到近年来,成本效益高的RGBD相机...
专访上海大学方昱春教授:数据驱动的手语识别研究,如何破解数据之...
方昱春:简单来说,计算机视觉和手语的结合,形成了“手语识别”这一研究方向。手语识别研究是数据驱动的,而手语数据的获取和标注相对复杂。之所以我涉足这一领域,是因为倪兰老师参与了国家和上海的科研活动,希望将人工智能技术应用于手语研究,这促使我开始着手语数据的采集和研究规划。在搭建手语识别系统时,还有另一...
从实验室到现实,AI+手语识别,路向何方?|GAIR live
田英利教授,作为计算机视觉领域的权威专家,这十年来专注于将手语识别技术应用于改善听障人群的沟通。疫情期间,她团队的手语识别系统的远程测试引发了一个关键猜想:手语识别系统的有效性可能更依赖于上下文语义理解,而非细致的多层标注,这一发现为实际应用开辟了新的可能性。倪兰教授,拥有丰富的语言学背景,二十年来专注...
专访上海大学倪兰教授:语言学与手语识别技术的融合突破,解锁交流...
这样的合作将有助于提高手语研究的效率,为计算机视觉技术在手语识别领域的应用提供充足的数据支持。近期在与雷峰网-AI科技评论的对话中,倪兰教授从语言学视角梳理了手语研究中的关键问题,也讲述了如何与计算机视觉专家开展手语识别系统的合作开发。以下为对话(经编辑):1手语语言学研究一度无人涉足AI科技评论:...
艾科瑞特科技:计算机视觉-通用领域2D手势动作识别
机器人控制:通过识别手势动作,用户可以远程操控机器人执行特定任务。多媒体播放控制:在视频播放、音乐播放等场景中,用户可以通过手势动作进行播放、暂停、调节音量等操作。教育演示:在教育领域,教师可以使用手势动作来辅助讲解,使演示更加生动直观。手语识别与翻译:对于聋哑人士,手势动作识别技术可以用于手语的识别和翻...
手语数字人让听障人士“看见”声音
“我们建立了基于视觉-语言大模型的视频手语问答原型系统,能够实现视频手语识别、自然语音问答、视频手语合成等(www.e993.com)2024年9月18日。”周文罡介绍说,通过形成手语识别—自然语音问答—手语合成闭环系统,让听障人士真正实现无障碍交流。“虽然技术在手,但是需要进行场景的应用,我们也一直在考虑能够应用在哪些关键领域,是否可以先找一个垂直应用...
星巴克华中首家手语门店亮相武汉
星巴克武汉手语门店由3名听障店员和3名健听店员组成。门店采用特殊的点单系统,帮助听障店员与顾客顺畅交流。在点单台,语音识别系统会即时转化顾客声音为文字展示在电子屏上,双面点单屏向顾客展示订单详情及客制化细节,手写板和编号菜单提供更多点单选择方式。同时,点单台下沉式糖果盒设计减少视觉阻隔,出餐吧台上方屏...
vivo推出国内手机行业首款多模态大模型视觉辅助产品
该产品是手机行业首款多模态大模型视觉辅助产品,支持通过多轮对话的方式,为视障用户提供深度详尽的信息问答。此前,vivo已发布了“vivo听说”“无障碍通话”“声音识别”“手语翻译官”等多款无障碍产品。
【新闻随笔】手语传经典为何如此重要
手语是听障人士之间、聋听之间交流使用的视觉语言,和有声语言一样,可以表达深刻的思想、丰富的情感。手语和有声语言一样,也同样具有艺术的表达形式,手语诗歌就是其中之一。手语诗歌同样讲究韵律和谐、语言优美、富有节奏。手语的押韵可以用同一种手形、同一个位置或同一种运动来表现,具有对称性和平衡性。与有声语言...
手语数字人是如何实现将文字“翻译”为手语的?
手语数字人是一种基于人工智能技术的虚拟人物,能够将文字转化为手语,以方便听力障碍人士观看。手语数字人的实现过程涉及到多种技术,包括自然语言处理、计算机视觉、深度学习等。首先,手语数字人需要通过对大量文字和手语数据进行学习和训练,以掌握手语表达的各种技巧和语法规则。在接收到文字输入时,手语数字人会通过...