专访上海大学方昱春教授:数据驱动的手语识别研究,如何破解数据之...

方昱春：计算机视觉的手语识别研究经历了20年左右的发展，随着深度学习技术的发展，基于机器学习和计算机视觉的手语识别才开始蓬勃发展，近两年里手语识别研究的规模迅速增长。我是在2005年加入上海大学，在2017年才开始规划手语研究，2018年开始正式投入到手语研究中。2017年，我协助倪兰老师筹备数据建设，这年对上海大学手...

从实验室到现实,AI+手语识别,路向何方?丨GAIR live

方昱春:作为计算机视觉专业的学者,我踏入手语识别这一研究领域,最初是受到手语语言学的启发,激发了我的研究热情。国内,中国科学技术大学手语识别团队在手语识别领域取得了显著成就。国际上,德国亚琛工业大学的研究团队同样在这一领域享有盛誉。这两个团队凭借超过十年的研究积累,发布了多代数据集,推动了孤立词识别、连续...

讲座预约 | 四位专家大论道 :AI+手语识别,技术革新与应用前景|...

研究了面向手语理解的多源视觉信息协同学习理论和技术,从数据集构建、手语孤立词识别、连续手语识别和手语视频生成四个方面探索自动手语理解的技术与应用。2讲座信息主题:AI+手语识别,技术革新与应用前景参考资料:1,《Multi-ModalMulti-ChannelAmericanSignLanguageRecognition》httpsgairdao/doi/10....

专访纽约城市大学田英利教授:用多通道、多模态的方法「看懂」手语

自20世纪80年代以来，学者们就开始探索手势识别，而手语识别的研究则稍晚起步，1988年，日本学者Tamura和Kawasaki首次尝试识别日语手语。随着多功能感知、智能人机接口和虚拟现实技术的发展，手语识别研究逐渐受到国际关注。目前，手语识别系统主要分为基于传感设备（如数据手套和位置跟踪器）和基于视觉的系统。相比而言，虽然...

vivo发布多项无障碍创新成果 vivo听说、vivo看见受听障视障用户好评

“vivo听说”支持离线模式,保证在高铁、飞机等离线场景下均可正常使用。对于有手语识别或手语学习需求的用户,用户通过vivo手语翻译官可跟练学习手语,掌握多种日常词汇。本次OriginOS原系统5更新后,在视觉关怀层面,为用户提供语音反馈功能的“TalkBack屏幕阅读”在系统适配表现上更加优秀;而“vivo看见”支持基于手机实时...

大模型助残:让聋人“听见”与被“听见”|聚焦全国助残日

结合知识引导和数据驱动，机器博弈团队提出了融合手形先验模型和时空自注意力机制的视频手语识别方法，建立了视频手语理解领域的首个手语大模型SignBERT，并结合基于指令精调的大语言模型，研发了一套面向市政公共政策问询的聋人视频手语问答系统(www.e993.com)2024年11月9日。该系统分为三个关键模块：手语识别子系统，将聋人的手语视频翻译为文本句子，...

AI进入无障碍时代:手语识别翻译的应用,究竟意味着什么?

于是很多科技和团队给出的解决方案是加以外设,例如中科大和微软推出了基于Kinect的手语翻译系统,加州大学曾经推出过的手语识别手套等等就是这样。可这些外设要么便携程度低,要么造价昂贵,推广起来有很大的困难。同时,手语表达同样也有国别性和地域性,在模型通用性上存在着困难。

搜狗发布手语AI合成主播 可达90%以上识别

凤凰网科技讯5月17日消息,在“2021搜狐科技5G&AI峰会”上,搜狗公司CEO王小川发布了手语AI合成主播产品,可以进行独立工作,且不需要语音提取,通过嘴形变化达到60%以上识别;将语音与口型相结合,在语音嘈杂的环境中用视觉也可以达到90%以上的识别能力。王小川表示,“这不止是处理文字、语音或者简单图像的合成,而是在语...

今日Paper | 社交媒体谣言检测;连续手语识别;细粒度服装相似性...

基于双向图卷积神经网络的社交媒体上谣言检测用于连续手语识别的时空多线索网络基于属性特定嵌入网络的细粒度服装相似性学习混合图神经网络在人群计数中的应用使用卫星图像中的目标检测生成可解释的贫困地图基于双向图卷积神经网络的社交媒体上谣言检测论文名称:RumorDetection>作者:BianTian/XiaoXi/XuTingya...

大学生设计手语识别臂环 让失语者也能“发声”

大学生设计手语识别臂环让失语者也能“发声”2017年12月25日讯,日前,由北京市科学技术协会等单位联合主办的“第六届大学生科技创新作品与专利成果展示推介会”在中国农业大学落下帷幕。推介会上,来自49所高校的770项大学生优秀创新作品亮相。北京航空航天大学的团队带来一个手语识别臂环系统,据介绍,这个项目是...