加快建设人工智能大模型中文训练数据语料库
[5]以数据类型为例,相较于其前身PaLM的纯英文文本训练数据集,由谷歌开发的PaLM-2模型使用的语料库中包括数百种人类和编程语言、数学方程、科学论文等多类型数据,并因此使得PaLM-2模型在高级推理、翻译、代码生成等方面的表现优于PaLM。训练数据规模和类型的丰富,不断驱动大模型能力从特定任务模型继续扩展,显现出通用...
人工智能的负效应:没有大语言模型的语种未来会消亡
这些高资源语言有着丰富的语言资源,例如广泛的文本、用于机器翻译的平行语料库、综合词汇词典、句法注释和用于监督学习的标记语料库。也有一些高资源语言,如荷兰语,可能没有大量的使用者,但有着强大的语言研究学者和成果,产出了重要的语言语料库和工具,于是也成了高资源语言。相反,某些低资源语言,例如尼日利亚皮钦语...
宋丽珏|数字法学的语言数据基础、方法及其应用——以法律语料库...
法律语料库语言学(LawandCorpusLinguistics)是隶属于法学和语言学下的一个崭新的交叉学科方向,其主要研究方法是基于大型数据库及多种语料库分析工具,以法律文本(如法律、法规、合同)为依托,结合法律解释学及语料库语言学相关理论,进行文义分析。具言之,法律语料库语言学是利用大规模文本集合,通过观察检索行(concordan...
关于人工智能,你不得不知道的十个真相 | 皇牌大放送
比如,在芬兰语中,代词男他和女她都是用“h??n”表示,但机器在翻译修理汽车化油器的主语时,会自动翻译为男他,在翻译为婴儿换尿布的主语时,会自动翻译为女她。翻译器自动生成可能性最高的结果,并不会参考任何个人经历。谷歌工程师弗朗索瓦??肖莱说:“例如欧洲议会语料库,这些文本并不能代表你我之间的那种交流。
图灵奖得主专访:我不想把大模型未来押注在Scaling Law上
就在论文发表的一年后,谷歌在2016年将这项技术应用于谷歌翻译中,它的性能突飞猛进,表现非常出色,这种大规模应用是学术界无法做到的,我们也看到了规模效应的影响。谷歌翻译在2016年取得的进步,得益于注意力机制带来的革命性改进。到了2017年,Transformer正式提出,其基本架构是多层注意力机制的层层叠加,这项技术催生了...
语音AI 之路:约翰霍普金斯大学 CLSP 群英谱|徐鹏|谷歌|李志飞|...
而和谷歌大脑的合作,让徐鹏意识到继续进行统计方法研究的局限,在Och主导的翻译团队进行深度学习探索的自由度也受到了一定的限制(www.e993.com)2024年9月11日。虽然徐鹏已经是组里的manager,主管工程和部分研究,但是他还是提出了转组,想去机器翻译之外的地方尝试。再三思索,徐鹏没有去Ilya的谷歌大脑——因为Ilya对深度学习执念很深,意图...
谷歌为1000+「长尾」语言创建机器翻译系统,已支持部分小众语言
对于致力于为当前研究不足的语言构建机器翻译系统的从业者,研究者希望这项工作可以为他们提供有用的洞见。此外,研究者还希望这项工作可以引领人们聚焦那些弥补数据稀疏设置下大规模多语言模型弱点的研究方向。在5月12日的I/O大会上,谷歌宣布自家的翻译系统新增了24种新的语言,其中包括一些小众的美洲原住...
大数据应用成功范例:包容繁杂的谷歌翻译系统,虽不完美但要最好
谷歌的翻译之所以更好,并不是因为它拥有一个更好的算法机制,是因为谷歌翻译增加了很多各种各样的数据。从谷歌的例子来看,它之所以能比IBM的Candide系统多利用成千上万的数据,是因为它接受了有错误的数据。2006年,谷歌发布的上万亿的语料库,就是来自于互联网的一些废弃内容。这就是“训练集”,可以正确地推算出英语...
谷歌开源GNMT:使用TensorFlow构建自己的神经机器翻译系统
近日,谷歌官方在Github开放了一份神经机器翻译教程,该教程从基本概念实现开始,首先搭建了一个简单的NMT模型,随后更进一步引进注意力机制和多层LSTM加强系统的性能,最后谷歌根据GNMT提供了更进一步改进的技巧和细节,这些技巧能令该NMT系统达到极其高的精度。机器之心对该教程进行简要的描述,跟详细和精确的内容请...
谷歌翻译将升级:实时听译并转文字
给“语料库”加入更多数据对某些语言来说非常重要,而对机器学习算法的优化也是如此。谷歌翻译最初的语料库数据来自人工翻译。谷歌近期开始支持哈萨克语,而一名政府官员近期在电视机上呼吁人们给予帮助。休斯表示:“人们有着非常强烈的呼声,要求我们将他们的语言纳入到服务中。”...