汉字输入技术的历史和演变
2024年8月29日 - 网易
林语堂发表的第一篇文章描述了一种根据笔画数对汉字进行排序的系统,发明了第一台具备打字机键盘的中文打字机,首次将“搜索”与“书写”结合起来,通过将打字过程转化为搜索过程,从根本上改变了机械书写的运作方式。(来源:MITTR)技术似乎常常需要新的方式来与人接触,中文打字机也不例外。当我第一次在瑞士的私人...
详情
保存汉字的百年努力,能让它留在AI时代吗?
2024年1月14日 - 虎嗅网
他们的理想振奋人心:统一码能起到总转换器的作用,涵盖各种语言所有现存的国家编码标准。它将把包括西方文字和汉字在内的所有人类文字系统归总到一套标准之下,给每个字分配一个标准码,可在任何机器之间流通。但石静远评论道,他们“没有意识到语言文字的技术从来都是政治问题”。他们要统一亚洲的文字代码,殊不知牵涉的...
详情
汉字光标准化和数字化就花了一百多年,它能在 AI 时代存续吗
2024年1月14日 - 网易
他们的理想振奋人心:统一码能起到总转换器的作用,涵盖各种语言所有现存的国家编码标准。它将把包括西方文字和汉字在内的所有人类文字系统归总到一套标准之下,给每个字分配一个标准码,可在任何机器之间流通。但石静远评论道,他们“没有意识到语言文字的技术从来都是政治问题”。他们要统一亚洲的文字代码,殊不知牵涉...
详情
我们试着让5个国内AI大模型教会大家Token的秘密,看看你能学会吗
2023年9月11日 - 凤凰网
2.英文在计算机语言处理领域占据主导地位,有很多针对英语的预训练语言模型,如OpenAI的GPT系列模型。这些模型已经针对英语进行了大量的训练,因此在处理英语文本时,能够更有效地利用计算资源,降低处理成本。3.英文的语法和语义结构相对较为规则,这也有助于LLM在处理英语文本时的效率和准确性。Token的设置可能会对推...
详情