基于数据挖掘技术构建辅助档案开放鉴定模型

实验表明,文书档案全文可以匹配的开放词或敏感词数量较大,对预测产生明显噪声,把匹配范围限定在题名后预测准确率有明显提升。课题组运用中文分词技术创建了档案开放词库和敏感词库,研究确立了新词入库规则,截至课题验收,共形成了24473个开放词、93063个敏感词。3.敏感全宗特征全宗内文书档案整体敏感程度。因档案形成的...

亚信安全2023年年度董事会经营评述

多样化的数据提取方式,对数据库中的元数据、数据库中储存的表之间隐藏的关系、表存储的数据内容进行分析;通过基于元数据字段注释维度的相似度建模进而帮助客户快速的梳理、认识数据;利用中文分词、停用词过滤等数据清洗技术对提取到的数据内容进行数据清洗;通过特征工程提取出该类学习...

这些年背过的面试题——ES篇

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。IK分词器3.0的特性如下:采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。采用了多子处理器分析模式,支持:英文字...

结合地名知识和位置信息的中文地名匹配方法

第①类地名数据是相似程度最高的地名数据,可以直接进行匹配;第②类地名数据在名称上具备关联性,可能包含了同一实体分布在不同地理位置的组成部分(如同一所大学的不同校区),可以根据实体名称对地名数据进行关联;第③类地名数据在空间上具备关联性,可能包含同一实体不同名称的表述或同一实体不同组成部分(如在POI数据中,...

自然语言处理(NLP)的基础难点:分词算法

最大匹配分词算法最大匹配分词寻找最优组合的方式是将匹配到的最长词组合在一起,主要的思路是先将词典构造成一棵Trie树(也称为字典树),Trie树由词的公共前缀构成节点,降低了存储空间的同时可以提升查找效率。最大匹配分词将句子与Trie树进行匹配,在匹配到根结点时由下一个字重新开始进行查找。比如正向(从左至...

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的...

Chinchilla扩展法则:GoogleDeepMind团队提出了另一种替代的扩展法则形式,用于指导大语言模型的最优训练计算量(www.e993.com)2024年11月16日。通过变化更大范围的模型规模和数据量进行严格的实验,并拟合出一个类似的扩展法则,但具有不同的系数:在该法则中E、A、B、α和β为经验确定的系数。研究人员进一步在训练计算量约束C≈6ND的条件下,通...

我们试着让5个国内AI大模型教会大家Token的秘密,看看你能学会吗

8.人学习语言时既懂字母,又懂单词,为什么不让大模型也这么学习呢?9.牛津大学的研究发现,不同语言使用大模型推理的成本不同,这跟token有关吗?10.为什么英文token在大模型中的推理成本低,其他语言的成本都比它高?11.使用英文token训练,之后再翻译成中文以服务中文用户,与直接用中文token训练并服务中文用...

中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 ACL 2019

自2003年第一个国际中文分词库出现以来,中文分词取得了很多进展。在早期,大多时候,分词都基于一个预定义的词典进行。在这一时期,一个最为简单且具有健壮性的模型即最大匹配模型,该模型最简单的版本即从左至右的最大匹配模型(maxmatch)。这一时期,新模型的提出主要来源于出现新的分词标准。

电信运营商网络投诉工单智能语义稽核应用

通信世界网消息(CWW)现行的运营商网络投诉工单自动稽核方式是以关键字匹配为主要手段,缺乏智能性和灵活性,规则非严即松,造成回单部门无法充分、到位地表述投诉原因定位、投诉处理措施以及客户满意度回访等内容。而如果完全摒弃这种自动稽核方式,仅靠人工方式质检又会给人力成本带来较大压力。

中金: 如何从策略分析观点中捕捉左侧机会

1)首先,分词得到标题词汇集合。我们借助Python的中文分词组件来进行分词操作,得到策略研报标题的词汇集合。2)其次,提炼能够反映观点方向的核心词汇。我们按照词性将核心词汇分成名词、动词、形容词、副词4类。在每类词汇中,通过主观判断的方式,选择与表达市场观点具有一定相关性的词语。