现场演示:大模型可用语料的数据清洗过程 | 数新风

2023-06-26 22:20:58 - 第一财经

数据作为AI的营养来源,其获取的便利性和质量直接决定了AI大模型的性能。尽管AI大模型对大量高质量数据的需求迫切,但数据采集、整理和清洗的过程复杂且耗时。上海交通大学约翰霍普克罗夫特计算机科学中心博导林洲汉现场演示如何把一个普通的文本,进行一些处理之后,成为可以提供给大模型进行训练的语料。

今日热搜