GPT-2仅是“反刍”知识,真正理解语言还要改弦更张

类似地,人们可能会想到某些类别的词(“词性”),例如先天的名词和动词;Transformer网络(至少目前使用它们的方式)没有做出这样的承诺。名词和动词仅被近似地表示在乔姆斯基理论的许多表述中,先天性原则支配着句子的可能转换,这允许元素在句子的形成过程中从一个位置“移动”到另一个位置;乔姆斯基认为,这也是与生俱来的。