大模型对统计学发展的影响
转自：上观新闻
本期推送“大模型对统计学发展的影响”。在统计学与计量经济学研究中，模型可根据参数的多少粗略分为小模型和大模型。我们主要介绍以人工智能技术为基础的现代大模型的发展背景和思路，预测大模型对统计学发展的影响。在处理大数据时，模型复杂度的提高使得统计学家可以捕捉更多的数据特征，从而提高预测的准确性和模型泛化能力。大模型的这种能力，使得统计工作者在处理复杂社会经济系统时，能够对数据进行更加深入的理解和分析。
在计量经济学与统计学中，“大”模型并不少见。这里所说的“大”模型仅仅是指模型所包含的未知参数维数比常用的DID模型等参数维数大很多的情形。
例如，多元GARCH模型就是一个“大”模型，其估计由于维数灾难等原因是一个长期没有解决的计量经济学难题。假设有m项资产，则这m项资产相对于历史信息集的条件方差-协方差是一个m×m维半正定对称动态矩阵。当对这个矩阵进行多元GARCH建模时，如果这个矩阵模型的每个元素包含p个未知参数，则多元GARCH模型未知参数的维数将达到m(m+1)p/2。当m或p较大时，未知参数的维数将接近甚至超过时间序列样本容量T，导致多元GARCH模型参数估计具有高度挑战性。
其他类型的“大”模型，如可计算一般均衡模型、高维超市商品需求模型（Lanieretal.,2023）、“世界连接模型”、VAR模型与SVAR模型，都可能涉及维数灾难问题。
教师的工作是塑造灵魂、塑造生命、塑造人的工作。以教师为业，就是为未来作画。从经师到人师，从教书先生到大国良师，好的教师学而不厌、诲人不倦，为党育人、为国育才。
所谓维数灾难，是指在数据容量有限的条件下，模型未知参数维数越多，每个参数的估计越不精准，估计误差越大的情况。维数灾难会导致模型过拟合，影响其泛化能力。所以传统统计学的一个重要原则是模型应尽量简约（即“保持模型简约”），以减少过拟合的风险并确保模型可解释性。
然而，大模型的出现对这一原则形成发展。大模型“规模至上”方法论表明，随着模型复杂度的增加，模型预测精度并非总是先升后降的简单U型曲线。在某些情况下，预测误差会在模型复杂度极高时再次下降，这被称为“双降”现象。该现象颠覆了传统统计学关于模型复杂度与预测精度之间权衡的观点，提示统计学工作者在大数据环境下可以尝试使用更为复杂的模型进行预测，以追求更高的精度。
事实上，大模型训练数据是几乎覆盖整个互联网的文本数据，这在一定程度上避免或减缓了维数灾难问题。大模型不仅具有较小的偏差，还可以对每个参数进行较为精确的估计，即使ChatGPT拥有1750亿个未知参数，在整个互联网海量数据容量面前，这个参数维数仍然不算大。因此，基于互联网海量大数据的大模型拥有较强的泛化能力。
总的来说，统计学需要大模型的主要原因，是相较传统模型，大模型可以大大提升泛化能力。大模型的出现和应用标志着统计学工作进入了一个全新的阶段。以ChatGPT为代表的大模型是人工智能和大数据技术发展的重要产物。大模型的发展依赖于强大的计算能力和海量的数据资源，它们通过复杂的算法结构（如深度学习和神经网络）处理和分析高维度数据。传统的统计模型通常依赖于假设、简化和降维技术来处理高维数据，而大模型通过大量的参数和深度学习算法，能够更好地捕捉数据的复杂性和异质性。因此，大模型为统计学工作者提供了一种全新的工具，可以更精确地分析和预测经济社会系统中的复杂现象。
大模型的出现促使统计学工作者重新审视建模方法的选择。正如前文所说，传统统计学家在进行模型选择时，常常在偏差与方差之间进行权衡，通过降低模型复杂度来减少过拟合的风险。然而，大模型的成功应用表明，在处理大数据时，模型的复杂度可以显著提高，这使得统计学家可以捕捉到更多的数据特征，从而提高预测的准确性和泛化能力。同时，大模型的应用也改变了统计学的研究范式。统计学不再仅仅依赖于传统的线性模型和小样本数据，而是逐渐向基于大数据和复杂算法的方向转变。这种转变不仅扩大了统计学的应用范围，也提高了统计学在处理复杂社会经济系统中的应用潜力。
此外，大模型在处理高维数据时表现出了独特的优势，通过使用深度学习等技术，能够处理数千甚至数百万个变量，并有效地捕捉到数据中的复杂模式。例如，经济学中许多重要的研究问题都涉及到高维数据的分析，如宏观经济变量的动态变化、消费者行为的异质性分析等。在这些研究中，传统的小模型往往难以充分捕捉到数据中的异质性和非线性关系，而大模型则能够通过增加模型的复杂性，提供更为准确的预测和解释。
大模型的这种能力，使得统计学工作者在处理复杂社会经济系统时，能够更加深入地理解和分析数据。这也促使统计学在处理大规模社会经济数据时，逐渐向大模型范式转变。
作者：上海社会科学院马博然
供稿：市统计学会
责编：薛依宜
审核：杨荣