GPT究竟是谁的机会?
2023年5月5日 - 36氪
国内投资圈能够深入了解AI底层原理的人寥寥无几。由于之前不敢涉足,诸如神经网络、对抗学习、无监督学习、RLHF、fine-tune和embedding等概念从未涉猎。然而,自ChatGPT发布的那一刻起,一切都发生了变化。尽管我依然不甚了解,但在那一刻,全球各大学,无论是斯坦福、MIT这样的名校,还是中国某个偏僻地区的普通院校,都回...
详情
达观数据:推荐算法深入浅出之逻辑回归
2019年8月20日 - 网易
因为该函数是凸函数(证明过程),我们可以使梯度下降算法求解最优解。根据代价函数Cost(w)的偏导数不断迭代更新即可求解出代价函数取得最优解时的权重w*(具体的偏导数推导过程见末)。从最后个表达式我们可以看出要求解的权重向量w中的值wj和输向量xi中的xij相关。在多元线性回归中,权重wj的解释是相关的信号量xij...
详情
ChatGPT为啥这么强:万字长文详解 by WolframAlpha之父
2023年2月16日 - 腾讯新闻
这段文字介绍了一个名为“embeddingmodule”的模块,它有三个主要步骤。第一步,将文本转化为token序列,每个token都用一个单层神经网络转化为长度为768(对于GPT-2)或12288(对于ChatGPT的GPT-3)的embedding向量。同时,模块中还有一个“辅助通路”(secondarypathway),用于将token的整数位置转化为embedding向量。最后,将...
详情