OpenAI 创始成员用 1000 行 C 代码手搓了一个大模型,Mac 即可运行...

因为大多数GPT模型的实现都过于庞大,而minGPT做到了小、干净、可解释和具有教育意义,所以Karpathy的这300行代码是学习GPT的最佳资源之一,可以用来深入理解GPT是如何工作的。用C语言实现LLM这次,AndrejKarpathy单纯通过C/CUDA实现大语言模型训练,且无需245MBPyTorch或107MBcPy...

“真男人就应该用 C 编程”!用 1000 行 C 代码手搓了一个大模型...

徒手用1000行C语言实现,不依赖庞大的外部库,Mac即可运行。如今这年头,徒手写神经网络代码已经不算事儿了,现在流行手搓大模型训练代码了!这不,今天,特斯拉前AI总监、OpenAI创始团队成员AndrejKarpathy仅用1000行简洁的C代码,就完成了GPT-2大模型训练过程。几个小时前,AndrejKarpathy...

1000行C语言搓出GPT-2,AI大神Karpathy新项目刚上线就狂揽2.5k星

仅用1000行纯C语言训完GPT-2。想象一下,如果我们能够不依赖于庞大的PyTorch(245MB)和cPython(107MB)库,仅仅使用纯C语言就能训练大型语言模型(LLM),那会怎样?现在,借助llm.c,这件听起来似乎不太可能的事,已经成为了现实!这个项目的亮点在于,它仅用约1000行简洁的C代码,就实现了在普通计算机处理器(CPU)上...

不到1000行代码,GitHub 1400星,天才黑客开源深度学习框架tinygrad

「tinygrad可能不是最好的深度学习框架,但它确实是深度学习框架。」George在项目中保证,tinygrad代码量会永远小于1000行。安装tinygrad的安装过程非常简单,只需使用以下命令:pip3installtinygrad--upgrade示例安装好tinygrad之后,就可以进行示例运行,代码如下:fromtinygrad.tensorimportTensorx=...

今年3.8节,我给喜欢科学和编程的孩子捣鼓了件大事!

学习坐标系,运用Python绘图库turtle进行项目创作;创建各种AI小游戏等。除此以外,还可以了解人工智能应用场景,学习AI作曲、AI猜画等项目背后的原理。孩子能够在真实的源码编程环境中学习,通过长期的刻意练习,养成严谨的编程习惯和实操能力。同时,在学习过程中还能够直观地看到代码的执行过程,亲眼看着代码跑起来,...