颠覆LLM训练方法!Karpathy仅凭1000行C语言代码、一台Mac训练出GPT-2

在MacBookPro(苹果SiliconM3Max)上,输出结果是这样的:[GPT-2]max_seq_len:1024vocab_size:50257num_layers:12num_heads:12channels:768num_parameters:124439808traindatasetnum_batches:1192valdatasetnum_batches:128num_activations:73323776valloss5.252026step0:trainloss5.356189...

“退网”两周的前OpenAI大神归来再整活,1000行C代码搞定GPT-2训练...

“该文件(我认为)可读性很强,你应该看一看。简单地说,所有层的前向和后向传递都有实现方法,它们被串成一个大型的手动前向/后向/更新循环。”AndrejKarpathy说。在MacBookPro(苹果SiliconM3Max)上,输出结果是这样的:[GPT-2]max_seq_len:1024vocab_size:50257num_layers:12num_heads:12cha...

Python 潮流周刊#26:requests3 的现状

在Mac上安装Python的正确方法:httpsmarvelousmlops.substack/p/the-right-way-to-install-python-on[16]用Python开发简单的Android数据分析应用:httpstechbeamers/simple-android-data-analytics-app-in-python/[17]改进Numpy的PythonAPI,为2.0版本准备:httpslabs...

如何用 Python 在笔记本上分析 100GB 数据?

使用describe方法获得DataFrame的高级概览,注意这个DataFrame包含18列数据,不过截图只展示了前7列。describe方法很好地体现了Vaex的能力和效率:所有这些数据都是在我的MacBookPro(15英寸、2018款、2.6GHzIntelCorei7和32G内存)上在3分钟内计算出来的。其他库或方法则需要分布式计算或...

华为证实 P40 将没有 Google 服务;李世石退役;Python 3.8.1 发布...

Python3.8.1发布主要更新:bpo-39080:当星标表达式AST节点位于CallAST节点的args属性中的元素之中时,修复它们的end_col_offset值。bpo-39031:解析“elif”节点时,该节点的lineno和col_offset现在指向“elif”关键字,而不是其条件,从而使其与“if”节点一致。

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA

在M2MacBook上运行LLaMA的方法:httpstil.simonwillison/llms/llama-7b-m2如果M2芯片MacBook这个条件还是有点高,没关系,M1芯片的MacBook也可以(www.e993.com)2024年11月15日。另一位开发者分享了借助llama.cpp在M1Mac上运行LLaMA模型的方法。在M1Mac上运行LLaMA的方法:httpsdev.l1x.be/posts/...

【干货】产品经理教你用Python+Flourish搞掂超酷的数据可视化

小路的开发环境:MacbookPro,Python3.8,IDE用PycharmCE,浏览器Safari;搭建Python环境,这里就不详说了,具体步骤可网上搜索;安装AkShare:pipinstallakshare-ihttpmirrors.aliyun/pypi/simple/--trusted-host=mirrors.aliyun--upgrade...

国产纯自主研发编程语言被扒 这操作真无耻

根据专业人士解读,木兰实际上就是把Python拿来重新打了个包,做成了一个.exe软件,内部核心文件、字节码文件等全部都是Python的。而且中科院计算所在把Python打包之后,连图标都懒得更换,直接使用了PyInstaller打包后的默认图标。简单来说就是,你买一部iPhone手机,然后给这台iPhone外面包一层破报纸,之后对外宣布这是你自...