LLM对齐数据全自动合成!UW华人博士生提出Magpie方法,Macbook Air...
更为惊艳的是,代码不仅能在本地运行,而且用LLM自动生成了非常可靠的高质量数据。他们用Llama-3-8B的Base模型在自己生成的SFT数据集上微调后,得到了比官方微调版本Llama-3-Instruct性能更强的模型。论文得到了AI圈大佬SebastianRaschka的转发背书。起初,他也不相信这种方法真的能够在MacBookAir上本地运行,但亲...
“Transformer挑战者”Mamba,用MacBook也能跑了!
首先,打开一个能运行PyTorch笔记的工具,比如Jupyter、VSCode,或者在线的谷歌Colab等。然后下载作者的笔记和Python脚本,用Colab的话也可以使用GitHub导入功能。如果在本地运行,需要把两个文件放到同一个目录;如果用Colab,则需要在连接成功后把model.py上传。△如果不上传,会出现“找不到‘model’”的报错之后是安...
颠覆LLM训练方法!Karpathy仅凭1000行C语言代码、一台Mac训练出GPT-2
在MacBookPro(苹果SiliconM3Max)上,输出结果是这样的:[GPT-2]max_seq_len:1024vocab_size:50257num_layers:12num_heads:12channels:768num_parameters:124439808traindatasetnum_batches:1192valdatasetnum_batches:128num_activations:73323776valloss5.252026step0:trainloss5.356189...
“退网”两周的前OpenAI大神归来再整活,1000行C代码搞定GPT-2训练...
在MacBookPro(苹果SiliconM3Max)上,输出结果是这样的:[GPT-2]max_seq_len:1024vocab_size:50257num_layers:12num_heads:12channels:768num_parameters:124439808traindatasetnum_batches:1192valdatasetnum_batches:128num_activations:73323776valloss5.252026step0:trainloss5.356189...
真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA
在CPU上运行。llama.cpp让开发者在没有GPU的条件下也能运行LLaMA模型。项目发布后,很快就有开发者尝试在MacBook上运行LLaMA,并成功在64GBM2MacBookPro上运行了LLaMA7B和LLaMA13B。在M2MacBook上运行LLaMA的方法:httpstil.simonwillison/llms/llama-7b-m2...
MacBook显卡不跑AI模型太浪费
我们首先会看到一个欢迎页面,并跳出一个问题,即是否要使用实验性设备(www.e993.com)2024年11月15日。根据提示,允许实验设备会导致系统运行不佳、崩溃和其他故障。我们可以键入「n」或「nothing」,然后返回选择使用默认设备。设置PlaidML第二步。现在得到了自己选择的设备列表。以作者的电脑MacbookPro15’2018为例,设备列表如下:...
MacBook显卡不跑AI模型太浪费:这个深度学习工具支持所有品牌GPU
我们首先会看到一个欢迎页面,并跳出一个问题,即是否要使用实验性设备。根据提示,允许实验设备会导致系统运行不佳、崩溃和其他故障。我们可以键入「n」或「nothing」,然后返回选择使用默认设备。设置PlaidML第二步。现在得到了自己选择的设备列表。以作者的电脑MacbookPro15’2018为例,设备列表如下:...
MacBook M1 Pro对于小码农来说确实是太爽了,看看我怎么说
原来windows的中台使用的是python3.7.6和3.8.5,我使用pyenv来管理多版本,好死不死3.7.6死活装不上,最后是3.7.6直接装在mac下,3.8.5装在pyenv里完成的。等等等等因为M1的适配问题一步一步解决;2.windows过度过来可替代的工具,比如xshell用termius代替,navicat,远程windows桌面工具,windows下用中台启动的python、...
1分钟插入10亿行数据!抛弃Python,写脚本请使用Rust
作者需要在他2019年的MacBookPro(2.4GHz四核i5)上,一分钟内生成一个有10亿行的SQLite数据库。表的模式要求:生成的数据是随机的;「area」列将包含六位数的地区代码(任何六位数都可以,不需要验证);「age」列是5、10或15中的任何一个;
OpenAI联创Karpathy爱上羊驼:纯C代码实现婴儿Llama2,已揽1.6k星
tokens流。遗憾的是，我们现在必须通过一个简单的转换封装器来运行C代码（只有30行）。pipinstallsentencepiecepythonrun_wrap.py最后你将看到文本流。在Karpathy的M1MacBookAir上，运行速度约100tok/s，对于超级原生的fp32单线程C代码来说还不错。示例输出如下所示。