做出最好大模型的 CEO,不认为 Scaling Law 撞墙了

不过,我们正在研究如何制造合成数据(syntheticdata),通过模型生成与现有数据类似的新数据,甚至完全从零开始生成数据。我估计其他公司也在这么做,比如DeepMind就让AlphaGoZero做self-play,让它从完全不会下围棋到超越人类水平,过程中不需要人类的示例数据。还有一个方向是reasoningmodels,这类模型会进行思维链...

我在Character.ai 做 Post Training|42章经

最理想的情况当然是,你有一个能完全模拟用户偏好的模型,它可以直接给模型的迭代表现打分,只要迭代后模型生成的5000句话会比迭代前生成的5000句话分数高,就可以直接投入生产。但要让一个模型能完全模拟人类,所需的数据量可能是天文数字,而我们现在的用户偏好数据非常有限,训出来的偏好模型能力也有限,只能作为...

“讲卡伤感情,没卡没感情”,沈向洋外滩大会谈大模型:算力、算法...

“GPT3刚出来的时候是2个T的token,GPT4刚出来的时候是12个T左右的数据,后来还在不断地加数据训练,现在我们猜GPT4是20T的数据。大家在望穿秋水等GPT5出来,到底要用多少的数据?”沈向洋给出的猜测是200个T的数据,但如今的互联网要挖出200T的数据已经不容易了。沈向洋感慨,互联网40年积累的数据,似乎就是为了...

硅谷投资人对话Scale AI创始人:大模型竞争进入第三阶段

AlexandrWang在访谈中表示，模型竞争正进入第三个新阶段，研究将再次变得至关重要。同时，这一阶段的一个标志将是数据生产。“每个实验室将使用什么方法来生成所需的数据，以达到下一阶段的智能水平，并如何实现数据的丰富性。“AlexandrWang还认为，模型推理价格在两年内下降了两个数量级，是一件非常令人震惊的事情...

...智能算法和长期积累的行业数据,自主研发的多个行业垂类模型...

问:3.Q:公司在大模型方面目前的进展是怎样的,和哪些单位进行合作答:公司运用人工智能算法和长期积累的行业数据,自主研发的多个行业垂类模型已经为党政、工业、交通、教育、能源等领域的客户服务数十年,很够很好地满足客户的需要。公司也在研究大模型与垂直模型的结合点,发现大模型具有提高开发速度,降低开发成本的优...

浪潮信息“元脑”全面升级,定制算力、算法、数据工具,帮企业一键...

二、算力、数据、互联并驾齐驱,释放AI应用万亿市场空间在元脑品牌新升级的“以系统为核心”之中,算法、数据、算力、互联缺一不可(www.e993.com)2024年11月27日。刘军谈道,这四者的关系为以算法为负载,以数据为输入,以算力为承载,以互联为连接。这也是浪潮信息提供全栈智算产品和方案的基础。除了EPAI,浪潮信息面向大模型应用专门打造了智能...

业务模型 VS 算法模型,到底该怎么用?

算法模型的第三个优势,就是处理大规模数据了。典型的业务模型RFM,做用户分层时,如果每个指标分3类,那么就有3*3*3=27类,在业务上已经复杂到很难匹配对应策略了。但是如果用协同过滤算法,完全可以做到千人千面,这也是算法模型的巨大优势。之所以互联网公司倾向于用算法做推荐,主要是源自互联网平台上的商品量以十...

这是我见过最准确的数据诊断模型

算法模型不是一个处理标准问题的好办法。用机器学习算法,如果用无监督方法,比如Kmean聚类,本身输出的结果就随着聚类中心变化而变化,不稳定结果不能做标准。如果用有监督的方法,那一开始的“好/坏”标注谁来打?还是得老板来打。看似复杂的算法又变成:请老板酌定。

为什么“压缩即智能”?算法信息论与大模型、生命、智能的联系

以上,我们将信息论和算法信息论的背景、基础知识和相应的一些压缩方法做了简单介绍,下面我们看如何用压缩实现文本分类。2.利用压缩做文本分类文本分类的方法最近的一篇文章[1]发现gzip+k-nearestneighbors(kNN)方法与大语言模型是差不多的,gzip我们已经提到,是基于LZ77的一种压缩算法,kNN是机器学习中...

“用AI打败AI,用魔法打败魔法”应对大模型带来的数据安全风险

如何应对大模型带来的数据安全风险?多位嘉宾提到,“用AI对抗AI、用魔法打败魔法”的破题思路。黄民烈表示,要彻底解决这种风险,不能光靠人工或仍沿用一些静态的方法做相对固定的检测,而是要依赖算法和工具的支撑。在算法研究上,黄民烈提到可以尝试用对抗攻击的方法,比如事先用算法自动发现大模型的漏洞和风险,再针对性...