全球首款 Transformer 专用 AI 芯片 Sohu 登场：每秒可处理 50 万个 tokens
2024-06-26 11:31:40 - IT之家
IT之家6月26日消息，Etched公司宣布完成1.2亿美元（IT之家备注：当前约8.73亿元人民币）A轮融资，将用于开发和销售全球首款Transformer专用集成电路（ASIC）芯片Sohu。
IT之家查询公开资料，Etched公司由两名哈佛大学辍学生加文・乌伯蒂（GavinUberti）和克里斯・朱（ChrisZhu）创立，成立时间不到2年时间。
Sohu芯片最大的亮点在于直接把Transformer架构蚀刻到芯片中，乌伯蒂称Sohu采用台积电的4纳米工艺制造，推理性能大大优于GPU和其他通用人工智能芯片，同时能耗更低。
在Llama70B吞吐量中，Sohu每秒可处理超过50 万个tokens，让用户可以构建GPU无法实现的产品。
Sohu能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较数百个响应、多播推测解码以及实时生成新内容等功能，为未来万亿级参数模型的运行提供了可能。
IT之家附上官网链接，感兴趣的用户可以深入阅读。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。