麒麟合盛APUS李涛:最懂全球化的CEO之一
2024年11月8日 - 百家号
并先后推出如智能问答大师、简笔成画、墨染、萤火小说等多款AI产品，涵盖了从图像处理到个性化服务等多个方面；针对B端市场，基于APUS通用大模型精心剪枝升级而来的垂直大模型，也已成功应用于医疗、中医药、电商、农业、教育和网信等11个垂直领域，在赋能千行百业数智化升级的浪潮中，展现巨大潜力与价值。
详情
中金| AI十年展望(二十):细数2024大模型底层变化,推理优化、工程...
2024年9月12日 - 新浪
2)苹果提出LLM-in-a-flash,基于闪存运行端侧模型,推理速度在GPU提效20-25倍。3)Apple和Meta合作LazyLLM动态剪枝,在尽量保持模型精度的背景下,推理环节中非常重要的预填充速度大幅提升,提升推理效率。??工程改进:1)以Mooncake为例的预填充与解码阶段架构分离、服务器分别支持。Mooncake构造预填充池提升KV-Cache复...
详情
边缘AI浪潮已至,AISoC赋能终端奋楫争流
2023年11月20日 - 腾讯新闻
2)模型剪枝大模型虽然参数很多,但也存在着大量冗余的参数,将这些不太重要的训练参数剔除,可以减少计算资源的消耗并提高实时性,这就是模型剪枝算法。训练步骤为“正常训练模型——模型剪枝——重新训练模型”,三个步骤反复迭代进行,直到模型精度达到目标,则停止训练。3)模型量化是指将神经网络的浮点运算(FP32...
详情
人脸识别漏洞频出?这个开源静默活体检测算法,超低运算量工业可用
2020年7月16日 - 网易
最终的开源融合模型,包含了两个剪枝网络的单模型,在测试集上的观测指标如表2所示。开源模型误检控制在1e-5的情况下,真脸通过率能够达到97.8%。未开源的高精度模型在相同的误检率下,真脸通过率达到99.5%。表2模型观测指标速度指标开源融合模型在不同芯片上速度指标如表3所示,在麒麟9905G...
详情