LLM，使大语言模型在搭载RTX的PC平台上运行速度提高4 倍
转自：IT之家
IT之家10月18日消息，英伟达是硬件领域的生成型人工智能之王，该公司的GPU为微软、OpenAI等公司的数据中心提供动力，运行着BingChat、ChatGPT等人工智能服务。今天，英伟达宣布了一款新的软件工具，旨在提升大型语言模型（LLM）在本地WindowsPC上的性能。
在一篇博客文章中，英伟达宣布了其TensorRT-LLM开源库，这个库之前是为数据中心发布的，现在也可以用于WindowsPC。最大的特点是，如果WindowsPC配备英伟达GeForceRTXGPU，TensorRT-LLM可以让LLM在WindowsPC上的运行速度提高四倍。
英伟达在文章中介绍了TensorRT-LLM对开发者和终端用户的好处：
在更大的批量大小下，这种加速可显著改善更复杂的LLM使用体验，如写作和编码助手，可同时输出多个唯一的自动完成结果，从而加速性能并改进质量，让用户可以有最好的选择。
IT之家注意到，博客文章展示了一个TensorRT-LLM的例子。当向LLaMa基础模型提出“《心灵杀手2》集成了NVIDIA的哪些技术？”这一问题时，它给出“游戏尚未公布”这一毫无帮助的回答。相反，使用RAG将GeForce新闻添加到向量库中，并连接到相同的Llama2模型，不仅得到正确答案——NVIDIADLSS3.5、NVIDIAReflex和全景光线追踪，而且在TensorRT-LLM加速的助力下响应速度更快。这种速度与能力的结合为用户提供更智能的解决方案。
TensorRT-LLM很快就会在英伟达的开发者网站上提供。
英伟达今天还在新的GeForce驱动更新中增加了一些基于人工智能的功能。其中包括新的1.5版本的RTXVideoSuperResolution功能，可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为StableDiffusionWebUI增加了TensorRT人工智能加速功能，让拥有GeForceRTXGPU的用户可以比正常情况下更快地从人工智能图片生成器那里获得图像。