vLLM 实战

引言

随着人工智能技术的飞速发展，以及今年以来 ChatGPT 的爆火，大语言模型 (Large Language Model, LLM) 受到越来越多的关注。

为了实现 LLM 部署时的推理优化，全球各地有众多团队做出了各种优化框架。本文以加州大学伯克利分校开发的 vLLM 框架为例，进行实战探索。

1. 整体介绍

根据公开文档中的实验结果， vLLM 吞吐量比 Hugging Face Transformers 高出 24 倍，比 TGI 高出 3.5 倍。

vLLM 整体框架如下图所示。

其中的关键技术点包括：

• KVCache 显存优化

• PagedAttention

• Continuous Batching

笔者通过实际使用，认为该框架优点如下：

• 调试方便： 主框架由 Python 实现，便于用户断点调试。

• 系统设计工整规范： LLMEngine、Scheduler、Worker 结构清晰，初学者可以方便地理清脉络。

• 推理速度快： 经过理论计算与实测， 8 卡 A100-40G 足以支持千人试用。