banner
Loouis

Loouis

HomeArchives
在 vps 上运行大语言模型
黑五买了一台 1C1G 的 AMD Ryzen 9 7950X VPS，勉强可以玩玩 LLM 。记录下如何在这样的 VPS 上快速安装和运行 LLM。 硬件配置 Copy ---------------------基础信息查询--感谢所有开源项目------------------…
LLM165
cover
cover

大模型推理引擎性能对比，VLLM、SGLang、LMDeploy吞吐量测试

简单对比 3 个大模型推理引擎吞吐速度，单位为输出 token/s，短输入长输出场景，其余参数见表后 VLLM | SGLang | LMDeploy…
LLM2485
Ownership of this blog data is guaranteed by blockchain and smart contracts to the creator alone.