Loouis
Follow
1
Followers
0
Followings
Patron
Home
Archives
Latest
Hottest
Most Commented
在 vps 上运行大语言模型
黑五买了一台 1C1G 的 AMD Ryzen 9 7950X VPS,勉强可以玩玩 LLM 。记录下如何在这样的 VPS 上快速安装和运行 LLM。 硬件配置 Copy ---------------------基础信息查询--感谢所有开源项目------------------…
LLM
149
1 min
4 months ago
大模型推理引擎性能对比,VLLM、SGLang、LMDeploy吞吐量测试
简单对比 3 个大模型推理引擎吞吐速度,单位为输出 token/s,短输入长输出场景,其余参数见表后 VLLM | SGLang | LMDeploy…
LLM
2295
0 min
5 months ago
Ownership of this blog data is guaranteed by blockchain and smart contracts to the creator alone.
Blockchain ID
#72639
Owner
0x451e9aa575138814ef4d90550af92c668805cc56
Transaction Hash
Creation 0x50103e37...c2171ab60a
Last Update 0x1fee881b...d4e16ec0da
IPFS Address
ipfs://bafkreiblaihdnomfiat5nfu5r4me7smibonr4fykhzte3tkwmwf5cijsty