vLLM私有化部署和运行DeepSeek模型
前言 25年春节前后,随着DeepSeek的爆火,思维链、蒸馏等名词被大家所熟知。再加上DS模型开源可商用,所以很多大厂、企业都纷纷进行私&
AI
未读
Ollama+Higress+LobeChat部署高可用大模型集群
前言 本地模型部署,比较常见的方式有Ollama和vLLM,之前使用vLLM + Open WebUI完成了DeepSeek-r1-Distill-Qwen-1.5B模型,vLLM比较适合生产环境使用,其通&
dubbo
未读
Dubbo系列-SPI扩展(下)
前言 上一篇文章Dubbo系列-SPI扩展(上),通过对比JDK、Spring、Dubbo对SPI的不同实现,对它们的区别有一个全局的了解,其中Dubbo SPI实现最为复杂,其在整个框架设计与实现上发挥着极大的作用。 本篇会继续深入Dubbo SPI的其它特性,包括Dubbo3引入的作用域模型,及