搜索：
搜索到 1 篇与 的结果-
vLLM是什么？OpenWrt+多客轻松部署 💡 大家好！今天给大家带来一篇关于vLLM的内容以及如何在OpenWrt上通过Docker部署vLLM的教程。准备好了吗？😉vLLM是一款用于大语言模型推理和服务的快速且易于使用的库。✨它的优点简直太多了，让我们一起来看看吧！超高的服务吞吐量：vLLM利用PagedAttention高效管理注意力键和值内存，连续批量处理传入请求。快速模型执行：支持CUDA/HIP图形，量化技术包括GPTQ、AWQ、SqueezeLLM、FP8 KV缓存，优化的CUDA内核。灵活易用：无缝集成热门的Hugging Face模型，支持并行采样、束搜索等多种解码算法，流式输出。因此，vLLM简直是LLM推理和服务的绝绝子！✨接下来，我们进入核心教程环节📚，看看如何在OpenWrt上通过Docker部署vLLM。第一步：准备工作系统要求：vLLM需要安装OpenWrt的X86设备，支持AVX512指令集架构，推荐的编译器为gcc/g++>=12.3.0。建议从openwrt.ai下载刷入固件。安装Docker：确保你已经在OpenWrt上安装并配置好Docker，可通过“系统”-“软件包”安装哦。安装git-http插件：需要使用git命令克隆项目。第二步：克隆git项目我们打开命令行终端（“服务”-“终端”），进入到/data/docker目录，使用git克隆项目：https://github.com/vllm-project/vllm.gitcd /data/docker git clone https://github.com/vllm-project/vllm.git第二步：构建Docker镜像进入vllm目录，使用官方提供的Dockerfile.cpu来构建vLLM的CPU环境镜像：cd vllm docker build -f Dockerfile.cpu -t vllm-cpu-env --shm-size=4g .这个命令会创建一个名为vllm-cpu-env的Docker镜像，并分配4GB的共享内存。🔥但这个构建的过程需要一定时间，请耐心等待。第三步：运行Docker容器使用以下命令运行刚才创建的Docker镜像：docker run -it --rm --network=host vllm-cpu-env这样就可以启动vLLM的服务啦！如果你有特定的CPU或内存要求，可以添加相应的参数，比如：docker run -it \ --rm \ --network=host \ --cpuset-cpus=<cpu-id-list> \ --cpuset-mems=<memory-node> \ vllm-cpu-env是不是很简单？就像ABC一样！🎉这个最主要用来提供类似OpenAI的API接口，可以给其他前端服务进行调用。更多功能vLLM不仅支持最流行的Hugging Face模型，还能处理Transformer类LLM、Mixture-of-Expert LLM以及多模态LLM，比如Llama、Mixtral和LLaVA。真的是YYDS啊！💯更多介绍请阅读官方文档：docs.vllm.ai/en/latest。今天的教程就到这里啦，大家赶快动手试试吧！😎更多关注：www.9418666.xyz
