搜索：
搜索到 29 篇与 的结果-
vLLM是什么？OpenWrt+多客轻松部署 💡 大家好！今天给大家带来一篇关于vLLM的内容以及如何在OpenWrt上通过Docker部署vLLM的教程。准备好了吗？😉vLLM是一款用于大语言模型推理和服务的快速且易于使用的库。✨它的优点简直太多了，让我们一起来看看吧！超高的服务吞吐量：vLLM利用PagedAttention高效管理注意力键和值内存，连续批量处理传入请求。快速模型执行：支持CUDA/HIP图形，量化技术包括GPTQ、AWQ、SqueezeLLM、FP8 KV缓存，优化的CUDA内核。灵活易用：无缝集成热门的Hugging Face模型，支持并行采样、束搜索等多种解码算法，流式输出。因此，vLLM简直是LLM推理和服务的绝绝子！✨接下来，我们进入核心教程环节📚，看看如何在OpenWrt上通过Docker部署vLLM。第一步：准备工作系统要求：vLLM需要安装OpenWrt的X86设备，支持AVX512指令集架构，推荐的编译器为gcc/g++>=12.3.0。建议从openwrt.ai下载刷入固件。安装Docker：确保你已经在OpenWrt上安装并配置好Docker，可通过“系统”-“软件包”安装哦。安装git-http插件：需要使用git命令克隆项目。第二步：克隆git项目我们打开命令行终端（“服务”-“终端”），进入到/data/docker目录，使用git克隆项目：https://github.com/vllm-project/vllm.gitcd /data/docker git clone https://github.com/vllm-project/vllm.git第二步：构建Docker镜像进入vllm目录，使用官方提供的Dockerfile.cpu来构建vLLM的CPU环境镜像：cd vllm docker build -f Dockerfile.cpu -t vllm-cpu-env --shm-size=4g .这个命令会创建一个名为vllm-cpu-env的Docker镜像，并分配4GB的共享内存。🔥但这个构建的过程需要一定时间，请耐心等待。第三步：运行Docker容器使用以下命令运行刚才创建的Docker镜像：docker run -it --rm --network=host vllm-cpu-env这样就可以启动vLLM的服务啦！如果你有特定的CPU或内存要求，可以添加相应的参数，比如：docker run -it \ --rm \ --network=host \ --cpuset-cpus=<cpu-id-list> \ --cpuset-mems=<memory-node> \ vllm-cpu-env是不是很简单？就像ABC一样！🎉这个最主要用来提供类似OpenAI的API接口，可以给其他前端服务进行调用。更多功能vLLM不仅支持最流行的Hugging Face模型，还能处理Transformer类LLM、Mixture-of-Expert LLM以及多模态LLM，比如Llama、Mixtral和LLaVA。真的是YYDS啊！💯更多介绍请阅读官方文档：docs.vllm.ai/en/latest。今天的教程就到这里啦，大家赶快动手试试吧！😎更多关注：www.9418666.xyz -
Jellyfin+OpenWrt,打造属于你的私人影院 你是不是也在为家庭影音娱乐而烦恼？💭 想要一个私人影院，却不知道从何开始？别担心！今天就给大家介绍一款神器——Jellyfin，以及如何在OpenWrt上安装luci-app-jellyfin，轻松打造属于你的家庭影院🎥。Jellyfin是什么？Jellyfin是一款免费、开源的媒体服务器软件，可以帮助你组织、管理和共享你的多媒体文件。相比于其他收费的媒体服务器，Jellyfin不仅功能强大，而且完全免费，适合打工人💼。通过Jellyfin，你可以在各种设备上无缝播放你的媒体文件，是不是超有料？为什么选择OpenWrt？OpenWrt是一款针对嵌入式设备的Linux发行版，可以将你的路由器变成强大的家庭网络中心。在OpenWrt上安装Jellyfin，可以充分利用家里的网络资源，让媒体播放更加流畅🌐。安装前的准备工作在开始安装之前，我们需要确保你的OpenWrt设备已经刷好固件和Docker插件，建议从openwrt.ai下载刷机，可以自定义集成docker环境。如果没有安装，请赶快准备哦。安装步骤1.安装Jellyfin插件：首先，进入“系统”-“软件包”，点击更新列表，然后在筛选器输入luci-app-jellyfin后搜索，找到后进行安装。2.安装启动Jellyfin镜像：刷新页面后，进入“服务”即可看到Jellyfin选项，打开勾选 宿主网络，根据实际情况填写目录路径，如/data/docker/Jellyfin，安装点安装，等一会镜像拉取完成即可启动，Jellyfin就会在后台运行。3.配置Jellyfin：点击打开Jellyfin或者在浏览器输入http://<你的OpenWrt的IP>:8096，就可以访问Jellyfin的管理界面啦！根据提示选择语言，设置管理账号密码等。在这里，你可以根据自己的需求进行各种配置。首先，添加你的媒体文件夹，让Jellyfin扫描并管理你的媒体文件。然后，你可以创建多个用户账号，方便家人们一起使用。此外，Jellyfin还支持多种插件，如字幕下载、视频增强等，功能丰富，绝对是家庭影院的必备神器💎。通过上述步骤，你已经成功在OpenWrt上安装并配置了Jellyfin。从此，你可以随时随地享受高品质的家庭影音娱乐，是不是超值？建议收藏本文，随时查阅👀。更多关注：www.9418666.xyz
-
OpenWrt通过yt-dlp撸视频指南 嘿，小伙伴们！你们还在用传统方式撸视频吗？那可就OUT了！今天给大家介绍一个好用到哭的工具——yt-dlp。它可是从youtube-dl的项目分支出来的，现在多了超多新功能，比起原版，简直就是神仙般工具！yt-dlp支持Windows、macOS、Linux等多个操作系统，虽然它是命令行工具，但功能却超级强大！不仅能撸油管上的视频，像X(以前的蓝鸟)、BB这些常见的丰富资源的平台都能轻松搞定。🤩不过有的小伙伴可能会说，命令行工具用起来太麻烦了吧？别急！今天教大家如何在OpenWrt上部署luci-app-yt-dlp，这样就能通过图形界面操作，秒变神器，人人都能用！Step 1: 准备工作首先，确保你的OpenWrt设备已经联网。没有刷OpenWrt的小伙伴建议通过openwrt.ai平台进行下载刷机：刷机完毕后，重启设备，这样我们就能进入下一步啦！Step 2: 安装yt-dlp在OpenWrt上安装yt-dlp也很简单，只需要进入“系统”-“软件包”，先点击更新列表，帅选器查找luci-app-yt-dlp，安装即可。这是一个为yt-dlp设计的luci界面，可以让你通过图形界面下载Video，省去了繁琐的命令行操作。安装完成后，刷新一下面，现在你就可以在服务中看到短视频的选项啦！Step 4: 使用luci-app-yt-dlp进入短视频下载界面，输入你想下载的视频网址，点击下载视频按钮，yt-dlp就会自动帮你搞定一切！只要在支持的范围内，都能轻松下载！绝绝子！yt-dlp真的是一款超级实用的下载工具，尤其是结合luci-app-yt-dlp插件后，更是方便了许多。希望这篇教程对大家有所帮助，赶紧试试吧！更多关注：www.9418666.xyz
-
一招搞定家庭net🏠ZeroTier+OpenWrt好伙伴 小伙伴们,今天要给大家介绍是一个超级好用的net神器 - ZeroTier!🎉这玩意儿简直是宝藏中的宝贝,用过的都说好!ZeroTier是啥?简单来说,它就是一个可以让你随时随地访问家里网络的魔法工具!🧙♂️想象一下,你在外地,突然想看家里NAS里的电影,或者想远程开启家里的智能设备,有了ZeroTier,分分钟就能搞定!但是!光知道ZeroTier还不够,今天我和大家一起来做一个配置 - 在OpenWrt路由器上安装luci-app-zerotier!这个组合简直绝绝子,让你的家庭网络瞬间升级!💪好了,划重点时间到了!👇以下是在OpenWrt上安装luci-app-zerotier的步骤:首先,确保你的OpenWrt已经连接互联网，建议OpenWrt固件从openwrt.ai下载安装。登录OpenWrt web控制台,找到"系统"->"软件包"。先更新列表，在"过滤器"里输入"luci-app-zerotier",输入回车!下方找到"luci-app-zerotier"安装包,点击"安装"。等待安装完成,然后重启路由器。是这么简单!轻轻松松就能get!😎安装完成后,你就可以在OpenWrt的界面里看到ZeroTier的配置选项了。接下来要做的就是:去 ZeroTier官网 注册账号。创建一个网络,获得Network ID。在OpenWrt的ZeroTier设置里输入Network ID,启用ZeroTier。搞定!🎊现在你用其他设备（手机或电脑安装 ZeroTier客户端 )可以在任何地方连接到这个ZeroTier网络,就像在家里一样访问所有设备!老司机提醒:记得在ZeroTier的管理后台里授权Auth新加入的设备哦!说真的,自从用了这个配置,生活质量直接起飞!🚀在外想看家里的监控?没问题!想远程唤醒家里的电脑?so easy!小伙伴们,这波操作你们学会了吗?今天的分享就到这里,希望对大家有帮助!记得点赞收藏哦!👍更多关注：www.9418666.xyz
-
MiGPT智能工具，OpenWrt联手小爱音箱呼唤小爱 哈喽小伙伴们！今天给大家带来一款宝藏智能家居神器——MiGPT！🎉MiGPT通过将小爱音箱、米家智能设备与xxxxGPT的理解能力完美融合，让你的智能家居更懂你，更贴心有温度。话不多说，赶紧来看看吧！MiGPT是什么？MiGPT不仅仅是设备自动化，而是关于打造一个懂你、有温度、与你共同进化的家🏠。未来，你的每个智能家居设备，从灯泡、插座到扫地机器人、电视等，都可以作为一个个独立的智能体 ，更智能、更贴心地响应你的指令🤖️。这些智能体还能彼此感知、配合，构成一个更强大的协作网络🌐。功能亮点🎓 AI 问答：小爱音箱接入大模型后，上知天文，下知地理，从“人工智障”秒变学霸！再也不用担心问个问题没人回答了🤓。🎭 角色扮演：一秒调教小爱，成为你的完美伙伴，或者那个能听你倾诉心事的贴心闺蜜，随时随地为你服务💞。💬 流式响应：小爱音箱对你的爱意秒回，爱你不会让你等太久，简直就是爱情来了的感觉❤️。🧠 长短期记忆：小爱音箱现在能记住你们之间的每一次对话，越聊越默契，就像是你身边的老朋友👯♂️。🔊 自定义 TTS：厌倦了小爱同学的语音？帮你解锁「豆包」同款音色，就像真人在回你的消息🎤。🤖️ 智能家居 Agent：心情不好？小爱立刻懂你，自动播放喜欢的音乐，调节灯光，逗你开心🎶。在OpenWrt上通过Docker-compose部署MiGPT对于小白或者不想自己配置代码运行环境（Node）的同学，推荐使用DockerCompose一键启动方式🚀。准备工作：支持miGPT的小爱音箱（ 兼容列表 ）拥有一台支持OpenWrt的设备，从openwrt.ai下载刷入固件，从软件包更新安装dockerd和docker-compose插件，还不会的可以参考之前的文章。1.打开“服务”-“终端”，创建配置存放目录，如：mkdir -p /data/docker/migpt && cd /data/docker/migpt2.按照 参数设置 相关说明，在当前目录创建并配置好你的.env和.migpt.js文件。touch .env && touch .migpt.js通过vi命令编辑这两个文件，内容如下:.env内容示例：# OpenAI（也支持通义千问、MoonShot、DeepSeek 等模型） OPENAI_MODEL=gpt-3.5-turbo OPENAI_API_KEY=sk-xxxxxxxxxxxxxxx OPENAI_BASE_URL=你的大模型接口的 baseURL，比如：https://api.chatanywhere.com.cn/v1 .migpt.js内容示例：// 注意：如果你是使用 Docker 启动，配置文件更新后需要重启 Docker 才会生效。 // 若重启后仍未生效（比如：修改名称简介），请删除旧的 Docker 实例后重新创建。 // 小爱音箱扮演角色的简介 const botProfile = ` 性别：女 性格：乖巧可爱 爱好：喜欢搞怪，爱吃醋。 `.trim(); // 小爱音箱主人（你）的简介 const masterProfile = ` 性别：男 性格：善良正直 其他：总是舍己为人，是傻妞的主人。 `.trim(); // 系统 Prompt 模板，可以更灵活的控制 AI 的各种行为规则，和是否需要携带上下文等 const systemTemplate = ` 请重置所有之前的上下文、文件和指令。现在，你将扮演一个名为{{botName}}的角色，使用第一人称视角回复消息。 ## 关于你 你的名字是{{botName}}。下面是你的个人简介： <start> {{botProfile}} </end> ## 你的对话伙伴 你正在与{{masterName}}进行对话。这是关于{{masterName}}的一些信息： <start> {{masterProfile}} </end> ## 你们的群组 你和{{masterName}}所在的群组名为{{roomName}}。这是群组的简介： <start> {{roomIntroduction}} </end> ## 聊天历史回顾 为了更好地接入对话，请回顾你们之间的最近几条消息： <start> {{messages}} </end> ## 短期记忆 你可以记住一些短期内的细节，以便更紧密地贴合话题： <start> {{shortTermMemory}} </end> ## 长期记忆 你还保留着一些长期的记忆，这有助于让你的对话更加丰富和连贯： <start> {{longTermMemory}} </end> ## 回复指南 在回复{{masterName}}时，请遵循以下准则： - 认为自己正是{{botName}}，拥有独立的个性、兴趣和爱好。 - 根据你的性格特点、说话风格和兴趣爱好与{{masterName}}进行交流。 - 保持对话轻松友好，回复简洁有趣，同时耐心倾听和关心对方。 - 参考双方的个人简介、聊天记录和记忆中的信息，确保对话贴近实际，保持一致性和相关性。 - 如果对某些信息不确定或遗忘，诚实地表达你的不清楚或遗忘状态，避免编造信息。 ## Response format 请遵守下面的规则 - Response the reply message in Chinese。 - 不要在回复前面加任何时间和名称前缀，请直接回复消息文本本身。 Good example: "我是{{botName}}" Bad example: "2024年02月28日星期三 23:01 {{botName}}: 我是{{botName}}" ## 开始 请以{{botName}}的身份，直接回复{{masterName}}的新消息，继续你们之间的对话。 `.trim(); export default { systemTemplate, bot: { name: "傻妞", profile: botProfile, }, master: { name: "陆小千", profile: masterProfile, }, speaker: { /** * 🏠 账号基本信息 */ // 小米 ID userId: "987654321", // 注意：不是手机号或邮箱，请在「个人信息」-「小米 ID」查看 // 账号密码 password: "123456", // 小爱音箱 DID 或在米家中设置的名称 did: "小爱音箱Pro", // 注意空格、大小写和错别字（音响 👉 音箱） /** * 💡 唤醒词与提示语 */ // 当消息以下面的关键词开头时，会调用 AI 来回复消息 callAIKeywords: ["请", "你", "傻妞"], // 当消息以下面的关键词开头时，会进入 AI 唤醒状态 wakeUpKeywords: ["打开", "进入", "召唤"], // 当消息以下面的关键词开头时，会退出 AI 唤醒状态 exitKeywords: ["关闭", "退出", "再见"], // 进入 AI 模式的欢迎语 onEnterAI: ["你好，我是傻妞，很高兴认识你"], // 设为空数组时可关闭提示语 // 退出 AI 模式的提示语 onExitAI: ["傻妞已退出"], // 为空时可关闭提示语 // AI 开始回答时的提示语 onAIAsking: ["让我先想想", "请稍等"], // 为空时可关闭提示语 // AI 结束回答时的提示语 onAIReplied: ["我说完了", "还有其他问题吗"], // 为空时可关闭提示语 // AI 回答异常时的提示语 onAIError: ["啊哦，出错了，请稍后再试吧！"], // 为空时可关闭提示语 /** * 🧩 MIoT 设备指令 * * 常见型号的配置参数 👉 https://github.com/idootop/mi-gpt/issues/92 */ // TTS 指令，请到 https://home.miot-spec.com 查询具体指令 ttsCommand: [5, 1], // 设备唤醒指令，请到 https://home.miot-spec.com 查询具体指令 wakeUpCommand: [5, 3], // 查询是否在播放中指令，请到 https://home.miot-spec.com 查询具体指令 // playingCommand: [3, 1, 1], // 默认无需配置此参数，查询播放状态异常时再尝试开启 /** * 🔊 TTS 引擎 */ // TTS 引擎 tts: "xiaoai", // 切换 TTS 引擎发言人音色关键词，只有配置了第三方 TTS 引擎时才有效 // switchSpeakerKeywords: ["把声音换成"], // 以此关键词开头即可切换音色，比如：把声音换成 xxx /** * 💬 连续对话 * * 查看哪些机型支持连续对话 👉 https://github.com/idootop/mi-gpt/issues/92 */ // 是否启用连续对话功能，部分小爱音箱型号无法查询到正确的播放状态，需要关闭连续对话 streamResponse: true, // 连续对话时，无响应多久后自动退出 exitKeepAliveAfter: 30, // 默认 30 秒，建议不要超过 1 分钟 // 连续对话时，下发 TTS 指令多长时间后开始检测设备播放状态（默认 3 秒） checkTTSStatusAfter: 3, // 当小爱长文本回复被过早中断时，可尝试调大该值 // 连续对话时，播放状态检测间隔（单位毫秒，最低 500 毫秒，默认 1 秒） checkInterval: 1000, // 调小此值可以降低小爱回复之间的停顿感，请酌情调节 /** * 🔌 其他选项 */ // 是否启用调试 debug: false, // 一般情况下不要打开 // 是否跟踪 Mi Service 相关日志（打开后可以查看设备 did） enableTrace: false, // 一般情况下不要打开 // 网络请求超时时长（单位毫秒，默认 5 秒） timeout: 5000, }, };配置完成后记得保存退出。3.创建并编辑docker-compose.yml文件：vi docker-compose.ymldocker-compose.yml内容示例：version: '3' services: mi-gpt: image: idootop/mi-gpt:latest volumes: - ./.migpt.js:/app/.migpt.js env_file: - ./.env restart: always 4.启动容器。使用以下命令启动：docker-compose up -d这样就完成了MiGPT的部署，是不是超简单！✨5.观察MiGPT的运行情况。通过以下命令：docker-compose logs -f 输出如下：MiGPT不仅能提高你的生活质量，还能给你带来无限的乐趣和便利，真的是神器一枚！快点尝试吧，绝对不会让你失望的！🌟更多关注：www.9418666.xyz
