搜索：
搜索到 851 篇与 的结果-
vLLM是什么？OpenWrt+多客轻松部署 💡 大家好！今天给大家带来一篇关于vLLM的内容以及如何在OpenWrt上通过Docker部署vLLM的教程。准备好了吗？😉vLLM是一款用于大语言模型推理和服务的快速且易于使用的库。✨它的优点简直太多了，让我们一起来看看吧！超高的服务吞吐量：vLLM利用PagedAttention高效管理注意力键和值内存，连续批量处理传入请求。快速模型执行：支持CUDA/HIP图形，量化技术包括GPTQ、AWQ、SqueezeLLM、FP8 KV缓存，优化的CUDA内核。灵活易用：无缝集成热门的Hugging Face模型，支持并行采样、束搜索等多种解码算法，流式输出。因此，vLLM简直是LLM推理和服务的绝绝子！✨接下来，我们进入核心教程环节📚，看看如何在OpenWrt上通过Docker部署vLLM。第一步：准备工作系统要求：vLLM需要安装OpenWrt的X86设备，支持AVX512指令集架构，推荐的编译器为gcc/g++>=12.3.0。建议从openwrt.ai下载刷入固件。安装Docker：确保你已经在OpenWrt上安装并配置好Docker，可通过“系统”-“软件包”安装哦。安装git-http插件：需要使用git命令克隆项目。第二步：克隆git项目我们打开命令行终端（“服务”-“终端”），进入到/data/docker目录，使用git克隆项目：https://github.com/vllm-project/vllm.gitcd /data/docker git clone https://github.com/vllm-project/vllm.git第二步：构建Docker镜像进入vllm目录，使用官方提供的Dockerfile.cpu来构建vLLM的CPU环境镜像：cd vllm docker build -f Dockerfile.cpu -t vllm-cpu-env --shm-size=4g .这个命令会创建一个名为vllm-cpu-env的Docker镜像，并分配4GB的共享内存。🔥但这个构建的过程需要一定时间，请耐心等待。第三步：运行Docker容器使用以下命令运行刚才创建的Docker镜像：docker run -it --rm --network=host vllm-cpu-env这样就可以启动vLLM的服务啦！如果你有特定的CPU或内存要求，可以添加相应的参数，比如：docker run -it \ --rm \ --network=host \ --cpuset-cpus=<cpu-id-list> \ --cpuset-mems=<memory-node> \ vllm-cpu-env是不是很简单？就像ABC一样！🎉这个最主要用来提供类似OpenAI的API接口，可以给其他前端服务进行调用。更多功能vLLM不仅支持最流行的Hugging Face模型，还能处理Transformer类LLM、Mixture-of-Expert LLM以及多模态LLM，比如Llama、Mixtral和LLaVA。真的是YYDS啊！💯更多介绍请阅读官方文档：docs.vllm.ai/en/latest。今天的教程就到这里啦，大家赶快动手试试吧！😎更多关注：www.9418666.xyz -
Jellyfin+OpenWrt,打造属于你的私人影院 你是不是也在为家庭影音娱乐而烦恼？💭 想要一个私人影院，却不知道从何开始？别担心！今天就给大家介绍一款神器——Jellyfin，以及如何在OpenWrt上安装luci-app-jellyfin，轻松打造属于你的家庭影院🎥。Jellyfin是什么？Jellyfin是一款免费、开源的媒体服务器软件，可以帮助你组织、管理和共享你的多媒体文件。相比于其他收费的媒体服务器，Jellyfin不仅功能强大，而且完全免费，适合打工人💼。通过Jellyfin，你可以在各种设备上无缝播放你的媒体文件，是不是超有料？为什么选择OpenWrt？OpenWrt是一款针对嵌入式设备的Linux发行版，可以将你的路由器变成强大的家庭网络中心。在OpenWrt上安装Jellyfin，可以充分利用家里的网络资源，让媒体播放更加流畅🌐。安装前的准备工作在开始安装之前，我们需要确保你的OpenWrt设备已经刷好固件和Docker插件，建议从openwrt.ai下载刷机，可以自定义集成docker环境。如果没有安装，请赶快准备哦。安装步骤1.安装Jellyfin插件：首先，进入“系统”-“软件包”，点击更新列表，然后在筛选器输入luci-app-jellyfin后搜索，找到后进行安装。2.安装启动Jellyfin镜像：刷新页面后，进入“服务”即可看到Jellyfin选项，打开勾选 宿主网络，根据实际情况填写目录路径，如/data/docker/Jellyfin，安装点安装，等一会镜像拉取完成即可启动，Jellyfin就会在后台运行。3.配置Jellyfin：点击打开Jellyfin或者在浏览器输入http://<你的OpenWrt的IP>:8096，就可以访问Jellyfin的管理界面啦！根据提示选择语言，设置管理账号密码等。在这里，你可以根据自己的需求进行各种配置。首先，添加你的媒体文件夹，让Jellyfin扫描并管理你的媒体文件。然后，你可以创建多个用户账号，方便家人们一起使用。此外，Jellyfin还支持多种插件，如字幕下载、视频增强等，功能丰富，绝对是家庭影院的必备神器💎。通过上述步骤，你已经成功在OpenWrt上安装并配置了Jellyfin。从此，你可以随时随地享受高品质的家庭影音娱乐，是不是超值？建议收藏本文，随时查阅👀。更多关注：www.9418666.xyz
-
OpenWrt通过yt-dlp撸视频指南 嘿，小伙伴们！你们还在用传统方式撸视频吗？那可就OUT了！今天给大家介绍一个好用到哭的工具——yt-dlp。它可是从youtube-dl的项目分支出来的，现在多了超多新功能，比起原版，简直就是神仙般工具！yt-dlp支持Windows、macOS、Linux等多个操作系统，虽然它是命令行工具，但功能却超级强大！不仅能撸油管上的视频，像X(以前的蓝鸟)、BB这些常见的丰富资源的平台都能轻松搞定。🤩不过有的小伙伴可能会说，命令行工具用起来太麻烦了吧？别急！今天教大家如何在OpenWrt上部署luci-app-yt-dlp，这样就能通过图形界面操作，秒变神器，人人都能用！Step 1: 准备工作首先，确保你的OpenWrt设备已经联网。没有刷OpenWrt的小伙伴建议通过openwrt.ai平台进行下载刷机：刷机完毕后，重启设备，这样我们就能进入下一步啦！Step 2: 安装yt-dlp在OpenWrt上安装yt-dlp也很简单，只需要进入“系统”-“软件包”，先点击更新列表，帅选器查找luci-app-yt-dlp，安装即可。这是一个为yt-dlp设计的luci界面，可以让你通过图形界面下载Video，省去了繁琐的命令行操作。安装完成后，刷新一下面，现在你就可以在服务中看到短视频的选项啦！Step 4: 使用luci-app-yt-dlp进入短视频下载界面，输入你想下载的视频网址，点击下载视频按钮，yt-dlp就会自动帮你搞定一切！只要在支持的范围内，都能轻松下载！绝绝子！yt-dlp真的是一款超级实用的下载工具，尤其是结合luci-app-yt-dlp插件后，更是方便了许多。希望这篇教程对大家有所帮助，赶紧试试吧！更多关注：www.9418666.xyz
-
OpenWrt+Nextcloud，秒变个人云盘 你还在为存储文件而烦恼吗？今天我要给大家介绍一个宝藏工具——Nextcloud，一个好用到哭的个人云盘工具！更重要的是，我们会一步步在OpenWrt上安装和配置Nextcloud，轻松搞定你的个人云盘需求🤓。什么是Nextcloud？Nextcloud是一款开源的云盘程序，类似于Dropbox，但它最大的亮点就是你可以完全掌控自己的数据！无论是照片、视频、文档还是其他文件，你都可以随时随地访问和共享💼。为什么选择OpenWrt？OpenWrt是一个基于Linux的开源路由器固件，它功能强大且灵活，可以用于创建私人云。将Nextcloud安装在OpenWrt上，你就能利用家里的闲置路由器，构建属于自己的云存储系统，省钱又方便💡。安装准备在开始之前，你需要准备以下几个东西：一台安装了OpenWrt的路由器（建议从openwrt.ai下载安装）一个USB移动硬盘或U盘安装步骤1.连接存储盘：将USB移动硬盘或U盘插入你的OpenWrt路由器，确保设备能够识别，如我新增的2G U盘。进入首页找到该盘，点击格式化并挂载，根据提示完成后得到一个新的分区目录。2.安装nextcloud软件包：进入到“系统”-“软件包”，更新列表，筛选器搜索luci-app-nextcloud，找到后点击安装。这一步会自动下载并安装Nextcloud相关的软件包，耐心等待一会儿⌛。3.安装Nextcloud：刷新一下页面，导航到“服务”-“NextCloud”，在配置文件路径填入U盘的目录，如/mnt/data_sdc1，然后点击右下方的安装，它就会通过docker的方式安装启动好nextcloud。4.配置Nextcloud：启动完成后，点击打开Nextcloud，可访问你的Nextcloud界面，首次需要填入管理员账号密码，然后点击安装完成，进入Nextcloud漂亮的主界面啦🎉！使用体验在增加了CF Tunnel的内网穿透后，可以将手机、电脑上的文件全部同步到Nextcloud，随时随地访问和管理。更棒的是，你还可以和家人、朋友分享文件，让他们也体验到私人云盘的便利📂。有了Nextcloud，你再也不用担心文件丢失或存储空间不足的问题了！赶快动手试试吧！轻轻松松，小白必看，必备好用的私人云盘神器等你来体验🚀！更多关注：www.9418666.xyz
-
被夸爆的音乐tool！lx-music-desktop,冲不冲 宝藏级音乐神器来了！你还在苦恼找不到好用的音乐工具吗？今天就为大家推荐这款好用到哭的音乐工具——lx-music-desktop！它是由Electron和Vue开发的，支持Windows、Mac OS和Linux平台，给你最流畅的使用体验。🎧一、安装和下载：首先，你可以通过 Github 或者 蓝奏云盘 （密码：glqw）下载软件，如果链接无法打开，百度“蓝奏云链接打不开”找解决方案。网盘内有MAC和Windows版哦！下载安装后，就可以开始体验这款神器了。💻二、初次使用：由于这款软件的默认设置和UI操作不是特别友好，所以第一次使用前，建议大家根据自己的喜好浏览并调整软件设置，还可以阅读音乐播放列表机制以及可用的鼠标、键盘快捷操作，轻松上手。📋三、功能亮点：Scheme URL支持：从v1.17.0起，支持从浏览器等场景下调用LX Music，配套的油猴脚本可以让操作更方便，脚本安装地址请看：油猴脚本安装地址。数据同步服务：从v2.2.0起，发布了独立版的数据同步服务，如果你有服务器，可以将其部署到服务器上作为私人多端同步服务使用，详情请看项目说明。📂启动参数：LX Music支持多种启动参数，比如设置科学服务器、启动时播放指定音乐列表、禁用硬件加速等，详细说明请看启动 参数说明 。🔧四、数据存储路径：默认情况下，软件的数据存储在以下路径：Windows：%APPDATA%/lx-music-desktopLinux：$XDG_CONFIG_HOME/lx-music-desktop 或 ~/.config/lx-music-desktopmacOS：~/Library/Application Support/lx-music-desktop在Windows平台下，若程序目录下存在portable目录，则自动使用此目录作为数据存储目录（v1.17.0新增）。📂五、常见问题：使用过程中遇到问题？不用担心！常见问题已移至： 查看常见问题 ，让你随时随地找到解决方案。🛠️六、更新日志：想知道软件的最新变化？请查看： 更新日志 。📅总的来说，lx-music-desktop是一款功能强大且非常实用的音乐工具，不论你是音乐发烧友还是小白用户，都能找到适合自己的使用方式。快去下载体验吧！🎵更多关注：www.9418666.xyz
