RWKV大模型:本地运行整合包,支持N、A、I卡和CPU！

RWKV大模型:本地运行整合包,支持N、A、I卡和CPU！

RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力，它是一种纯 RNN 的架构，能够进行语言建模，目前最大参数规模已经做到了 14B，该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars，还在迅速增长中。

RWKV-Runner是什么？

RWKV Runner 提供了一个轻量级的环境，使用户能够在本地轻松运行 RWKV 大模型，并体验多样化的人工智能功能。凭借其仅约10MB的体积（不包括依赖项），RWKV Runner 成为了体验聊天机器人、辅助写作、音乐创作等AI应用的理想工具。

GitHub地址：https://github.com/josStorer/RWKV-Runner

 RWKV-Runner官方功能介绍

• RWKV模型管理，一键启动
• 前后端分离，如果你不想使用客户端，也允许单独部署前端服务，或后端推理服务，或具有WebUI的后端推理服务。 简明服务部署示例 | 服务器部署示例
• 与OpenAI API兼容，一切ChatGPT客户端，都是RWKV客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看API文档
• 全自动依赖安装，你只需要一个轻巧的可执行程序
• 预设多级显存配置，几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU，还可以在AMD，Intel等显卡上运行
• 自带用户友好的聊天，续写，作曲交互页面。支持聊天预设，附件上传，MIDI硬件输入及音轨编辑。 预览 | MIDI硬件输入
• 内置WebUI选项，一键启动Web服务，共享硬件资源
• 易于理解和操作的参数配置，及各类操作引导提示
• 内置模型转换工具
• 内置下载管理和远程模型检视
• 内置一键LoRA微调 (仅限Windows)

AI科技智库为广大用户提供了Windows环境下的一键启动包，可以轻松地启动并使用这一强大的工具。

如何下载资源？

1：下载压缩包
首先，您需要从以下链接下载一键启动包：

• 下载地址：https://www.aigchouse.com/990.html     您可以在页面右侧找到下载按钮进行下载。

2：启动程序

下载完成后，解压压缩包，点击”exe文件”

3：操作使用