国内的大佬开发的，下面是这个软件的自我介绍：

RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力。
关于本工具
本工具旨在降低大语言模型的使用门槛，做到人人可用，本工具提供了全自动化的依赖和模型管理，你只需要直接点击运行，跟随引导，即可完成本地大语言模型的部署，工具本身体积极小，只需要一个exe即可完成一键部署。
此外，本工具提供了与OpenAI API完全兼容的接口，这意味着你可以把任意ChatGPT客户端用作RWKV的客户端，实现能力拓展，而不局限于聊天。
底部的预设配置规则
本工具内置了一系列预设配置，以降低使用难度，每个配置名的规则，依次代表着：设备-所需显存/内存-模型规模-模型语言。
例如，GPU-8G-3B-CN，表示该配置用于显卡，需要8G显存，模型规模为30亿参数，使用的是中文模型。
模型规模越大，性能要求越高，显存要求也越高，而同样模型规模的配置中，显存占用越高的，运行速度越快。
例如当你有12G显存，但运行GPU-12G-7B-CN配置速度比较慢，可降级成GPU-8G-3B-CN，将会大幅提速。
关于RWKV
RWKV是具有Transformer级别LLM性能的RNN，也可以像GPT Transformer一样直接进行训练（可并行化）。而且它是100% attention-free的。你只需在位置t处获得隐藏状态即可计算位置t + 1处的状态。你可以使用“GPT”模式快速计算用于“RNN”模式的隐藏状态。
因此，它将RNN和Transformer的优点结合起来 - 高性能、快速推理、节省显存、快速训练、“无限”上下文长度以及免费的语句嵌入（使用最终隐藏状态）。

下载地址：https://github.com/josStorer/RWKV-Runner   

下面是我自己在办公电脑上部署的效果，首先办公电脑配置很差，显卡我用的是我之前买来玩SD画画的那张没视频输出的矿卡，所以是8G显存的，选的是7B的模型。总之我感觉一般来说，你要求不高，又不想蹬梯子或者自己写的论文或者小黄文之类的涉及隐私的，在自己电脑上跑虽然速度慢点，但配置够的话也不是不能用。