为什么要有这个呢？还不是因为最近大模型实在是太火了(貌似已经火过了)，然后就像在自己本队跑一个。

然而本地只有一个gtx1650 4g，其他大模型动不动就8g 16g显存起步，但是rwkv 2g显存都可以，但是效果实际上并不好，最后选择了1B6的rwkv6

微调的过程是选择了淘宝租了个3090，其实rwkv微调起来很简单，只需要下载rwkv-runner，然后根据微调界面的设置，配置wsl就可以了

wsl和环境来说是比较简单的，除了wsl安装需要点技巧，如果c盘不够大还得换到d盘，现在网上有很多文章，就不多赘述了

主要就说下微调语料的格式。

如果主要是对话，就选择 {"text": "User: Hello.\n\nAssistant: I'm here, meow~.\n\nUser: Can you tell some jokes?\n\nAssistant: Of course, master. What kind of jokes would you like to hear?"} 这种格式

{"text": "User: 问题\n\nAssistant: 回答\n\nUser: 问题\n\nAssistant: 回答"}
{"text": "User: 问题\n\nAssistant: 回答"}
{"text": "User: 问题\n\nAssistant: 回答"}

基地模型其实就是下载你想要用的 比如我是1B6我就下1B6，你想用3B就下载3B的

然后开始训练之后，选择lora微调后的合并模型，然后加载自己合并后的模型，就可以使用了

其实最大的问题就是语料，这个得自己处理，其他的参数搜索下就可以了。

RWKV周边也算是很全的，很轻松就可以实现自己想要的东西，并不需要懂太多，hhh，这也算是记录一下我最近弄的东西吧。

实际上最近还有很多东西，但是网上都有的我就不想写，所以一直拖。

Source: github.com/k4yt3x/flowerhd