模型下载

数据准备好后还需要选择合适的基底模型,推荐选择RWKV-4-World-CHNtuned-1.5B-v1-20230620-ctx4096.pth,该模型不仅显存占用低还具有中文增强的效果。

Hugging Face下载适合的模型。

训练

使用RWKV-Runner集成的LoRA微调功能对基底模型进行微调,当出现图形化Loss曲线时,意味着训练已正式开始。

训练时间会很长,需要耐心等待。

image-20240418182324540

训练过程中会在LoRA模型一栏,出现多个训练完成的LoRA权重。

选择一个权重,并点击合并模型,将会生成一个直接可用的完整模型。

image-20240418182347673

配置页面选择训练好的模型,点击运行即可正常启动,并暴露对话接口。

其他

WSL可能会出现内存不足的情况,需要手动设置WSL内存上限

修改C:\Users\你的用户名\.wslconfig

1
2
3
[wsl2] 
memory=24GB
swap=12GB

还有训练完成后可能会出现WSL内存不释放的情况,导致内存占用很高,可以使用以下命令释放内存

1
wsl --shutdown

参考文档

RWKV语言模型从入门到放弃,保姆级Training、Fine-tuning、Lora入坑教程

RWKV系列2-RWKV-LM

RWKV的微调教学,以及RWKV World:支持世界所有语言的生成+对话+任务+代码

大模型训练数据集介绍

RWKV-Runner LoRA微调功能使用说明