使用RWKV-Runner进行模型训练（三）开始训练

模型下载

数据准备好后还需要选择合适的基底模型，推荐选择RWKV-4-World-CHNtuned-1.5B-v1-20230620-ctx4096.pth，该模型不仅显存占用低还具有中文增强的效果。

到Hugging Face下载适合的模型。

使用RWKV-Runner集成的LoRA微调功能对基底模型进行微调，当出现图形化Loss曲线时，意味着训练已正式开始。

训练时间会很长，需要耐心等待。

训练过程中会在LoRA模型一栏，出现多个训练完成的LoRA权重。

选择一个权重，并点击合并模型，将会生成一个直接可用的完整模型。

在配置页面选择训练好的模型，点击运行即可正常启动，并暴露对话接口。

WSL可能会出现内存不足的情况，需要手动设置WSL内存上限

修改C:\Users\你的用户名\.wslconfig：

1
2
3

[wsl2] 
memory=24GB
swap=12GB

还有训练完成后可能会出现WSL内存不释放的情况，导致内存占用很高，可以使用以下命令释放内存

1	wsl --shutdown

RWKV-Runner LoRA微调功能使用说明