使用RWKV-Runner进行模型训练(一)环境搭建
切换WSL版本
也可以参考本文末尾的视频使用RWKV-Runner自动安装Ubuntu子系统。
打开终端使用wsl --update
更新WSL子系统,并使用wsl --set-default-version 2
切换WSL版本,更新完成后重启RWKV-Runner
初始化环境
环境只会初始化一次,再次训练的时候就方便很多了。
可先下载RWKV-4-World-CHNtuned-0.1B-v1-20230617-ctx4096.pth 全球语言 0.1B v1 中文增强
模型测试环境是否配置成功。
转换数据:将JSON数据集转为可训练的数据
开始训练:选择下好的基底模型进行训练,初次训练会开启WSL
环境配置(会花费很长时间)
如果你的Ubuntu子系统为WSL1版本,则需要使用wsl --set-version Ubuntu-22.04 2
指令更新ubuntu子系统到WSL2版本(时间有点儿久,如果一直没反应,重启电脑然后再更新)
环境配置完成后会自动开始训练:出现这个折线图就表示已经开始训练了
参考文档
RWKV-Runner LoRA微调功能使用说明
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 InsectMk的个人空间!
评论