位置:- 正文
对 ChatGLM-6B 做 LoRA Fine-tuning
编辑：rootadmin对 ChatGLM-6B 做 LoRA Fine-tuning 对 ChatGLM-6B 做 LoRA Fine-tuning搭建依赖环境加载模型和 Tokenizer分析模型结构配置 LoRA构建数据集定义常量测试 Tokenizer 的编解码定义 Prompt构建 Attention Mask 和 Position IDs创建数据集开始训练预测保存训练模型重载训练后的模型
本文链接地址:https://www.jiuchutong.com/zhishi/299444.html
转载请保留说明！
下一篇链接:https://www.jiuchutong.com/zhishi/299445.html
推荐整理分享对 ChatGLM-6B 做 LoRA Fine-tuning，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:,内容如对您有帮助，希望把文章链接给更多的朋友！
ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做 Fine-tuning 就非常有价值了。