readme

README.md

@@ -206,6 +206,17 @@ print(tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_to
 </details>
 <br/>
 
+
+## 基于QLoRA的DPO RLHF实现
+
+Anima模型又开源了基于QLoRA的最新的DPO技术。
+
+DPO是最新的最高效的RLHF训练方法。RLHF一直是生成式AI训练的老大难问题，也被认为是OpenAI的压箱底独家秘笈。DPO技术改变了这一切，让RLHF彻底傻瓜化！
+
+我们开源了RLHF的低成本QLoRA的实现，一台GPU机器就可以训练33B模型的DPO！
+
+具体详见：[这里](https://github.com/lyogavin/Anima/tree/main/rlhf)。
+
 # 参与贡献
 
 欢迎大家参与贡献本项目 🙏

rlhf/README.md

@@ -3,6 +3,14 @@
 
 *Read this in [English](README_en.md).*
 
+<div align="left">
+
+<a href="https://github.com/lyogavin/Anima/stargazers">![GitHub Repo stars](https://img.shields.io/github/stars/lyogavin/Anima?style=social)</a>
+[![Code License](https://img.shields.io/badge/Code%20License-Apache_2.0-green.svg)](https://github.com/LianjiaTech/BELLE/blob/main/LICENSE)
+[![Generic badge](https://img.shields.io/badge/wechat-Anima-brightgreen?logo=wechat)](https://static.aicompose.cn/static/wecom_barcode.png?t=1671918938)
+[![Generic badge](https://img.shields.io/badge/🤗-Huggingface%20Repo-green.svg)](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)
+</div>
+
 Anima模型又开源了基于QLoRA的最新的DPO技术。
 
 DPO是最新的最高效的RLHF训练方法。RLHF一直是生成式AI训练的老大难问题，也被认为是OpenAI的压箱底独家秘笈。DPO技术改变了这一切，让RLHF彻底傻瓜化！
@@ -58,7 +66,7 @@ cd rlhf
 
 ![training wandb chart](https://github.com/lyogavin/Anima/blob/main/rlhf/wandb_eval_loss_chart.png?raw=true)
 
-完整merge的模型已经[在Huggingface发布](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)。
+完整merge的模型已经开源：[![Generic badge](https://img.shields.io/badge/🤗-Huggingface%20Repo-green.svg)](https://huggingface.co/lyogavin/Anima33B-DPO-Belle-1k-merged)。
 
 以下是经过DPO训练的模型前后输出变化的举例：