构建python环境

conda create -n vicuna python=3.8    # 创建新环境
source activate vicuna                       # 激活环境
安装 FastChat
 
pip install fschat
从 github 下载 FastChat repository 安装
 
clone repository，然后 加入 FastChat folder
 
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
PS : FastChat commit version : 55051ad0f23fef5eeecbda14a2e3e128ffcb2a98
 
2 Vicuna Weights 生成
 
官方提供 的 Vicuna Weights 生成方式
 
我们将 Vicuna Weights 作为 delta weights 发布，以符合LLaMA模型许可证。您可以将我们的delta添加到 原始 LLaMA Weights 中，以获得 Vicuna Weights 。说明：
 
按照 此处 的说明，以 huggingface format 获取原始 LLaMA Weights;
 使用以下脚本通过应用我们的delta来获得 Vicuna weights 。他们会自动从我们的 Hugging Face account 下载 Vicuna Weights 。
 
注：权重v1.1 仅与 transformers>=4.28.0 和 fschat>=0.2.0 兼容。请相应地更新您的 本地package 。如果您按照上面的命令进行新的安装，那么您应该得到所有正确的版本。
 
本项目所使用的的 Vicuna Weights 生成方式
 
参考： How to Prepare Vicuna Weight
 
2.1下载 Vicuna Weight
 
当前版本的MiniGPT-4是建立在v0版本的 Vicuna-13B 之上的。请参考我们的说明来准备 Vicuna weights。最终的权重将在结构类似于以下的单个文件夹中:
 
注：Vicuna是一个开源的基于llama的LLM，其性能接近ChatGPT。我们目前使用的是v0版本的Vicuna-13B。
 
    git lfs install
    git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1  # more powerful, need at least 24G gpu memory
    git clone https://huggingface.co/lmsys/vicuna-7b-delta-v1.1  # smaller, need 12G gpu memory
请注意，这不是直接的 working weight ，而是LLAMA-13B的 working weight 与 original weight 的差值。(由于LLAMA的规则，我们无法分配LLAMA的 weight 。)
 
2.2 下载 原始LLAMA-7B或LLAMA-13B权重
 
然后，您需要按照HuggingFace提供的原始权重 或 从互联网上获取 HuggingFace格式的原始LLAMA-7B或LLAMA-13B 权重。
 
注：这里 直接 从 HuggingFace 下载 已转化为 HuggingFace格式的原始LLAMA-7B或LLAMA-13B 权重
 
 git lfs install
 git clone https://huggingface.co/decapoda-research/llama-13b-hf  # more powerful, need at least 24G gpu memory
 git clone https://huggingface.co/decapoda-research/llama-7b-hf  # smaller, need 12G gpu memory
2.3 构建真正的 working weight
 
当这两个 weight 备好后，我们可以使用Vicuna团队的工具来创建真正的 working weight 。
 
执行如下命令创建最终 working weight
 
python -m fastchat.model.apply_delta --base /path/to/llama-13bOR7b-hf/  --target /path/to/save/working/vicuna/weight/  --delta /path/to/vicuna-13bOR7b-delta-v1.1/ --low-cpu-mem
base-model-path：下载好的llama-13b模型的地址
delta-path：下载好的vicuna-13b模型的地址：
target-model-path：想要输出的最终的vicuna-13b的地址
 
运行Vicuna模型
 
python -m fastchat.serve.cli --model-path ./vicuna-7b-weight --style rich  --num-gpus 2
				
人手一个ChatGPT的梦想，就要实现了？
刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。
也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！
众所周知，由于OpenAI太不Open，开源社区为了让更多人能用上类ChatGPT模型，相继推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等模型。
但由于缺乏一个支持端到端的RLHF规模化系统，目前类ChatGPT模型的训练仍然十分困难。而DeepSpeed Chat的出现，正好补全了这个「bug」。
更亮的是，DeepSpeed Chat把成本大大地打了下来。
此前，昂贵的多GPU设置超出了许多研究者的能力范围，并且，即使能访问多GPU集群，现有的方法也无力负担数千亿参数ChatGPT模型的训练。
现在，只要花1620美元，就可以通过混合引擎DeepSpeed-HE，在2.1天内训练一个OPT-66B模型。
而如果使用多节点、多GPU系统，DeepSpeed-HE可以花320美元，在1.25小时内训练一个OPT-13B模型，花5120美元
1. 准备数据集：收集用于训练的代码数据集，可以包括多种编程语言的代码片段。
2. 数据预处理：对数据集进行预处理，包括代码分词、标记化等操作，将代码转化为模型可以理解的形式。
3. 构建训练集和验证集：将数据集划分为训练集和验证集，通常采用80%的数据作为训练集，20%的数据作为验证集。
4. 模型配置：选择合适的模型架构和超参数，如网络层数、隐藏层大小、学习率等。
5. 模型训练：使用训练集对模型进行训练，通过反向传播算法不断更新模型参数，使其逐渐优化。
6. 模型评估：使用验证集评估模型的性能指标，如准确率、损失函数等。
7. 调参优化：根据验证集的评估结果，调整模型的超参数，以提高模型的性能。
8. 模型保存：在训练过程中保存模型的权重和参数，以便在需要时进行加载和使用。
需要注意的是，以上步骤是一个基本的训练过程框架，具体实施时还需要根据实际情况进行调整和优化。
				openai.error.RateLimitError: You exceeded your current quota, please check your plan and billing det
					24226
                    Cherish450: 
                    ERROR:[email protected]] global cap.cpp:166 cv::VideoCapture::open VIDEOIO(CV_IMAGES): raised OpenCV exception:
OpenCV(4.8.1) D:\a\opencv-python\opencv-python\opencv\modules\videoio\src\cap_images.cpp:253: error: (-5:Bad argument) CAP_IMAGES: can't find starting number (in the name of file):