调试运行华驼模型

项目地址： https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

运行 infer.py 报错

1 2	`UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 84: illegal multibyte sequence`

修改 prompter.py 21行

1	`with open(file_name, encoding='utf-8') as fp:`

修改 infer.py 18行

1	`with open(instruct_dir, "r", encoding='utf-8') as f:`

运行 infer.py 报错

1
2
3

HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' 
and '..' are forbidden, '-' and '.' cannot start or end the name, max length is
96: ''.

尝试下载模型参数，调用本地模型参数

1	`base_model: str = "./llama-7b-hf",`

运行 infer.py 报错（使用CPU）

The current device_map had weights offloaded to the disk. Please provide an offload_folder for them. Alternatively, make sure you have safetensors installed if the model you are using offers the weights in this format

https://github.com/huggingface/transformers/issues/18698

There is no support for using the CPU as a main device in Accelerate yet. If you want to use the model on CPU, just don't specific device_map="auto" .

参数去掉 device_map="auto"

修改 infer.py 13行（使用CPU）

1	`device = 'cuda' if torch.cuda.is_available() else 'cpu'`

运行 infer.py 报错（使用CPU）

1	`RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'`

CPU无法使用 fp16 （半精度），把 model.half() ，改成 model.float()

未微调模型结果（CPU跑了两个小时）

###infering###
###instruction###
小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。
###golden output###
小张可能患有心肌炎，建议进行心电图和心脏超声等检查来确定诊断。治疗方案包括使用泼尼松、生脉饮和三磷酸腺苷等药物，同时建议适当控制体温，保持良好的营养状况。
###model output###
小张感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减��

微调模型结果（基于医学知识库对 LLaMA 进行指令微调的 LoRA 权重文件）

using lora ./lora-llama-med
###infering###
###instruction###
小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。
###golden output###
小张可能患有心肌炎，建议进行心电图和心脏超声等检查来确定诊断。治疗方案包括使用泼尼松、生脉饮和三磷酸腺苷等药物，同时建议适当控制体温，保持良好的营养状况。
###model output###
小张可能患有心肌炎，需要进行心脏超声、心电图检查等辅助检查以确定诊断。治疗方案包括使用抗生素、抗坏血酸等药物进行治疗，同时建议加强营养，避免过度劳累。</s>
###infering###
###instruction###
小刘最近咳嗽流鼻涕，应该采取哪些治疗方案？
###golden output###
中药对咳嗽的治疗具有多靶点优势，如连花清咳片等，其融汇了东汉张仲景《伤寒论》中宣肺泄热、止咳平喘的麻杏石甘汤；明代叶文龄《医学统旨》中的清金化痰汤，其中清半夏燥湿化痰，桑白皮止咳平喘，苦杏仁镇咳平喘，桔梗宣肺利咽、镇咳排痰，前胡降气化痰；宫廷要药大黄通腑泄肺，让引起咳嗽的肺部热毒通过排便排出体外；再配合具有清热解毒作用的山银花、黄芩、连翘等，可以说是集中了清宣肺热、止咳化痰、促进排痰、利咽平喘的一批药物，发挥多靶点治疗作用。
###model output###
对于小刘的咳嗽流鼻涕，治疗方案可以考虑使用链霉素、氨苄西林、硫唑嘌呤等药物。</s>