1.msvcp140.dll丢失的解决方方法
进入电脑的程序和功能只要是像下面图片的全部点击修复或者重新安装再或者从网上下载缺少的vc运行库文件放进自己的
C:\Windows\System里，
您的系统是64位的请将文源件复制到
C:\Windows\SysWOW64
目录。
2.由于llama运行旧的模型需要的版本和llama的版本需要兼容，所以在2023年5月12日以后的llama.cpp才能使用新的权重。
3报错“tok_embeddings.weight
你的ggml模型与ggml.cpp不兼容。
4.这种报错
你的模型下载后被你改了名字因此找不到GGML了。
5.如果你的llama的版本太高运行不了旧版本在pip这样输入
pip install --force-reinstall --ignore-installed --no-cache-dir llama-cpp-python==0.1.48 -i https：//pypi.tuna.tsinghua.edu.cn/simple
成功更换如下
6.error loading model: unknown (magic, version) combination: 67676a74, 00000003; is this really a GGML file? llama_init_from_file: failed to load model这种报错
查看自己下载模型的文件名称，如下面我自己的的三种他们分别是小羊驼训练出来的13B（9G），13B中文整合（25G），最大最新的65B(47G)。
据我所知现在的模型有三种格式分别是ggml 是 llama.cpp 格式，gptq 格式是一种将大部分 16 位权重减少到 4 位的量化技术。从 huggingface （hf）格式是纯格式模型，没有 ggml 也没有 gptq
这三种。在这里能直接使用的是GPTQ也就是我的第三种模型，hf需要转换和量化你可以使用最新的“convert.py”脚本和“quantize”程序进行转换和量化成功后就是我的第二种模型。如果你想使用第一种模型你须使用 v3的 ggml 模型。目前 oobabooga 或 llama-cpp-python 似乎不支持 v3 ggml 模型。
7.67676a74, 00000002; is this really a GGML file? llama_init_from_file: failed to load model
这种报错和第二种一样都是版本的原因，打开你的 text-generation-webui/requirements.txt文件
llama-cpp-python==0.1.50; platform_system != "Windows"
https://github.com/abetlen/llama-cpp-python/releases/download/v0.1.50/llama_cpp_python-0.1.50-cp310-cp310-win_amd64.whl; platform_system == "Windows"
把上面的代码复制进去，或者想办法把你的
llama-cpp-python
版本 升到
0.1.50
。
用cpu成功运行的模型非常的慢大概1秒2-3个字而且非常吃内存，运行30G以上的模型运行内存必须达到64G。
最后我的建议是使用Linux去搭建环境
Langch
ai
n-
Chat
atch（以前称为 langch
ai
n-
Chat
GLM），基于本地知识的 LLM（如
Chat
GLM），带有 langch
ai
n 的 QA 应用程序
一种利用langch
ai
n思想实现的基于本地知识库的问答应用，目标是建立一套针对中文场景与开源
模型
支持模式、可离线运行的知识库问答解决方案。
受GanymedeNil的项目document.
ai
和AlexZhangji创建了
Chat
GLM-6B Pull Request指令，建立了全流程可使用开源
模型
实现的本地知识库问答应用。本项目的最新版本中通过使用Fast
Chat
接入V
icu
na
、Alpaca、 LLaMA、Koala、RWKV 等
模型
，依托于langch
ai
n框架通过支持基于FastAPI提供的API调用服务，或使用基于Streamlit的WebUI进行操作。
依托于本项目支持的LLM与嵌入
模型
，项目可实现全部使用开源
模型
离线
部署
。同时，本项目也支持Ope
nA
I。
V
icu
na
号称"小羊驼"，V
icu
na
是基于Share
GPT
的7万条对话数据对LLaMA微调的
模型
，13b
模型
的效果据说可达到
Chat
GPT3
.5 92%的效果，部分问答的评分甚至超过了
Chat
GPT3
.5。里面v
icu
na
-13B-1.1-
GPT
Q-4bit-32g.GGML.bin和v
icu
na
-13B-1.1-
GPT
Q-4bit-128g.GGML.bin。下载哪个都可以，我用的是v
icu
na
-13B-1.1-
GPT
Q-4bit-128g.GGML.bin。
前不久，Meta前脚发布完开源大语言
模型
LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是 Georgi Gerganov 开源了一个项目llama.cpp次项目的牛逼之处就是没有GPU也能跑LLaMA
模型
大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个
模型
。
在linux上加载是正常的，但是在macbook上就报错：f
ai
led to load model。环境：macbook m1 + conda + python3.9。原来的是0.1.78，更新为48之后，的确是可以正常加载了。一开始以为
模型
坏了，删除重新下载，仍然报错。
它在不同音频的大型数据集上进行训练，也是一个多任务
模型
，可以执行多语言语音识别以及语音翻译和语言识别。Transformer 序列到序列
模型
针对各种语音处理任务进行训练，包括多语言语音识别、语音翻译、口语识别和语音活动检测。所有这些任务都联合表示为由解码器预测的一系列标记，允许单个
模型
替换传统语音处理管道的许多不同阶段。多任务训练格式使用一组特殊标记作为任务说明符或分类目标。
根据GitHub上简介可以知道：运行V
icu
na
-7B需要RAM>30GB或者14GB的显存运行V
icu
na
-13B需要RAM>60GB或者28GB的显存由于本地我没有足够的硬件设备，所以本次
部署
采用的是网上租用设备来
部署
我使用的是矩池云提供的服务。可使用CPU数可使用内存硬盘840 GB硬盘带宽可用空间CPU型号100 GB。
虽然我的服务器配置相当可以了，但是速度还是不快哦！毕竟是斯坦福大学训练的
模型
，对中文的确支持的不好。1、自己买个GPU服务器（如果不训练，可以随便买个高内存的即可），有些网站很便宜，小时起租！3、上面两个
模型
搞定跑起来之后，是否能训练自己的
模型
呢？，不知道哪里下载的我可以放出网盘地址。1、中文的大语言
模型
已经有人训练出来了。2、中文的alpaca
模型
也训练出来了。5、运行起来：./
chat
-m。好久没写代码了，上头了，强撸了！4、编译：make
chat
。，记得放到同一个目录哦。
国外团队从
GPT3
.5提取大规模数据完成本地机器人训练，并开源项目源码和
模型
支持,普通在笔记上运行
chat
gpt
。下面是他们分享的：收集到的数据、数据管理程序、训练代码和最终
模型
，以促进开放研究和可重复性。
OnPrem.LLM是一个简单的 Python 库，用于使用非公开数据运行本地大型语言
模型
。它默认使用的 7B 参数
模型
，你也可以通过提供使用默认的 13B
模型
。你还可以提供不同
模型
的 URL。OnPrem.LLM 主要受到private
GPT
项目的启发，旨在帮助将本地 LLM 集成到实际应用程序中。"""
其次,由於原始
模型
体积大速度慢等因素很多大老们发明了将其缩小但是不那么影响
模型
品质的方式,那就是量化,现在最
常见
的量化方式就是
GPT
Q和GGML.我们一般都是使用量化后的
模型
因為他们需要的VRAM或RAM能够降低很多.比如33B的
模型
没有量化大概需要50G~65G的VRAM或RAM,量化后24G就足够了.实际
模型
载入大概1XG,剩下的空间用来推理使用,已经完全足够.
