Llama 一直被视为 AI 界的开源大模型中的巨擘。然而,由于其开源协议的限制性条款,商业用途的免费使用一直未能实现。但这种情况在最近发生了根本性的转变,Meta 发布了备受瞩目的 Llama2,这是一个免费可供商业使用的版本。这个大型预训练语言模型 Llama2,出自 Meta AI 之手,它能接收任何形式的自然语言文本输入,并产生文本形式的输出。笔者也第一时间尝试了一下,这里记录一下 Llama2 的部署及免费试用方法。
Meta 这个网站
上进行申请,点击
Download the Model
按钮。
然后在申请表格上填写申请信息,填完滑到最下面勾选同意协议,点击提交按钮就可以了。
申请通过后收到的申请邮件如下,里面有一个下载链接,按照邮件中的说明使用下载链接下载模型,注意下载链接在 24 小时后会失效,且每个模型只能下载 5 次,失效后需要重新提交申请。
Meta Llama 网站
,可以看到有很多个 Llama2 的仓库,分不同量级、huggingface 版本,chat 版本等,我们随便选择一个仓库进入。
进入仓库后在 Readme 文档前面有一个访问限制说明,点击
Submit
按钮进行申请,只要申请其中一个仓库,Llama2 的其他仓库都会一并申请。
点击
Submit
按钮后是下面的页面提示,接下来就等待申请通过了。
TheBloke
Llama2 的官方仓库没有提供 Web 运行的程序,只有两个命令行示例脚本,运行起来不太直观,我们希望能够通过浏览器进行访问,这里介绍通过 Text-Web-Ui 这个工具进行 Llama2 Web 方式的部署。
Text-Web-Ui 是一个用来运行 LLM(大语言模型)的 Web UI 框架,目标是在一套 Web UI 框架上运行所有 LLM,对标的是图像 AI 生成工具
AUTOMATIC1111/stable-diffusion-webui
。
Text_Web-Ui 安装方式有两种,一种的是一键安装,另外一种手动安装,这里主要介绍一键安装的方式,手动安装的方式有兴趣的同学可以自行去官方仓库查看。
在这里下载安装包,各个平台的安装包都有,这里以 Linux 为例。
下载后解压,运行里面的
start_linux.sh
脚本,脚本会自动检测系统的 Python 环境并安装工具所需的所有依赖,安装后启动 Web 服务。
然后回到 HuggingFace 的 Llama2 仓库点击 copy 按钮复制模型名称。
在 Text-Web-Ui 的 Model 界面处粘贴刚复制的模型名称,点击
Download
按钮进行模型下载。
下载完成后,选择加载下载完成的 Llama2 模型,然后就可以和 LLM 进行对话了。
text-generation-webui-colab
Llama2 7B
Llama2 13B
Llama2 70B