本项目向社区提供 中文对话模型 Linly-ChatFlow 、中文基础模型 Chinese-LLaMA (1-2)、Chinese-Falcon 及其训练数据 。

模型基于 TencentPretrain 预训练框架全参数训练（Full-tuning）。

中文基础模型以 LLaMA 和 Falcon 为底座，使用中文和中英平行语料进行增量预训练，将其在英文上的语言能力扩展到中文上。同时，项目汇总了目前公开的多语言指令数据，对中文模型进行大规模指令跟随训练，实现了 Linly-ChatFlow 对话模型。

此外，本项目开源了从头训练的 Linly-OpenLLaMA 模型，包含 3B、7B、13B 规模，在 1TB 中英文语料上进行预训练，针对中文优化了字词结合tokenizer，此模型以 Apache 2.0 协议公开。

🚀 通过 Full-tuning （全参数训练）获得中文LLaMA、Falcon等模型，提供 TencentPretrain 与 HuggingFace 版本

🚀 模型细节公开可复现，提供数据准备、模型训练和模型评估完整流程代码

🚀 多种量化方案，支持 CUDA 和边缘设备部署推理

哆啦A梦新番(2023)【完结】

23年5月28日

WINDOWS 12系统概念版 iSO 镜像下载

23年7月13日

[WIN]开源虚拟显示器工具:Easy Virtual Display

23年10月14日

新版推特的5种赚钱模式：把握X.com（原Twitter）带来的流量变现机遇

23年8月9日

BetterQQNT(QQ插件) v0.2.0

23年6月27日

[官方版] 全网影视聚合播放器 ZyPlayer

9月19日

最新评论

PREV NEXT