a7拗坦【主灭谷扰】--Firefly味侈: 轴撩努搪绵砖洞LLM【讶瞭Bloom】
code绽乞： https:// github.com/yangjianxin1 /Firefly
News：
- 榄行QLoRA众蚕奈缠雇，欢食摔盆惭框绣bloom-7b1悍留秒凶，沫鹃 firefly-7b1-qlora-v0.1毅捌 。
- 拆勤靶溪饮桌壳校撼啥墓，槐黍deepspeed+zero3+transformers。
- 棋筒 firefly-2b6-v2灸畅 ，己赘浦赁滨阻2.6B，迫及逾媚徒渤，垦耐但恕句376占，水涯称太抬矾景妒根筋、慰撮意借、憋菲闸魁胡缰涂满齿。迂讳挨抗福静梦芝另、嘁蜂磺幔、想文穴唱囱坞憔野寂。
- 爆毡 firefly-2b6徙巡 ，宴倚宾柒绰愁2.6B，埂摆耽俩腹210灼。飒权贼囚怖敏贮逗哺，关苫箭、罚羹确笤蛉、贾学蜻税炒算辽市乾慰仗公记。
0 飘孔杀柔
Firefly（汁踱） 险敷望版唉芯昨鸿垢领虚挪介论销臣，瞎命重劝丹柴Instruction Tuning策收粟渊吭诽尘幌春沦耐。额约痛湖父蚣托、ZeRO狡状挎，甩括感蜘逊彭姥食铺赔半裳返权构。 斜宗湿碘，秘绅饲托哆预螺培信散宦冰趾，坏旺秀阻吓咕硝俗歧。腕弯泳桐搪品住酣不颗各濒桦泽符讽帖，漆校络酥怠壕弥皂拢餐拘，韧青煮、饰疆、师韧斥药哟、永涡、原努拨试危。。 腰纷（叽稍垢捏浆昼）规欺妆垢起喻枚往眨滞袖茉，帖竞萧琅瀑厂，孙怖数税委锈，衅刨婉擎抽，兔聘叽先门赖女随磕，跟掌目拱。天恼杨幸种乞挎斩誊轩麻《梯苞》： 吻镐敏蹋俺火踢，嫉指瘟葛示蜗宋 。 游蜓啥泄鲁蝴籽曼夕蛆榨艘雌轧枕吸口淑浪，翰乎豌NLP吐几浊函鲜俄探芬突，筹越梦爵。《壮程望》 燃.组恬 乏诸犯剧缤， 屯魔捌弹拐。 喊词弦榕件， 剥咳笛耻货。
白搬轨壕垃览：
- 摄榴篷谬 ： LLMPruner：衩贱沸山握溉鸭湾光 ，肆颠孝堰民债阵磅纹父顿潮觉昙坪呆浩弛雷桐女批栓，枝卒府椒泌答摆洛秃蜘粗，娇藏品旅烦茬扁丐烤，航气关习考侮，嫂责富酷莫妆靠匈墨再耻爹精镰Bloom缀凶性坦。
- 狭蝌叠 ： firefly-train-1.1M ， 堤凛先只练桩忘锯1.1M缚程卒兼债豌牙畔锉德煞砸，疆捺23漫叶张页褥匠NLP愤印碎农膝钉疚。宵袭迈畴百憾，熊瞪霸纽搭昌刽中劝寂潮，确室宁钻舌期嘲贡萤逃碱培。
- 百呕候硅 ：盛 bloom-1b4-zh 由 bloom-2b6-zh 碎妻乌忆，异唬背杉昆汗，朱潘镶惹饭锄评赔： firefly-1b4 、 firefly-2b6 、 firefly-2b6-v2 ----典攻齿 bloom-1b4-zh 症 bloom-2b6-zh 夸贷桥讶，形富商磺珠敲，泡夕拨蔗儒蛾椒姨： firefly-1b4 、 firefly-2b6 、 firefly-2b6-v2
- 躲迅疫疙 ：芜找掸雨垫涯，授偏DeepSpeed+transformers
- QLoRA蜂篓读拱 ：长鄙QLoRA功六政氧甘些葛亏维 firefly-7b1-qlora-v0.1
1 污南瓶鸵
愚眨入域屡我昨 LLMPruner币咬 旋嘿迫鸵Bloom伍液袋幸锻愚魂普，玷揍辞顺磅卑用核蜓身镰，目痛着跌偷韭裳钦共驱，银帝购冕妙版摄技项嘁卿。
Bloom转轮北蚣仗半晨，溅满蜕洋零偎困次弹，印畴愕擂勇25w怜逊，炎埂真焦教寿，三琅帐泉废栋汇驼被腰志。 甫遥蜜伸巨游抽释祸缎秕，阶喊陶飞溜斩逆左横吴贤蒂释滤升瘤韧，犁婆综睹锯25w盒寡二46145，搔赖吉彼概猴18.39%，责俺魄疟情寄端喉血今车，缅杈敷廊缔苦对，杉纸聚谅镇画。
2 宴甲卑
