思源多模态大模型是厦门大学人工智能团队自主研发的国产多模态大模型。通过在国产软硬件环境上利用海量数据训练获得的思源多模态大模型，支持文本、图片、视频、点云等多模态数据，具备中英文对话、内容生成、代码编写、数学考试、科学问答、图文生成等多种能力。
8 | }- S5 M. O8 A* }1 g( ]2 g
1 X+ e% K& x. _! q3 \0 k: \
思源多模态大模型具备从70亿到1000亿不同参数量、不同智能程度的多个版本，可以适配不同的应用场景和需求。
思源多模态大模型在科技部2024年主持的国产大模型评测中取得了70亿参数模型第一、200亿参数模型第三的成绩，并受邀参与公安部国产大模型评测，以优秀成绩通过测评
。
8 n% Y# s7 ^0 ?6 ?4 L
. Y# g m9 F) n
团队围绕思源多模态大模型研发的压缩和迁移部署算法，赋予了思源多模态大模型在机器人、服务器CPU、服务器GPU、服务器NPU、手机端CPU和国产计算盒等多种终端上部署的能力，可以针对不同应用领域、不同硬件环境、不同投入成本进行高效、低成本的大模型适配。
思源多模态大模型目前已展开在国防、消防、公安、金融、银行等多个垂直领域的应用适配工作
。
5 g4 R$ a9 \# J! o! P
0 d& W- w# }" y8 t2 c/ |
厦门大学南强特聘教授纪荣嵘就《思源多模态基础大模型》主题做第一个引导发言报告。他指出
从小模型到大模型的演变、单任务到多任务的应用、单模态到多模态的拓展都是AI模型的重要发展趋势
。
( \# y( O# ~' U' X' U
- B# I- U0 }+ v* [, u
思源多模态基础大模型是纪教授团队近年研究的重要成果，起名“思源”的灵感来源于厦门大学思源谷，寓意思想的源泉。
: _! b+ N$ o7 j% s0 Q
/ V" f: r6 A2 C6 j# n/ t$ @8 T- q
纪教授及其团队开展的国产紧致化多模态大模型研究中，所需攻克的关键技术包括
共性架构、高效训练、任务迁移和紧致化部署
四个方面，尤其关注
如何多终端部署
这个大模型推广应用的关键问题。
6 w" I8 J/ _4 c6 F
& }. K/ X& G; K3 s4 R0 a
所研发的思源多模态基础大模型和现有多模态大模型相比，不仅支持图文输入，还能在文本对话和多模态对话中进行自动切换，单模态和多模态性能都能做到一流水平。思源大模型目前不仅可供开源使用，未来也将部署落地到
陪护机器人
成为一项高效多模态大模型的特色应用。
+ C3 c/ Q |9 a% x* A+ G
/ H8 I4 R' z' @9 i) ~, V
据纪荣嵘教授介绍，
思源大模型将开源使用，其训练用到了近千张的英伟达显卡，1万亿token的数据
。支持中英文对话、内容生成、代码编写等能力。其另一个特色是
高效定制部署，可以用单张显卡在不到一天的时间内完成部署
。此外，科技部还对模型的稀疏量化部署做了深入的研究，使得思源大模型只需要少量的模型校准数据，就能在
不需要进行二次训练的情况下快速的模型压缩与加速
。此外，思源大模型还运用了
独有的高效迁移技术和压缩技术
。
! h3 Y6 |" Q, K& V3 t3 w: @. J
5 f4 N, @" O; u
目前，
思源大模型在多个大模型评测榜单均排名第一
。其一大特色是
支持插件模式
，将思源大模型作为插件，让企业调用远程模型，结合本地数据，形成企业定制化大模型。荣嵘教授表示，这种做法可以有效避免小型企业的数据被大模型企业拿走。
部分金砖国家企业家参访南强智视
p, U1 f' S* S: L; i
a5 P( x9 q* G* `; Q
俄罗斯储蓄银行国际业务部中国事务中心执行主任哈利德·迪雅诺夫（Khalid Dianov）、俄罗斯国家技术转移协会执行主任、创新和技术经纪人协会董事会成员兼共同创始人菲利蒙诺夫·阿列克谢（Aleksei Filimonov）、巴基斯坦拉合尔大学中巴经济走廊研究中心主任法里·阿布扎尔（Abuzar Ghaffari）、阿联酋Upwards公司CEO沈镭等
访问南强智视（厦门）科技有限公司
。
" ~1 k. L3 z m$ F! _8 I3 e3 i
南强智视是一家专注于人工智能视觉领域的专精特新科技企业。南强智视法人代表、厦门大学南强青年学者B类人才周奕毅副教授，以及南强智视副总经理许金泉等参与会见。本次参访由中俄数字经济研究中心（以下简称中俄中心）组织，中心执行秘书长余霄陪同。
- V" b b) K: t. ] H: X' X
5 T/ g9 Q3 x$ o7 a) ]& w I8 n
在参观南强智视公司相关产品后，与会专家、企业家
听取周奕毅关于思源AI大模型的介绍
。这一大模型依托厦门大学强大的科研团力量进行研发，可实现对视频、图片、文本等多媒体社交网络数据实时舆情感知功能；具备多模态智能对话、虚拟数字人合成与编辑等特色AI功能，其多模态理解能力达到国际一流水平；创新之处在于
首次提出不同模态统一构建、首次实现多任务动态微调、突破多模态大模型压缩限制
。这一大模型的
关键技术已进入了国家和国际人工智能标准，在ScienceQA排行榜综合性能排行第一、在AutoDL大赛获得总冠军、在腾讯多模态大模型评测总榜单位列第五（其中，在高校机构系列中位列第一）
。目前，
正与中俄中心联合规划扩充金砖语种能力，拓展数字经济、政务大模型功能，并努力实现落地应用推广，推动技术出海，赋能福建及金砖国家中小企业产业化升级
。
4 b- s0 @$ t1 F5 K) n1 P- D
- } l& S; n5 s7 b; I
与会的
各国专家、企业家对思源AI大模型表示非常感兴趣
，希望今后能与中俄中心、南强智视深入开展技术转移合作，构建技术转移合作网络，拓展技术转移渠道。
' m5 C& ^. T) i# r
( }. O( Q( N- p1 A# }
余霄表示，中俄中心将努力搭建国际技术转移、交流协作、创新合作的平台，连接国际知名技术交易机构、组织、企业和专家，促进跨国技术交易、交流合作和技术成果产业化，从投资稳定性、技术转移可持续性等方面推动国际技术转移向广度和深度发展。
4 g- b) Q* y. @0 S% m
8 S" I) h6 u2 d' s: z9 D
许金泉表示，
南强智视以厦门大学为依托，汇聚清华大学、哥伦比亚大学等多所高校科研成果，致力于打造标准化的视觉人工智能技术和以视觉感知为基础融合物联网大数据的智能分析平台
。 南强智视愿与各国技术转移专家、企业家加强产学研合作，共同推动国际技术转移工作。
0 ^" M3 i) l+ g1 d# x4 F) a- g
