阿联酋技术创新研究所利用新架构革新人工智能语言模型

2024年08月14日 18:10:09

打印 放大 缩小

经Hugging Face独立验证,Falcon Mamba 7B是全球性能第一的开源状态空间语言模型(SSLM)
SSLM的内存成本低,无需额外内存即可生成任意长文本块
Falcon Mamba 7B还优于传统的Transformer架构模型,如Meta的 Llama 3.1 8B和Mistral的7B
新模型体现了阿布扎比在人工智能研发领域的创新和开拓精神

阿联酋阿布扎比--(美国商业资讯)--技术创新研究所(TII)是全球领先的科研中心和阿布扎比先进技术研究理事会(ATRC)的应用研究支柱。该研究所发布了Falcon系列中的一款新的大型语言机型——Falcon Mamba 7B。经Hugging Face独立验证,新模型是全球性能第一的开源状态空间语言模型(SSLM)。

本新闻稿包含多媒体。此处查看新闻稿全文: https://www.businesswire.com/news/home/20240812747850/zh-CN/

作为Falcon系列的首款SSLM,它有别于之前所有使用Transformer架构的Falcon模型。新的Falcon Mamba 7B模型是该研究所正在进行的开创性研究及其以开源形式向社区提供突破性工具和产品的又一例证。

ATRC秘书长兼阿联酋总统战略研究和先进技术事务顾问Faisal Al Bannai阁下表示:“Falcon Mamba 7B标志着TII连续第四次获得人工智能模型排名第一,巩固了阿布扎比作为全球人工智能研发中心的地位。这一成就彰显了阿联酋对创新的坚定承诺。”

在Transformer架构模型方面,Falcon Mamba 7B在HuggingFace新引入的基准测试中优于Meta的Llama 3.1 8B、Llama 3 8B和Mistral的7B。同时,在其他SSLM中,Falcon Mamba 7B在旧基准测试中击败了所有其他开源模型,它将成为HuggingFace新的更严苛基准测试排行榜上的第一款模型。

TII首席执行官Najwa Aaraj博士表示:“技术创新研究所继续通过Falcon系列人工智能模型突破技术发展的界限。Falcon Mamba 7B代表了真正的开创性工作,为未来的人工智能创新铺平了道路,这些创新将增强人类的能力并改善生活。”

状态空间模型在理解随时间演变的复杂情况(如一整本书的内容)方面表现极为出色。这是因为SSLM不需要额外的内存来消化如此大量的信息。

另一方面,基于Transformer的模型在记住和使用它们之前处理过的序列信息方面非常高效。这使它们在内容生成等任务中表现出色,然而,由于它们会将每个单词与其他单词进行比较,这就需要大量的计算能力。

SSLM可应用于各种领域,如估计、预测和控制任务。与Transformer架构模型类似,它们在自然语言处理任务中也有出色表现,可应用于机器翻译、文本摘要、计算机视觉和音频处理。

TII人工智能跨中心部门代理首席研究员Hakim Hacid博士表示:“在推出Falcon Mamba 7B之际,我为TII促进其发展的合作生态系统感到自豪。这次发布标志着我们向前迈出了一大步,启发了新的视角,进一步推动了对智能系统的探索。在TII,我们正在突破SSLM和Transformer模型的界限,以激发生成式人工智能领域的更多创新。”

Falcon LLM的下载次数已超过4500万次,证明了该模型的巨大成功。Falcon Mamba 7B将基于TII Falcon License 2.0发布。这是一种基于Apache 2.0的宽松软件许可证,包含一项促进人工智能负责任使用的可接受使用政策。如需了解有关这一新模型的更多信息,请访问FalconLLM.TII.ae。

*来源: AETOSWire

免责声明:本公告之原文版本乃官方授权版本。译文仅供方便了解之用,烦请参照原文,原文版本乃唯一具法律效力之版本。

在 businesswire.com 上查看源版本新闻稿: https://www.businesswire.com/news/home/20240812747850/zh-CN/

CONTACT:

Jennifer Dewan,高级传播总监
Jennifer.dewan@tii.ae

阿联酋技术创新研究所利用新架构革新人工智能语言模型(照片:AETOSWire)

技术创新研究所(TII):性能基准 -(信息图表:AETOSWire)

责任编辑:admin

相关阅读

本网网友:時間不會等待
评论:哥,不寂寞。因为有寂寞陪着哥。

天猫网友:爱情° love
评论:看我不顺眼的人,能给您心里添堵,我真是舒坦。

淘宝网友: ≈   波点
评论:长大成人这件事最恐怖的地方之一,在于,你或许会变成自己曾经最看不起的那种人。

其它网友:A monologue. 独白。
评论:活在自己的心里,不要活在别人的眼里。

凤凰网友:㏒° 多情mmmm
评论:长的帅还不是靠爸妈,活得帅才算是真本事。

搜狐网友:惜一丝清冷
评论:当有人装B的时候、哥总是低下头。不是哥感到羞愧、而是哥在找砖头.

网易网友:没感觉  End.ゝ
评论:从小就有一个敌人叫“别人家的小孩”。他不爱玩游戏,从来只知道学习。

猫扑网友:空白  Koreyoshi
评论:只要爱情不要金钱的女人很多,只要爱情不要婚姻的男人更多。

天涯网友:看破红尘之罪
评论:终于知道为什么军训要左右转动了,因为这样晒得均匀。

腾讯网友:迷局  Memory 
评论:一开始学习就不开心了,一不开心就不学习了,一不学习就开心了,一开心就一天过去了。