超越GPT-3.5!马斯克旗下xAI发布参数量最大的开源大语言模型Grok-1

   时间:2024-03-18 13:30 来源:数据世界

【数据世界网】3月18日消息,近日,科技界迎来重磅消息,知名企业家马斯克的AI创新企业xAI对外宣布,其大语言模型Grok-1已正式实现开源,并向广大公众开放下载。

Grok-1这一大语言模型凭借其卓越的技术实力吸引了业界的广泛关注。它基于先进的混合专家系统(Mixture-of-Experts,MoE)技术构建而成,拥有高达3140亿的参数规模,这一数字远超当前业界领先的OpenAI GPT-3.5模型的1750亿参数,展现出其强大的处理能力。作为目前参数量最大的开源大语言模型,Grok-1遵循Apache 2.0协议,开放其模型权重和架构,为行业内的研究者提供了宝贵的资源。

据数据世界了解,xAI在训练Grok-1方面付出了巨大的努力。该模型始终由xAI团队自行训练,并在2023年10月成功完成了预训练阶段。此次发布的Grok-1是其在预训练阶段结束时的原始基础模型检查点,这意味着该模型尚未针对任何具体应用场景进行微调,但其潜力已经足以让人们对它充满期待。

xAI作为科技领域的新兴力量,其目标之一就是与OpenAI、谷歌、微软等业界巨头在大模型领域展开激烈的竞争。xAI的团队汇聚了来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等众多知名企业和研究机构的精英,他们的共同努力使得Grok-1得以诞生并成功开源。

尽管目前xAI尚未公布Grok-1的具体测试成绩,但这一开源大语言模型的发布无疑在行业内掀起了巨大的波澜。未来,Grok-1将如何与其他公司的大模型展开竞争,将成为业内关注的焦点。我们期待看到这一创新技术在未来能够带来更多突破性的进展。

 
 
更多>同类内容
全站最新
热门内容