百度文心大模型4.5系列于近日正式向公众开源,并在GitCode这一国内顶尖的开源平台上首发亮相。此次开源旨在为众多企业和开发者提供一套实用性强、易于上手且能迅速落地的大模型解决方案。
现在,全球范围内的开发者、企业及研究机构都能通过GitCode平台,免费访问并下载文心大模型4.5系列,以满足不同场景下的部署、微调等需求。诚邀各界人士下载体验,一同踏上文心大模型的探索之旅。
文心大模型4.5系列涵盖了多款开源模型,其中包括混合专家(MoE)模型,其激活参数规模分别为47B和3B(最大模型总参数量高达424B),以及参数规模为0.3B的稠密参数模型,总计达10款。针对MoE架构,百度提出了创新的多模态异构模型结构,通过跨模态参数共享机制,实现了模态间知识的有效融合,同时保留了各模态的专用参数空间。这一架构非常适合从大语言模型向多模态模型的持续预训练,能在保持或提升文本任务性能的同时,显著提升多模态理解能力。
文心4.5系列模型依托飞桨深度学习框架,实现了高效的训练、推理和部署。在预训练中,模型的FLOPs利用率(MFU)达到了47%。实验数据表明,该系列模型在多个文本和多模态基准测试中均达到了业界领先水平,特别是在指令遵循、世界知识记忆、视觉理解及多模态推理等任务上表现尤为突出。模型权重遵循Apache 2.0协议进行开源,支持学术研究和产业应用。借助飞桨提供的开源产业级开发套件,该系列模型广泛兼容多种芯片,降低了后训练和部署的难度。
自2023年9月22日上线以来,GitCode平台迅速崛起,已拥有超过620万的注册用户和120万的月活用户,成为了极具影响力的开源社区。这一庞大的用户基础和活跃的社区氛围,为文心大模型的推广和应用提供了坚实的基础和广阔的发展空间。
作为全球开源生态的关键一环,GitCode平台凭借AI原生基因,不断优化开发者体验。平台集成了先进的代码托管服务,支持全面的版本控制、分支管理和协作开发功能,使开发者能够便捷地上传、管理和分享代码仓库,享受流畅的协同开发过程。GitCode还提供了丰富的开源组件库和多样化的开发工具,无论是个人项目还是企业级应用,都能获得安全、稳定和高效的代码托管解决方案,助力开发者实现卓越的代码管理与协作。
百度文心大模型与GitCode平台的深度融合,正引领一场技术层面的范式变革。这一融合不仅革新了传统的AI开发模式,还推动了中国开源生态的繁荣发展,加速了AI产业生态的壮大和可持续发展。可以预见,未来基于文心大模型的创新应用将层出不穷,为各行各业带来前所未有的变革与机遇。