首页 产业新闻 XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周

XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周

产业新闻 31

    3月18日消息,据外媒报道,马斯克领导的人工智能公司xAI当地时间周日在官网宣布,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。

    从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中,Grok-1的参数是最多的。

    XAI官网的信息还显示,Grok-1是由他们从头开始训练的模型,此次发布的是预训练阶段结束时的原始基础模型检查点,预训练阶段在去年10月份完成。这也就意味着他们开源的模型,没有进行针对对话等任何具体应用的微调。

    在官网上,xAI披露Grok-1是在大量文本数据上训练的基础模型,是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果,权重和架构均依照Apache 2.0开源许可协议发布。

    虽然Grok-1已正式开源,但在开源时间上,还是要晚于马斯克此前所宣布的时间。

    马斯克是上周一,在他所收购的社交媒体上宣布Grok大模型将开源的,当时他公布的开源时间是上周,xAI官网宣布开始发布的时间是周日。而包括美国在内的诸多国家,仍习惯将周日作为一周的开始,止于周六,3月17日是新一周的第一天,这也就意味着Grok-1并未如马斯克此前在社交媒体上所公布的那样,在上周开源。

    不过,按照国际标准化组织在ISO 8601国际标准中给出的日历星期表示方法,每个日历星期是始于周一,止于周日。如果按照这一标准,Grok-1的开源时间仍是在马斯克所说的那一周内。