收起左侧
发新帖

年底上线!马斯克:训练Grok 3用了10万块英伟达H100,会很特别

时间:2024-7-3 09:47 0 316 | 复制链接 |

马上注册,结交更多好友

您需要 登录 才可以下载或查看,没有账号?立即注册

x
7月2日消息,亿万富翁埃隆·马斯克(Elon Musk)正在为其即将推出的AI聊天机器人Grok的新版本造势。马斯克周一在社交媒体X上回应了一则帖子,表示经过10万块H100芯片训练后的Grok 3聊天机器人将会“非常特别”。
DSC0000.jpg

这里所说的H100是英伟达开发的图形处理单元,也称为Hopper,是专门用于处理大语言模型(LLMs)数据的AI芯片。随着科技公司竞相开发更智能的AI产品,这些芯片成了硅谷的热门商品。
每块英伟达H100人工智能芯片的价格估计在3万美元左右,也有人估计价格高达4万美元,如果批量购买的话可能会有折扣。
通过简单计算,单单训练Grok 3就用了价值30亿至40亿美元的人工智能芯片,目前不确定这些芯片是否是马斯克公司直接购买的,此前报道称,马斯克旗下的xAI公司正在与甲骨文谈判,计划在未来几年内花费100亿美元租用云服务器。近年来,马斯克的公司已直接购买了大量的H100芯片。据报道,马斯克曾将原本供特斯拉使用的价值5亿美元的H100芯片转给了X公司。
相较于Grok 2,使用10万块H100训练Grok 3无疑是一个巨大的提升。今年4月,马斯克在接受挪威主权基金负责人尼科莱·坦根(Nicolai Tangen)的采访时表示,训练Grok 2需要大约2万块H100。
目前,xAI已发布了Grok-1和Grok-1.5版本,最新版本仅对X平台上的早期测试者和现有用户开放。马斯克在周一的帖子中透露,Grok 2计划于今年8月推出,并暗示Grok 3将于年底发布。
xAI没有回应置评请求。
10万块H100芯片听起来很多,但其他科技巨头,如Meta,也在大量购买GPU芯片。Meta首席执行官马克·扎克伯格(Mark Zuckerberg)今年1月曾表示,到2024年底,Meta将购买约35万块英伟达H100芯片,并表示包括其他类型的GPU在内,Meta将拥有约60万块芯片。
如果是这样的话,Meta将为构建自家人工智能能力花掉大约180亿美元。
这些芯片的积累也导致了过去一年中顶尖AI人才的招聘竞争变得异常激烈。AI初创公司Perplexity的创始人兼首席执行官阿拉文德·斯里尼瓦斯(Aravind Srinivas)谈到了他试图从Meta挖角一位资深研究人员的经历,但对方因扎克伯格拥有大量AI芯片而拒绝了他的邀请。
“我试图聘请一位非常资深的Meta研究员,他们的回答是:‘等你有了1万块H100 GPU再来找我。’”斯里尼瓦斯说。(辰辰)

                    
               
               
               
               
               
               
                    
                        延伸阅读
                        
                           
                           
                           
                                旧车比新车贵,比亚迪断了二手车贩子活路
                           
                           
                           
                           
                                7月2日外媒科学网站摘要:蚊子是否嗜血取决于它体内激素
                           
                           
                           
                           
                                国际热核聚变实验堆计划巨型环磁交付完成 明年启动实验
                           
                           
                        
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /2 下一条

快速回复 返回列表 返回顶部