上周四,Meta首席执行官马克·扎克伯格在Threads上宣布,他将把Meta的重点放在构建全面的通用人工智能上,然后将其作为开源软件向所有人发布。
为此,Meta将准备屯集业内最为强大的AI 算力。扎克伯格表示,公司将购买超过35 万块英伟达H100 GPU—— 这是目前业界构建生成式AI 性能最强大的芯片。
|Meta正在进行一次创业风投式的大额投资
有第三方投资机构的研究估算,英伟达面向Meta 的 H100出货量在 2023年能达到 15万块,这个数字与向微软的出货量持平,并且至少是其他公司的三倍。扎克伯格表示,如果算上英伟达A100 和其他人工智能芯片,到2024 年底,Meta的 GPU 算力将达到等效近60 万 H100。
H100虽然性能强大,但价格也极其高昂。每块GPU 的成本约为2.5 万美元(根据英伟达早期的商品名册显示,16块 H100 GPU组成的系统成本约为 40万美元)到 3万美元。如果按照这个数字来计算的话,Meta追求通用人工智能光在GPU 上的花费可能是87.5 亿美元到105 亿美元。
|Meta正在训练 Llama 3
Meta对 AGI新的、更广泛的关注受到了自家Llama 2 大模型的影响。Meta认为 Llama 2生成代码的能力对于人们在Meta 应用程序中使用大模型没有意义,但它仍是构建更聪明AI 的重要技能之一。不过,Llama 2 的写代码能力比较差。
扎克伯格抛出一个假设:对于大模型,代码能力看起来似乎并不是那么重要,因为不会有很多人在WhatsApp上问编码问题。不过事实证明,编码非常重要,它可以让大模型理解知识的严谨性和层次结构,并且通常具有更多直观的逻辑性。
因此,扎克伯格透露,Meta正在训练的 Llama 3 将具有更强代码生成能力。并且与谷歌的Gemini 模型一样,Llama 3 还将具有更高级的推理和规划能力。
从Llama 2跳到Llama 3可能不只是简单地进行扩展,并且可能比从Llama 1跳到Llama 2需要花费更长的时间。Llama2在某些应用中达到了GPT-3.5的水平,并且还通过微调和额外功能由开源社区进行优化。例如,最近发布的基于Llama2的CodeLlama,通过微调在Human Eval编码基准测试中达到了GPT-3.5和GPT-4水平的结果(取决于测量类型)。
|开源与闭源的重要议题
不同于OpenAI、Google DeepMind、Anthropic、Cohere等公司选择闭源并将其最先进的模型作为专有,Meta是少数支持开源并选择公开其最先进模型的公司之一。
但值得注意的是,Llama 2并非完全免费。根据Meta的授权条款,如果在Llama 2版本发布之日,被许可方或被许可方的关联公司提供的产品或服务的每月活跃用户数超过7亿,该用户或公司则必须向Meta申请许可,Meta会对此类授权严格设限。
竞泰观点|Meta加入巨头们的智能战斗
OpenAI、谷歌都明确投身通用人工智能(AGI)发展,现在,Meta也加入了战斗。扎克伯格的目标是将AI更直接地推广给其数十亿用户,可见是产品驱动的技术研发。
当下,美国各大巨头都围绕生成式AI的角逐愈演愈烈,展开了人才、算力、产品、生态、用户等多方面的争夺战。每一家的侧重又有所差别,但都不会允许自己有明显的短板。
那么,Meta是不是元宇宙做不下去了转做生成式AI?这个问题或许不是最重要的。最重要的是,Meta能否在元宇宙的社交属性和用户流量池基础上,打造自己的护城河。