新闻  |   论坛  |   博客  |   在线研讨会
AI大戏未落幕 微软GPU资源却告急 内部已采取配额供给制
科创板日报 | 2023-03-19 08:37:39    阅读:87   发布文章

GPT-4 刚刚发布,而OpenAI最大金主微软还将在3月16日发布一整套使用GPT-4的Office 365工具。新工具/应用当然也需要算力支持,但据The Information消息,微软内部已陷入AI服务器硬件短缺的窘境


为了给新版必应聊天机器人与新款Office 365留下足够的资源,微软在明确客户需求量之前,不得不对AI硬件资源采取“配额供给”机制,限制公司内部其他AI工具开发团队的资源用量。
被迫“让位”的团队中,就包括各种机器学习模型开发队伍,例如微软的图灵自然语言生成模型。这些团队若想使用GPU开发新AI工具或测试现有AI软件时,必须向一位副总裁提交特别申请,获批后才能使用相关硬件资源。
而报道指出,实际上2022年末,微软就一直对内部GPU资源实行配额供给,但1月以来申请审批时间越来越长,如今部分申请需要等待几天甚至几周才能获批
GPT-4等新AI大模型需要在GPU上运行,而为了处理这些大模型带来的庞大计算需求,微软已将数万个GPU整合成一个个群集,分散到各个数据中心。
而AI硬件资源短缺的核心原因之一,便是新版必应聊天机器人与新款Office工具的资源需求尚不明朗

微软2月推出新版必应聊天机器人,目前还在加紧测算平均每天有多少人愿意使用这项服务,因此工程师暂时难以预测该功能所需的计算资源;
即将推出的新款Office 365工具中,新功能包括AI文档总结、个性化写作建议以及编辑建议等,这些也可能导致微软客户对OpenAI聊天机器人技术的需求大幅激增。

客户“嗷嗷待哺”
眼下正是OpenAI与微软试图推销产品、扩大销售范围的时候。
微软可通过Azure OpenAI服务,向创业公司销售软件,而OpenAI也可将软件直接授权给客户使用。这两项服务定价相同,每次请求收费都不到一美分。而根据双方合作内容,所有OpenAI机器学习模型都必须在Azure服务器运行。
两家公司推出的服务引起了广泛关注,许多公司都希望将ChatGPT的底层技术集成到自家产品中。但随着微软陷入AI硬件资源短缺,使用Azure OpenAI服务的新客户需要等待的时间越来越长

例如,市场营销软件创业公司TouchCast表示,几乎每次都要遇到延迟访问,不能立刻使用程序。该公司正为多家车企开发基于GPT的互动式用户手册,而这项技术正是通过微软Azure授权的。
不过,此前已购买服务的Azure AI客户几乎未受影响:无人驾驶汽车开发商Cruise和AI搜索创业公司Perplexity都表示,使用Azure的GPU资源时并未遇到困难。

微软:正在添置资源
微软表示,公司正在加紧添置更多AI硬件资源,并将遵循“优先满足客户需求、根据需求进行调整”的流程。同时其直言,微软并不担心AI硬件资源问题。
值得一提的是,微软去年11月已与英伟达共同宣布,将新增数万个处理器来扩大AI处理能力,但目前采购进度仍未明确
双方日前还宣布,Azure客户很快就能抢先使用英伟达新款H100 GPU。The Information指出,微软内部已有少部分团队开始使用H100,但多数部门尚未获得这项权限。


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客