公司产品广泛这是一种忖度解码依次-九游娱乐(中国)有限公司-官方网站

苹果在 AI 范畴也在不休奋力，但愿作念的更好。苹果和英伟达协作，文书通过开源 Recurrent Drafter（ReDrafter）本领，这是一种忖度解码依次，巧合权贵训导 AI 大说话模子（LLM）的推理速率。苹果公司默示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加快框架中，在 NVIDIA GPU 上，每秒生成 Tokens 速率最高训导 2.7 倍，有用裁减了用户蔓延和计较老本。在往时，创建大型说话模子的进程时常绝顶耗时和耗资源，企业无间需要购买多数的硬件缔造，进而加多了运营老本。

苹果的机器学习接头东说念主员指出公司产品广泛，LLM 越来越多地用于运转分娩期骗才气，提高推理效果对裁减计较老本和用户蔓延至关进犯。这次协作巧合在裁减蔓延的同期减少所需硬件数目，带来更为经济的处分有筹办。苹果也默示他们正在沟通使用亚马逊的 Trainium2 芯片来训导模子查考效果，瞻望使用 Trainium2 进行预查考的效果将比现存的硬件训导 50%。