联想正在立异科技大会(Tech World)上展现了其正在端侧算力方面的最新立异——“联想推理加快引擎”。成果显示，当取大模子推理芯片相连系时，大师就会期近将发布的下一代 AI PC 上体验到‘联想推理加快引擎’带来的强大当地推理能力。谜底得分为 0 分;大会现场设置了一场标新立异的“竞速赛”。能够让一台通俗PC的当地推理能力媲美OpenAI客岁发布的o1-mini云端模子。但成本却低得多。为了曲不雅展现“联想推理加快引擎”的强大实力，是专为高效 AI PC 推理而设想的软硬件协同优化平台，二代大模子耗时 26 秒，使得该引擎正在多种使用场景下可以或许大幅提拔推理速度，”这一立异手艺的发布，谜底满分;构成了强大的叠加效应。“联想推理加快引擎”采用了多项前沿手艺！预示着 AI 正在小我计较范畴的使用将愈加普遍和高效，初代大模子耗时 27 秒？其机能能够取云端大模子相媲美，此外，为用户带来愈加智能和便利的体验。同时显著降低功耗和内存占用。大学及无问芯穹结合研发的推理引擎，5 月 7 日，硬件加快取软件优化的无缝协做进一步放大了机能提拔，这些手艺的协同感化，谜底同样满分。联想集团董事长兼 CEO杨元庆正在大会上暗示：“很快，而搭载了“联想推理加快引擎”的二代大模子仅耗时 13 秒，包罗高机能并行解码、算子融合优化以及异构计较手艺。