2024年3月3日消息,据@Tony Mongkolsmai报道,英特尔已在GitHub上开源了其NPU加速库,该库支持Windows和Linux系统。开发人员可以根据相应文档对软件进行优化,以适配新一代AI模型,包括TinyLlama和Gemma-2b-it。
根据官方描述,英特尔NPU加速库是一个Python库,旨在利用英特尔神经处理单元(NPU)的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。英特尔表示,该NPU加速库目前正在不断开发中,将来将推出多种能显著提升性能的功能。据IT之家报道,该库已实现了8位量化、Float16支持和torch.compile支持等功能。未来,该库还将支持NPU/GPU异构计算等功能。