英特尔在GitHub上开源NPU加速库

2024年3月3日消息，据@Tony Mongkolsmai报道，英特尔已在GitHub上开源了其NPU加速库，该库支持Windows和Linux系统。开发人员可以根据相应文档对软件进行优化，以适配新一代AI模型，包括TinyLlama和Gemma-2b-it。

根据官方描述，英特尔NPU加速库是一个Python库，旨在利用英特尔神经处理单元（NPU）的强大性能在兼容硬件上执行高速计算，从而提高应用的效率。英特尔表示，该NPU加速库目前正在不断开发中，将来将推出多种能显著提升性能的功能。据IT之家报道，该库已实现了8位量化、Float16支持和torch.compile支持等功能。未来，该库还将支持NPU/GPU异构计算等功能。