NPU (Unité de traitement neuronal) : définition, fonctionnement et utilité

Définition

Une NPU (Neural Processing Unit, unité de traitement neuronal) est un bloc matériel conçu pour exécuter efficacement les opérations mathématiques propres aux réseaux de neurones, en particulier l'inférence (prédiction) de modèles d'traitement avancé. Contrairement à un CPU ou à une GPU, qui sont des processeurs généralistes, la NPU optimise son architecture pour les motifs de calcul récurrents en traitement avancé, tels que les multiplications matricielles et les opérations de convolution.

Principes de fonctionnement

La NPU réduit le coût énergétique et le temps de réponse des tâches d'traitement avancé en :

• Organisant ses unités de calcul autour des opérations de matrice (MAC, multiply-accumulate), cœur des couches denses et convolutives.
• Incluant une mémoire de travail locale pour minimiser les accès à la mémoire principale pendant l'inférence.
• Prise en charge de formats de données à basse précision (par exemple INT8 ou FP16) qui réduisent la bande passante et la consommation sans dégrader significativement la précision du modèle.

Architecture et position dans le système

Dans un SoC (système sur puce) moderne, la NPU coexiste avec le CPU, la GPU et, dans certains cas, un DSP. Le système d'exploitation ou le framework d'traitement avancé oriente les charges de travail vers l'accélérateur le plus adapté. La NPU ne remplace pas les autres processeurs ; elle complète leur fonction pour les tâches où sa topologie de calcul est plus efficace.

Applications typiques

• Reconnaissance et amélioration d'image en temps réel (caméras de smartphones).
• Assistants vocaux et traitement du langage naturel sur l'appareil.
• Segmentation vidéo, détection d'objets et stabilisation d'image.
• Inférence de modèles d'traitement avancé légers directement sur le terminal, sans dépendance au cloud.

Exemple concret

Un exemple documenté est la MediaTek NPU 655, un accélérateur neuronal intégré dans la plateforme mobile de MediaTek. Sa présence dans la fiche technique d'un produit indique que le fabricant a doté la puce d'un bloc dédié à l'inférence d'traitement avancé, la différenciant des solutions qui délèguent toutes les tâches d'traitement avancé à la GPU ou à des serveurs distants.

Comment interpréter sa présence dans un produit

Lorsqu'on rencontre une mention de NPU dans les spécifications d'un appareil, il convient de considérer :

1. Intégration locale de l'traitement avancé : l'appareil peut exécuter des modèles d'traitement avancé hors ligne, améliorant la confidentialité et réduisant la latence.
2. Consommation énergétique : pour des charges d'traitement avancé soutenues, la NPU est généralement plus efficace que la GPU, prolongeant l'autonomie de la batterie.
3. Capacité limitée : la NPU est optimisée pour des modèles de taille modérée ; les tâches d'entraînement ou les très grands modèles nécessitent toujours une infrastructure serveur.

Portée et limites

La NPU n'est pas un processeur universel : ses performances dépendent de la taille et de l'architecture du modèle exécuté dessus. Elle ne remplace pas le CPU pour la logique de contrôle ni la GPU pour le rendu graphique. De plus, la compatibilité avec des frameworks d'traitement avancé spécifiques (TensorFlow Lite, ONNX Runtime, etc.) varie selon le fabricant du SoC et le support logiciel fourni.

La NPU représente la spécialisation du matériel pour l'ère de l'traitement avancé à la périphérie : elle permet de résoudre localement des tâches qui nécessitaient auparavant le cloud, avec une latence et une consommation réduites.

Alias et dénominations alternatives

• Unité de traitement neuronal
• Accélérateur neuronal
• traitement avancé Engine / traitement avancé Processor (selon le fabricant)
• Neural Engine (terminologie utilisée par certains fabricants)