Ce este un NPU și de ce contează pentru AI

Descoperă cum NPU-urile accelerează inteligența artificială și permit rularea funcțiilor AI direct pe dispozitiv.

În ultimii ani, producători precum Apple, Qualcomm, Google, Intel și AMD au început să promoveze tot mai mult un termen care până de curând era aproape necunoscut utilizatorilor obișnuiți: NPU.

Dacă ai urmărit lansările recente de smartphone-uri, laptopuri sau PC-uri cu funcții AI, probabil ai observat expresii precum:

• Neural Engine;
• AI Engine;
• AI Accelerator;
• NPU;
• Copilot+ PC.

Toate acestea au un element comun: nevoia de procesare eficientă a inteligenței artificiale direct pe dispozitiv.

Dar ce este mai exact un NPU și de ce a devenit atât de important?

Ce este un NPU?

NPU vine de la Neural Processing Unit.

Este un procesor specializat pentru operațiuni de inteligență artificială și machine learning.

La fel cum:

• CPU-ul gestionează sarcinile generale;
• GPU-ul este optimizat pentru grafică și procesare paralelă;

NPU-ul este proiectat special pentru calculele necesare modelelor AI.

Acesta poate executa rapid operații precum:

• recunoașterea imaginilor;
• procesarea vocii;
• traducerea limbajului;
• clasificarea datelor;
• generarea de rezumate;
• analiza conținutului multimedia.

De ce nu este suficient CPU-ul?

În teorie, orice model AI poate rula pe un CPU.

Problema este eficiența.

Modelele moderne efectuează milioane sau chiar miliarde de operații matematice.

Dacă toate aceste sarcini ar fi executate exclusiv de CPU:

• autonomia bateriei ar scădea;
• performanța sistemului ar fi afectată;
• timpii de răspuns ar fi mai mari.

NPU-ul reduce semnificativ aceste probleme deoarece este optimizat exact pentru acest tip de calcule.

Diferența dintre CPU, GPU și NPU

Un exemplu simplu:

Atunci când fotografiezi un document și telefonul identifică automat textul din imagine:

• CPU-ul gestionează aplicația;
• GPU-ul poate contribui la procesarea imaginii;
• NPU-ul execută algoritmii de recunoaștere.

Rezultatul este obținut mult mai rapid și cu un consum redus de energie.

Cum funcționează un NPU?

Un NPU este optimizat pentru operații matematice specifice rețelelor neuronale.

În loc să execute sarcini generale, acesta accelerează:

• multiplicarea matricilor;
• inferența AI;
• procesarea tensorilor;
• clasificarea modelelor.

Aceste operații reprezintă fundamentul majorității modelelor moderne de inteligență artificială.

Tocmai de aceea NPU-urile pot oferi performanțe ridicate cu un consum energetic mult mai mic decât CPU-urile clasice.

De ce apar NPU-uri în tot mai multe dispozitive?

Există trei motive principale.

1. Explozia funcțiilor AI

Astăzi folosim AI pentru:

• fotografii;
• asistenți virtuali;
• traducere;
• căutare;
• editare video;
• productivitate.

Aceste funcții au nevoie de hardware dedicat.

2. Procesare locală

Tot mai multe companii încearcă să reducă dependența de cloud.

Un NPU permite executarea sarcinilor AI direct pe dispozitiv.

3. Eficiență energetică

Un smartphone nu poate avea consumul energetic al unui centru de date.

NPU-urile au fost dezvoltate special pentru a rezolva această problemă.

Exemple de NPU-uri moderne

Apple Neural Engine

Apple utilizează Neural Engine în procesoarele din seriile:

• A17 Pro;
• A18;
• M3;
• M4.

Acesta accelerează funcțiile Apple Intelligence și numeroase procese locale.

Mai consulta multe informații despre Apple Intelligence.

Qualcomm Hexagon NPU

Procesoarele Snapdragon integrează unități Hexagon dedicate AI.

Acestea sunt utilizate pentru:

• procesare foto;
• traduceri;
• modele lingvistice locale;
• asistenți AI.

Detalii tehnice sunt disponibile pe Qualcomm.

Google Tensor

Google dezvoltă propriile procesoare Tensor pentru telefoanele Pixel.

Aceste cipuri sunt optimizate pentru:

• Gemini Nano;
• recunoașterea vocii;
• procesare foto computațională;
• funcții AI locale.

Deși accentul este pus adesea pe smartphone-uri, NPU-urile au devenit esențiale și pentru noua generație de PC-uri cu funcții AI. Mai multe informații despre integrarea acceleratoarelor AI în procesoarele moderne sunt disponibile pe platforma Intel AI.

Legătura dintre NPU și inferența AI

Atunci când un model AI este deja antrenat și trebuie doar să genereze rezultate, vorbim despre inferență.

Acesta este procesul explicat în articolul:

Cum funcționează inferența AI pe smartphone

Fără NPU-uri, multe funcții moderne de inferență AI ar fi considerabil mai lente.

NPU și Edge AI

NPU-urile reprezintă una dintre componentele fundamentale ale Edge AI.

Procesarea locală a imaginilor, vocii și textului este posibilă deoarece modelele rulează pe hardware specializat.

Acest concept este detaliat în:

Edge AI: de ce procesează datele local

Pe măsură ce dispozitivele devin mai puternice, tot mai multe funcții AI vor fi executate local.

Pot funcționa agenții AI pe un NPU?

Din ce în ce mai mult.

Modelele AI devin mai eficiente, iar producătorii optimizează software-ul pentru rulare locală.

Acest lucru deschide calea către agenți AI personali capabili să execute diverse sarcini direct pe dispozitiv.

Dacă vrei să înțelegi mai bine cum funcționează astfel de sisteme, citește și:

AI Agents vs Chatbots: care este diferența reală?

NPU vs GPU: cine va câștiga?

Deocamdată cele două tehnologii nu concurează direct.

GPU-urile rămân esențiale pentru:

• antrenarea modelelor;
• simulări complexe;
• randare.

NPU-urile sunt optimizate pentru:

• rularea modelelor;
• procesare locală;
• consum redus de energie.

Cele două tehnologii vor continua să funcționeze împreună.

Viitorul NPU-urilor

În următorii ani este probabil să vedem:

• NPU-uri mai puternice în smartphone-uri;
• laptopuri AI-first;
• dispozitive Smart Home capabile să proceseze local informațiile;
• roboți autonomi cu inferență locală;
• agenți AI personali integrați în sistemele de operare.

Microsoft, Apple, Google, Intel și Qualcomm investesc deja masiv în această direcție.

Concluzie

NPU-ul devine una dintre cele mai importante componente hardware ale erei inteligenței artificiale. Dacă CPU-ul a definit calculatoarele moderne și GPU-ul a revoluționat grafica, NPU-ul are potențialul de a transforma modul în care dispozitivele procesează inteligența artificială. Pe măsură ce AI-ul se mută din cloud direct pe dispozitive, aceste procesoare specializate vor juca un rol din ce în ce mai important în smartphone-uri, laptopuri și alte echipamente conectate.