Renesas Electronics Corporation
Avtor: Kavita Char, Glavna vodja za trženje izdelkov, Renesas
Na trgu umetne inteligence je prišlo do preobrata. Prej se je obdelava umetne inteligence izvajala predvsem v oblaku. Končne naprave so zbirale podatke iz senzorjev in jih pošiljale v oblak za sklepanje in odločanje, rezultati pa so se pošiljali nazaj na končne naprave.
Ta pristop je imel večje zamude, višjo porabo energije, varnostna tveganja in je zahteval ogromno pasovno širino za prenos podatkov v oblak. IDC ocenjuje, da je bilo v letu 2025 iz IoT naprav v oblak poslanih 79,4 ZB podatkov.
Zaradi teh razlogov se vse bolj uveljavlja umetna inteligenca na robu, ki omogoča hitre odzive v realnem času, ter večjo zasebnost in varnost podatkov, hkrati pa preprečuje zamude in stroške, povezane z oblakom. To tudi zmanjša porabo energije, zaradi česar je primerna za baterijsko napajane IoT naprave in potrošniške aplikacije. Uporaba umetne inteligence na robu tako ponuja prednosti avtonomije, manjše zakasnitve, manjše porabe energije, nižjih stroškov z manjšo pasovno širino do oblaka in večje varnosti, kar jo naredi privlačno za nove in nastajajoče aplikacije.
Obstaja več rešitev za Edge AI trg. Izbira med MPU in MCU za implementacijo AI je odvisna od specifičnih zahtev aplikacije. MPU so primerni za kompleksne aplikacije, ki zahtevajo visoko procesno moč, medtem ko so MCU idealni za aplikacije z nizko porabo energije in aplikacije, ki so občutljive na ceno, kjer sta ključnega pomena obdelava v realnem času in energetska učinkovitost.
Vir: Arm, Inc.
Potreba po namenskih AI pospeševalnikih
Obdelava nevronskih mrež zahteva različne operacije linearne algebre, skalarne produkte in vrsto hitrih, vzporednih množenj matrik, konvolucij in transpozicij. To zahteva večjo računsko moč procesorjev. Proizvajalci mikrokontrolerjev zdaj uvajajo naprave, ki vključujejo napredna CPU jedra z izboljšavami za podporo operacijam DSP in AI/ML, kot so vektorske razširitve Helium na jedru Arm Cortex-M85. Proizvajalci mikrokontrolerjev v mikrokontrolerje vgrajujejo tudi nevronske procesne enote (NPU), ki so zasnovane za pospeševanje AI-sklepanja.
Prednosti NPU-jev:
Višja zmogljivost obdelave AI/ML – NPU ima namensko strojno opremo za izvajanje osnovnih operacij nevronskih omrežnih modelov, kot so množenje matrik in konvolucije, ki so učinkovitejše in imajo manjšo zakasnitev kot CPU jedro. NPU so optimizirani za aritmetiko z manjšo natančnostjo (8/4-bitna cela števila), ki se uporablja v AI modelih, kar zmanjšuje kompleksnost, porabo pomnilnika in porabo energije, ne da bi zmanjšalo natančnost sklepanja.
Učinkovito razdeljevanje sistema – NPU-ji opravljajo naloge umetne inteligence in tako razbremenijo glavni CPU, ki lahko opravlja pred- in post-obdelavo podatkov umetne inteligence ter izvaja aplikacijsko kodo in druge sistemske naloge, kot so varnost, senzorski vmesniki in komunikacije, kar izboljša zmogljivost sistema.
Nižja potrebna napajalna moč – NPU lahko obdeluje modele z veliko manjšo porabo energije kot CPU jedro, zaradi česar so NPU-ji še posebej primerni za naprave na robu, kjer je nizka poraba energije ključnega pomena.
Višja varnost – NPU omogočajo obdelavo sklepanja in sprejemanje odločitev na napravi na robu, kar zmanjšuje prenos podatkov v oblak in zagotavlja zasebnost in celovitost podatkov.
Za uresničitev nizkoenergetske Edge AI je potreben popolnoma integriran, visoko zmogljiv MCU z umetno inteligenco, ki omogoča visoko varnost, nizkoenergetsko zmogljivost sklepanja in hitrejše odzive v realnem času.
Predstavljamo RA8P1 AI pospešeno MCU enoto
RA8P1 mikrokontrolerji so prvi Renesas-ovi mikrokontrolerji z enim ali dvema jedroma, ki podpirajo umetno inteligenco, in so izdelani po naprednem procesu TSMC 22nmULL, ki združuje najzmogljivejša Arm® Cortex®-M85 (CM85) in Cortex-M33 (CM33) CPU jedra z nevronskim procesorjem (NPU) Arm EthosTM-U55, kar omogoča ogromno izboljšanje zmogljivosti AI/ML, DSP in skalarne zmogljivosti – idealno za aplikacije Edge AI in IoT. Ti visoko integrirani mikrokontrolerji zagotavljajo neprimerljivo surovo zmogljivost 7300+ CoreMarks, 256 GOPS umetne inteligence in skupaj z velikim pomnilnikom in bogatim naborom perifernih naprav poganjajo zahtevne aplikacije Voice, Vision AI in Real-Time Analytics, kar zagotavlja večkrat višjo zmogljivost obdelave kot samo CPU jedro. Dvojedrni mikrokontrolerji RA8P1 znatno izboljšujejo zmogljivost aplikacij umetne inteligence, saj omogočajo večjo procesno moč, učinkovito razdelitev nalog med dvema jedroma ter izboljšano zmogljivost v realnem času in energetsko učinkovitost. Poleg tega so vgrajeni napredni varnostni elementi, nezamenljiv pomnilnik in TrustZone, ki omogočajo resnično varne aplikacije umetne inteligence.
Izboljšanje zmogljivosti AI sklepanja z Ethos-U55 NPU
Arm Ethos-U55 NPU [1], vgrajen v RA8P1, je namenski procesor, optimiziran za izvajanje osnovnih operacij nevronskih omrežnih modelov, kot so množenje matrik in konvolucije, ki so učinkovitejše in porabijo manj energije kot CPU jedro. NPU je zasnovan za nemoteno delovanje z jedri Cortex-M. Razbremeni CPU jedro in podpira vse operaterje, ki se uporabljajo v CNN in RNN. Podpira 8-bitne uteži in 8/16-bitne aktivacije ter za svoje delovanje uporablja sistemski SRAM in neizbrisljivi pomnilnik prek dveh 64-bitnih AXI glavnih vmesnikov. Uporablja stiskanje in raztezanje podatkov za izboljšanje hitrosti sklepanja in zmanjšanje potreb po pomnilniku. Podpira tudi nadomestni način – operaterji, ki jih NPU ne podpira, se vrnejo na glavno jedro procesorja Cortex-M, pospešeno v programski opremi z uporabo CMSIS-NN. Ethos-U55 podpira najpogosteje uporabljene modele nevronskih mrež, kot so DS-CNN, ResNet, MobileNet, Inception, Wav2Letter itd.
Renesas je uspešno prikazal izboljšanje zmogljivosti sklepanja z RA8P1 mikrokontrolerji, ki za obdelavo sklepanja uporabljajo Ethos-U55, s pomočjo nekaj primerov uporabe AI/ML, pri čemer je pokazal znatno izboljšanje zmogljivosti z NPU Ethos-U55 v primerjavi s CPU jedrom.
Modeli so uporabili:
Razvrščanje slik – ResNet8, MobileNet v2, MobileNet v3
Prepoznavanje ključnih besed – DS-CNN
Vizualne ključne besede – MobileNet v1
Zaznavanje objektov – Yolo_fastest, Yolov8N
Odkrivanje anomalij – ad_medium
Hitrejši razvoj aplikacij z ogrodjem RUHMI
Rešitev RA8P1 AI vključuje RUHMI okvir, prvo celovito AI razvojno okolje za mikrokontrolerje in MPU procesorje podjetja Renesas, integrirano v IDE Renesas e2 studio za optimizacijo in uvajanje visoko optimiziranih modelov nevronskih mrež na način, ki je neodvisen od okvira.
RUHMI omogoča optimizacijo modelov, kvantizacijo in pretvorbo v format, ki je prijazen za mikrokontrolerje. Zagotavlja vsa potrebna orodja, API-je, generator kode in runtime datoteke, potrebne za razvoj vnaprej usposobljenega modela na RA8P1. Vključena je tudi nativna podpora za pogosto uporabljane okvire ML TensorFlow Lite, Pytorch in ONNX, skupaj z uporabnimi primeri aplikacij in modeli, optimiziranimi za RA8P1.
Tipični potek dela z umetno inteligenco z RUHMI:
Optimizacija in prevajanje modela (offline): Predhodno usposobljen model umetne inteligence se vnese prek pogosto uporabljanih okvirov, kot je Tensorflow Lite, kvantizira v vmesni format Int8 in optimizira za izvajanje na jedru NPU ali CPU. Model se nato prevede v format, ki je primeren za MCU (običajno .c/.h) in ga lahko izvaja NPU.
Vnos in priprava podatkov: Surovi vhodni podatki (slika iz kamere, zvok iz mikrofona) se zajamejo z MCU. Ti podatki se nato pripravijo s CPU, da se prilagodijo in oblikujejo za vnos v model AI.
Izvajanje na NPU: CPU jedro pošlje pripravljene vhodne podatke in preveden niz ukazov AI modela v NPU za izvedbo. NPU prebere niz ukazov in z uporabo vhodnih podatkov in uteži modela (običajno shranjenih v lokalnem pomnilniku) obdela vsak sloj nevronskega omrežja, pri čemer posreduje vmesne rezultate sosednjim slojem omrežja.
Izhod in Post-procesiranje: Ko NPU obdela vse plasti nevronskega omrežja, izpiše rezultate sklepanja (npr. koordinate okvirja objekta in klasifikacijo ali signal »zaznana ključna beseda«) nazaj v glavni CPU, ki lahko nato izvede vse potrebne naknadne obdelave in ukrepe (npr. prekrivanje okvirjev na sliki, sprožitev ukrepa, pošiljanje podatkov v oblak).
Omogočene AI aplikacije z RA8P1
Z visoko zmogljivostjo sklepanja, nizko porabo energije in zmogljivostjo obdelave v realnem času je RA8P1 idealen za široko paleto aplikacij umetne inteligence v različnih tržnih segmentih, kot so:
Voice AI – Prepoznavanje ključnih besed, prepoznavanje glasu, prepoznavanje govora, identifikacija govorca.
Vision AI – Zaznavanje predmetov, razvrščanje slik, prepoznavanje gest, prepoznavanje obrazov, analiza slik, spremljanje voznika/vozila.
Analitika v realnem času – Odkrivanje anomalij, analiza vibracij, prediktivno vzdrževanje.
Različne aplikacije – Pametni HMI z zvočnimi in vizualnimi zmogljivostmi, izboljšane nadzorne kamere, robotika z vizualnimi in slušnimi vhodi za zaznavanje okolja in interakcijo.
V naslednjem poglavju bomo videli dva primera implementacij AI na RA8P1.
Primer uporabe 1: Razvrščanje slik na RA8P1
Slika 5 prikazuje AI aplikacijo za razvrščanje slik, ki analizira vhodno sliko in ji dodeli vnaprej dodeljeno oznako ali kategorijo.
Nevronski model se iterativno trenira na obsežnem nizu podatkov označenih slik, dokler natančnost napovedi modela ne doseže zelo visoke ravni. Ta vnaprej treniran model se lahko namesti na mikrokontroler RA8P1. Za sklepanje se v model vnese nova vhodna slika, ki preide skozi plasti treniranega omrežja. Izhodni sloj nato zagotovi verjetnostno porazdelitev po vseh kategorijah, kategorija z največjo verjetnostjo pa se dodeli kot oznaka slike. Ti izhodni podatki (oznaka slike in natančnost) se nato lahko pošljejo na zaslon ali v oblak.
V naši implementaciji smo z Ethos-U55 v primerjavi z uporabo jedra CPU zabeležili 33-kratno izboljšanje hitrosti sklepanja in porabo 62 mA pri izvajanju sklepanja s hitrostjo 1000 fps (vključno z dostopi do zunanjega pomnilnika).
Razvrščanje slik se lahko uporablja v različnih aplikacijah:
Varnost – prepoznavanje orožja, prepoznavanje oseb, odkrivanje anomalij
Trgovina na drobno – ustvarjanje katalogov izdelkov po kategorijah, upravljanje zalog
Kmetijstvo – prepoznavanje bolezni pridelkov, razvrščanje rastlin
Pametna mesta – prepoznavanje semaforjev/prometnih znakov in pešcev
Pametne naprave – prepoznavanje predmetov v hladilniku
Primer uporabe 2: Sistem za spremljanje voznika na RA8P1
Ta primer uporabe prikazuje sistem za spremljanje voznikov Nota-ai 2, ki predstavlja vgrajeno varnostno rešitev za izboljšanje varnosti v prometu v vseh vidikih vožnje z vozilom. Nota-ai DMS izvaja več modelov za zaznavanje neregistriranih voznikov, zaspanosti voznikov, uporabe mobilnih telefonov in motenj voznikov, kot je kajenje. Z uporabo RA8P1 smo opazili 4- do 24-kratno povečanje zmogljivosti sklepanja za štiri modele, ki se uporabljajo v tej aplikaciji – zaznavanje obraza, zaznavne točke obraza, zaznavne točke oči in zaznavanje telefona. Povprečna poraba toka, izmerjena med delovanjem vseh 4 modelov, je bila 86 mA.
DMS se uporablja v kamerah za armaturno ploščo, snemalnikih podatkov vozila in sistemih za spremljanje voznika.
Obe Vision AI aplikaciji optimalno izkoriščata vire na mikrokontrolerju RA8P1:
Učinkovito zajemanje vhodne slike prek slikovnega senzorja:
RA8P1 vključuje vmesnik MIPI CSI-2 z enoto za skaliranje slike ali 16-bitni vzporedni vmesnik kamere CEU za zajemanje surovih vhodnih podatkov slike.
Visoko zmogljiva obdelava sklepanja z NPU Ethos-U55:
Pospeševalnik umetne inteligence Ethos-U55 prejema obdelane slike iz vmesnika kamere MIPI CSI-2 ali CEU in obdeluje kompleksne modele umetne inteligence učinkoviteje in z manjšo porabo energije kot CPU jedro.
Hitrejša obdelava aplikacij s CPU Arm Cortex-M85 in Cortex-M33 jedri:
Visoko zmogljivo jedro CM85 s frekvenco 1 GHz in vektorskimi razširitvami Arm Helium se uporablja za predobdelavo in obdelavo vhodnih podatkov ter rezultatov sklepanja. Operacije, ki jih Ethos-U55 ne podpira, lahko izvede jedro CM85 v nadomestnem načinu. Ker je obdelava sklepanja prenesena na NPU, se lahko CPU CM85 v celoti uporabi za računsko intenzivne aplikacijske kode.
Jedro Cortex-M33 s frekvenco 250 MHz na dvojedrnih RA8P1 mikrokontrolerjih se lahko uporablja za nizkoenergetske naloge prebujanja in vzdrževanja.
Učinkovito shranjevanje slik, uteži modelov in aktivacij s pomnilnikom na čipu in pomnilniškimi vmesniki
Vgrajeni 1 MB MRAM in 2 MB SRAM sta ključnega pomena za shranjevanje uteži AI-modela, slik in vmesnih rezultatov.
Za večje modele se lahko uporabijo zunanji pomnilniški vmesniki z visoko prepustnostjo (OSPI z XIP in dešifriranjem v realnem času ter 32-bitni SDRAM).
Napredne grafične periferne naprave za grafično obdelavo in HMI:
Grafični LCD krmilnik (z vzporednimi ali MIPI DSI vmesniki) in 2D grafični motor se lahko uporabljata za prikazovanje slik in rezultatov sklepanja na LCD zaslonu.
Prilagodljive možnosti povezljivosti:
Na voljo je več možnosti povezljivosti za prenos rezultatov sklepanja, slik ali opozoril/obvestil na lokalne naprave ali v oblak za shranjevanje ali analizo.
Zaključek
Aplikacije Edge AI imajo veliko koristi od uporabe MCU-jev, pospešenih z AI. Omogočajo aplikacije, pri katerih so ključnega pomena zmogljivost v realnem času, nizka poraba energije in varnost. Dodajanje NPU k MCU-jem z nizko porabo energije je pomenilo preobrat v svetu AI-rešitev. Novi mikrokrmilniki RA8P1 drastično zmanjšujejo zakasnitve, omogočajo zasebnost podatkov in zmanjšujejo porabo energije, zaradi česar so idealni za aplikacije, ki jih poganja baterija. Celoten razvoj podpira celovit okvir RUHMI podjetja Renesas, ki razvijalcem pomaga učinkovito optimizirati in razviti svoje AI-modele na strojni opremi RA8P1.
Za več informacij obiščite www.renesas.com/ra8p1
Viri:
1: https://developer.arm.com/documentation/102420/0200
2: https://www.renesas.com/en/products/microcontrollers-microprocessors/ra-cortex-m-mcus/ra-partners/nota-ai-dms?queryID=322f313cedbf0998abe48607746aba40
