Ker prepoznavanje vida na robu postaja vedno bolj ključna funkcija številnih izdelkov, se strojno učenje (ML) in umetna inteligenca (AI) počasi uveljavljata na številnih področjih uporabe.
Digi-Key Electronics
Avtor: Rolf Horn
Težava, s katero se soočajo razvijalci je, da vid, ki uporablja strojno učenje/umetno inteligenco, potrebuje več računske moči za izvajanje algoritmov prepoznavanja, kot pa je je morda na voljo v aplikacijah z omejeno porabe energije. Tudi stroški so večji, če so potrebne drage rešitve za toplotno upravljanje.
Cilj strojnega učenja/umetne inteligence na robu je poiskati optimalni arhitekturni pristop, ki bo uravnovesil zmogljivost in moč, poleg tega pa zagotoviti robusten ekosistem programske opreme, v okviru katerega bo razvita aplikacija.
Ob upoštevanju teh pogojev ta članek predstavi rešitev v obliki mikroprocesorske enote (MPU) serije RZ/V2 družbe Renesas Electronics [1] z vgrajenim strojnim pospeševalnikom umetne inteligence. Ta članek opisuje, kako je več težav, s katerimi se soočajo načrtovalci, namesto z mikrokontrolerjem (MCU) ali visokozmogljivim grafičnim procesorjem (GPU), mogoče rešiti z mikroprocesorsko enoto (MPU). Članek opisuje, kako je mogoče začeti načrtovati sisteme za prepoznavanje vida s serijo RZ/V2, ter nekaj »namigov in nasvetov« za olajšanje procesa.
Predstavitev mikroprocesorskih enot serije RZ/V2
Serija RZ/V2 je rešitev, ki z uporabo mikroprocesorjev s tremi jedri za razvijalce odklene številne zmogljivosti. Mikroprocesorji serije RZ/V2L vsebujejo dva procesorja ARM [2] Cortex-A55 s frekvenco 1,2 gigahertzov (GHz) in mikrokontrolersko jedro v realnem času (ARM Cortex-M33) s frekvenco 200 megahertzov (MHz). Poleg tega deli iz te serije vsebujejo grafični procesor (GPU), ki temelji na večpredstavnostnem procesorju ARM Mali-G31 z arhitekturo NEON enega ukaza/več podatkov (SIMD). Kombinacija teh treh procesorskih jeder in večpredstavnostnega procesorja omogoča lepo zaokroženo rešitev za razvijalce, ki se ukvarjajo s sistemi za prepoznavanje vida.
Serija RZ/V2 trenutno obsega dva razreda mikroprocesorjev, serijo RZ/V2L in serijo RZ/V2M. RZ/V2L ima enostaven procesor za slikovni signal (ISP), pogon za 3D-grafiko in izredno vsestranski nabor perifernih enot. RZ/V2M pa ima visokozmogljiv ISP, ki podpira ločljivost 4K in 30 slik na sekundo (fps). Ta članek se osredotoča na družino mikroprocesorjev RZ/V2L, ki obsega R9A07G054L23GBG [3] in R9A07G054L24GBG [4]. Glavna razlika med tema deloma je, da je R9A07G054L23GBG na voljo v 15 mm2 ohišju 456-LFBGA, medtem ko je R9A07G054L24GBG na voljo v 21 mm2 ohišju 551-LFBGA.
Blok diagram za serijo RZ/V2L je prikazan na sliki 1. Poleg treh procesorskih jeder mikroprocesorji vključujejo vmesnike za standardne periferne enote, kot so pomnilnik DDR3/DDR4, SPI, USB, Ethernet, I2C, CAN, SCI, GPIO in analogno-digitalni pretvornik (ADC). Nadalje deli vključujejo varnostne zmogljivosti, kot so varni zagon, kripto pogon in generator resničnih naključnih števil (TRNG). Kar pa resnično odlikuje to serijo mikroprocesorjev je pospeševalnik umetne inteligence s procesorjem za dinamično rekonfiguracijo (DRP-AI).
Skrivnost je pospeševalnik DRP-AI
Pospeševalnik DRP-AI je skrivnost uspeha serije mikroprocesorjev RZ/V2L, saj omogoča hitro izvrševanje aplikacij za prepoznavanje vida z nižjo porabo energije in nižji toplotni profil. DRP-AI obsega dve komponenti: DRP in umetno inteligenco »pomnoži in akumuliraj« (MAC), ki lahko učinkovito obdela operacije v konvolucijskih mrežah in vseobsegajočih plasteh z optimizacijo toka podatkov z internimi stikali (slika 2).
Strojna oprema DRP-AI je namenjena izvrševanju sklepanja umetne inteligence. DRP-AI uporablja edinstveno tehnologijo dinamičnega rekonfiguriranja, ki jo je razvila družba Renesas in ki zagotavlja prilagodljivost, obdelavo visoke hitrosti in učinkovitost napajanja. Poleg tega brezplačno programsko orodje, prevajalnik DRP-AI, uporabnikom omogoča uvedbo optimiziranih modelov umetne inteligence, ki hitro maksimizirajo učinkovitost delovanja. Več izvršljivih elementov, ki jih iznese prevajalnik DRP-AI, je mogoče vnesti v zunanji pomnilnik. Aplikacija lahko nato v času izvajanja dinamično preklaplja med več modeli umetne inteligence.
DRP lahko hitro obdela zapletene dejavnosti, kot je slikovna predobdelava, in plasti zbiranja modelov umetne inteligence z dinamičnim spreminjanjem strojne konfiguracije.
Prevajalnik DRP-AI
Prevajalnik DRP-AI ustvari z DRP-AI optimizirane izvršljive elemente iz naučenih modelov ONNX, neodvisno od kateregakoli ogrodja umetne inteligence. Razvijalec lahko na primer uporabi PyTorch, TensorFlow ali katerokoli drugo ogrodje za modeliranje umetne inteligence, če iznese model ONNX. Ko je model naučen, se ga pošlje v prevajalnik DRP-AI, ki ustvari izvršljive elemente DRP in AI-MAC (slika 3).
Prevajalnik DRP-AI ima tri glavne namene:
1. Razvrščanje vsake operacije za obdelavo modela umetne inteligence.
2. Skrivanje presežka, kot je čas dostopa do pomnilnika, ki se pojavi pri prehodu vsake operacije v razporedu.
3. Optimizacija strukture mrežnega grafa.
Prevajalnik AI-MAC-u in DRP-ju samodejno dodeli vsak proces modela umetne inteligence in tako uporabniku omogoči enostavno uporabo DRP-AI, ne da bi uporabnik moral biti strokovnjak za strojno opremo. Namesto tega lahko razvijalec izvaja klice prek dobavljenega gonilnika za izvajanje visokozmogljivega modela umetne inteligence. Poleg tega je mogoče prevajalnik DRP-AI nenehno posodabljati s podporo za novorazvite modele umetne inteligence, ne da bi bilo treba zamenjati strojno opremo.
Primeri uporabe sistema in njegovi procesi
Splošni tok procesov za uporabo mikroprocesorjev RZ/V2L za učenje in postavitev aplikacij za prepoznavanje vida je prikazan na sliki 4. Kot običajno lahko inženirji pridobijo nabor podatkov in ga uporabijo za učenje modela za prepoznavanje vida. Ne glede na to, ali želijo prepoznati mačke, izdelek v nakupovalnem vozičku ali dele v okvari na montažni liniji, se bo proces učenja odvil s pomočjo znanih ogrodij umetne inteligence. Ko je model naučen, se pretvori v obliko ONNX in se ga pošlje v prevajalnik DRP-AI, ki nato iznese objektno kodo, ki jo je mogoče izvršiti v strojni opremi DRP-AI. Podatke iz kamer, merilnikov pospeška ali drugih senzorjev se nato vzorči in preda v izvršljive elemente in tako nastane rezultat izvajanja sklepanja.
Obstaja več načinov, kako lahko inženirji izkoristijo mikroprocesorje RZ/V2L pri načrtovanju (slika 5). Mikroprocesor RZ/V2L je mogoče uporabiti v samostojnih zasnovah, kjer je RZ/V2L edini procesor v sistemu. Ker ima tri jedra in strojno opremo za pospeševanje umetne inteligence, dodatna računska moč morda ne bo potrebna.
Drug primer uporabe je uporaba RZ/V2L kot procesor umetne inteligence v bolj obširnem sistemu. V tem primeru uporabe RZ/V2L izvaja sklepanja umetne inteligence in vrne rezultat drugemu procesorju ali sistemu, ki nato ukrepa glede na ta rezultat. Izbrani primer uporabe je odvisen od različnih dejavnikov, kot so stroški, splošna arhitektura sistema, zmogljivost in zahteve odziva v realnem času.
Primer uporabe v resničnem svetu
Obstajajo številni primeri uporabe, kjer je mogoče uporabiti tehnologijo prepoznavanja vida. Zanimiv primer je supermarket. Trenutno mora zaposlena oseba ali kupec na blagajni običajno optično prebrati vsak artikel v vozičku. Zanimiv primer uporabe bi bil zaznavanje izdelkov na tekočem traku na blagajni s prepoznavanjem vida in samodejno zaračunavanje za te izdelke.
Prototip bi bilo mogoče izdelati s preprosto kamero CMOS in razvojno ploščo RTK9754L23S01000BE [5] družbe Renesas (slika 6). Razvojna plošča z vgrajenim RZ/V2L ima sistem na modulu (SOM) in nosilno ploščo, ki razvijalcem omogoča hitro nastavitev in začetek uporabe. Poleg tega razvojna plošča podpira Linux ter različna orodja, kot je prevajalnik DRP-AI.
Pregled, kaj je potrebno za pridobitev slikovnih podatkov in pripravo rezultata umetne inteligence, je na voljo na sliki 7. V tem primeru področja uporabe slike tekočega traku posname senzor CMOS prek ISP-ja na plošči. Nato se slika shrani v pomnilnik in vnese v pogon DRP-AI. Na koncu pogon DRP-AI izvede sklepanje in zagotovi rezultat umetne inteligence. Rezultat je na primer lahko, da je bila najdena banana, jabolko ali drugo sadje.
Rezultat običajno spremlja raven zanesljivosti od 0 do 1. Zanesljivost 0,90 na primer pomeni, da je umetna inteligenca prepričana, da je zaznala jabolko. Po drugi strani pa lahko zanesljivost 0,52 pomeni, da umetna inteligenca meni, da gre za jabolko, a ni prepričana. Ni neobičajno, da se izračuna povprečje rezultata umetne inteligence za več vzorcev, da se izboljša možnosti pravilnega rezultata.
Na koncu se v tem primeru okoli zaznanega predmeta nariše kvadrat in prikaže se ime prepoznanega predmeta skupaj z ravnjo zanesljivosti (slika 8).
Namigi in nasveti za začetek uporabe RZ/V2L
Razvijalci, ki želijo začeti uporabljati strojno učenje na mikroprocesorjih Renesas RZ/V2L, bodo ugotovili, da je na voljo veliko virov, ki jih lahko izkoristijo za začetno nastavitev in uporabo.
Tukaj je več nasvetov in trikov, ki lahko poenostavijo in pospešijo njihov razvoj:
- Začnite z razvojno ploščo in obstoječimi primeri, da dobite občutek za postavitev in zagon aplikacije.
- Če je treba izvršiti več sklepanj, shranite izvršljive modele v zunanji pomnilnik in uporabite zmožnosti DRP-A za hitro preklapljanje med modeli.
- Preglejte dokumentacijo in videoposnetke, ki se nahajajo na spletnem mestu za mikroprocesorje RZ/V družbe Renesas z vgrajeno umetno inteligenco.
- Prenesite Prevajalnik DRP-AI [6].
- Prenesite paket podpore [7] za RZ/V2L DRP-AI.
- Razvijalci, ki sledijo tem nasvetom in trikom, bodo pri pripravi aplikacije prihranili precej časa in živcev.
Zaključek
Strojno učenje (ML) in umetna inteligenca (AI) sta vedno bolj prisotna na številnih robnih področjih uporabe z zmožnostjo prepoznavanja predmetov v realnem času in postajata vedno bolj pomembna. Težavo za oblikovalce predstavlja iskanje prave arhitekture, s katero je mogoče izvajati umetno inteligenco/strojno učenje na robu. Grafični procesorji običajno porabijo veliko energije, medtem ko mikrokrmilniki morda nimajo dovolj računske moči.
Kot je bilo predstavljeno, ima mikroprocesorska enota serije RZ/V z DRP-AI več prednosti, kot so strojno pospešena umetna inteligenca ter obsežno verigo orodij in podporo za prototipe.
Viri:
1: https://www.digikey.si/en/supplier-centers/renesas-electronics-america
2: https://www.digikey.si/en/supplier-centers/arm
3: https://www.digikey.si/en/products/detail/renesas-electronics-america-inc/R9A07G054L23GBG-AC0/16187523
4: https://www.digikey.si/en/products/detail/renesas-electronics-america-inc/R9A07G054L24GBG-AC0/16187522
5: https://www.digikey.si/en/products/detail/renesas-electronics-america-inc/RTK9754L23S01000BE/16187521
6: https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/drp-ai-translator
7: https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv2l-drp-ai-support-package
