R&D magazine
Avtor: Massachusetts Institute of Technology
2017_257_10
GelSight senzor, ki je pritrjen na robotski prijemalnik robotu omogoča, da natančno ugotovi, kje je zagrabil majhen izvijač, ga izvleče in postavi nazaj v špranjo, čeprav prijemalnik kameri zakriva pogled na izvijač. (Foto: Robot Locomotion Group at MIT).
Osem let nazaj je MIT raziskovalna skupina Computer Science and Artificial Intelligence Laboratory (CSAIL) pod vodstvom Ted Adelson-a odkrila novo tehnologijo za senzorje pod imenom GelSight, ki uporablja fizični kontakt z objektom, s čemer omogoči izjemno podroben 3D zemljevid njegove površine.
Z montažo GelSight senzorjev na prijemalnike robotske roke sta dve MIT ekipi dali robotom večjo občutljivost in spretnost. Raziskovalci so predstavili njihovo delo v dveh člankih. V enem članku Adelson-ova skupina uporablja podatke GelSeight senzorja, s katerimi robot presodi trdnost površine, ki se jo dotika – kritična zmožnost domačih robotov, ki se srečujejo z vsakdanjimi predmeti.
V drugem članku skupina Russ Tedrake’s Robot Locomotion Group pri CSAIL uporablja senzorje GelSight zato, da robotu omogoča manipulacijo z manjšimi predmeti, kot je bilo prej mogoče. Senzor GelSight je na nek način nizko tehnološka rešitev težkega problema. Sestavljen je iz bloka prozorne gume – »gela« njenega imena – katerega ena plat je prevlečena s kovinsko barvo. Obarvana plast se ob pritisku na predmet preoblikuje v skladu s obliko predmeta.
Kovinska barva naredi površino objekta odsevno, zato je geometrija za računalniške vizualne algoritme precej lažja. Na senzorju, ki je nasproti z barvo prevlečeni površini gumijastega bloka, so montirane tri barvne luči in ena kamera. »[Sistem] ima obarvane luči postavljene na različnih kotih, zato pa ima ta material odsev in s pogledom na barve lahko računalnik ugotovi tridimenzionalno obliko tega, kar je ta stvar«, pojasnjuje Adelson, profesor za vizualne znanosti na John and Dorothy Wilson na Oddelku za možgane in kognitivne znanosti.
V obeh sklopih poskusov je bil senzor GelSight pritrjen na eni strani robotskega prijemala. Naprava je nekoliko podobna glavi krilca, toda s ploščatimi oprijemnimi površinami, ne pa s koničastimi prijemali.
Kontaktne točke
Za avtonomni robot je merjenje mehkosti ali trdote predmetov bistveno za odločanje ne samo o tem, kje in kako jih je potrebno prijeti, ampak kako se bodo obnašali ob premikanju, zlaganju ali položitvi na različne površine. Taktilno zaznavanje bi lahko pomagalo tudi robotom pri razlikovanju podobnih oblik.
V prejšnjem delu so roboti poskušali oceniti trdoto predmetov, tako da so jih postavili na ravno površino in jih nežno potrkali, da bi videli, koliko se podajo. Toda to ni glavni način, s katerim ljudje merijo trdoto. Zdi se, da naše sodbe temeljijo na stopnji, do katere se spreminja kontaktni prostor med predmetom in prsti, ko pritisnemo nanj. Mehkejši predmeti postanejo bolj ploski, s čemer povečujejo kontaktno površino. Raziskovalci MIT so sprejeli enak pristop. Wenzhen Yuan, diplomantka iz strojništva in prvo navedena avtorica v članku iz Adelsonove skupine, je uporabila kalupe za oblikovanje slaščic, s katerimi je naredila 400 skupin silikonskih predmetov s 16 predmeti na skupino. V vsaki skupini so predmeti imeli enake oblike, vendar različne stopnje trdote, ki jih je Yuan izmerila z uporabo standardne industrijske lestvice.
Nato je ročno pritisnila senzor GelSight proti vsakemu predmetu in zabeležila, kako se je kontaktni vzorec s časom spremenil, kar je posnela na kratek film za vsak predmet. Za standardizacijo oblike podatkov in ohranjanje velikosti podatkov, ki jih je mogoče obvladovati, je iz vsakega filma izvlekla pet okvirjev, enakomerno razporejenih v času, ki opisujejo deformacijo predmeta, ki je bil pritisnjen.
Na koncu je podatke shranila v nevronsko mrežo, ki je samodejno iskala korelacije med spremembami kontaktnih vzorcev in merjenjem trdote. Nastali sistem vzame izseke videoposnetka kot vhodne podatke in naredi rezultate trdnosti z zelo visoko natančnostjo. Yuan je tudi izvedla vrsto neformalnih eksperimentov, v katerih so ljudje prežvečili sadje in zelenjavo in jih uvrstili glede na trdoto. V vsakem primeru je robot, opremljen z GelSightom, prispeval na enako lestvico. So-avtorji članka navedeni poleg Yuan, so njeni mentorji Adelson in Mandayama Srinivasaana, višjega raziskovalnega znanstvenika na oddelku za strojništvo; Chenzhuo Zhu, dodiplomski študent na Univerzi Tsinghua, ki je lani poleti obiskal Adelsonovo skupino, in Andrew Owens, ki je doktoriral iz elektrotehnike in računalništva na MITu in je zdaj post doktorski študent na Berkeley Univerzi v Kaliforniji.
Omejeni pogledi
Članek skupine Robot Locomotion se je rodil iz izkušenj skupine z Robotics Challenge (ARC), ki je sodelovala pri akademskih in industrijskih skupinah za razvoj kontrolnih sistemov, ki bi usmerjali humanoidnega robota skozi vrsto nalog, povezanih s hipotetičnim izrednim dogodkom.
Običajno bo avtonomni robot uporabil nekakšen sistem računalniškega vida, ki bo vodil njegovo manipulacijo z objekti v svojem okolju. Takšni sistemi lahko zagotovijo zelo zanesljive podatke o lokaciji objekta – dokler robot ne dvigne predmeta. Še posebej, če je objekt majhen, ga bo veliko zakritega s prijemalnikom, zaradi česar je ocena lokacije veliko težja. Ko robot natančno pozna lokacijo objekta, njegova ocena postane nezanesljiva. To je bil problem, s katerim se je ekipa MIT soočila med DRC, ko je moral njihov robot dvigniti in vklopiti električni vrtalnik.
»V našem videu za DRC lahko vidite, da smo porabili dve do tri minute, da vklopimo vrtalnik,« pravi Greg Izatt, diplomirani študent elektrotehnike in računalništva in prvi avtor novega članka. »Bilo bi veliko lepše, če bi imeli posodabljanje v živo in natančno oceno, kje je bil ta vrtalnik in kje so bile roke relativno na robota.«
Zato se je skupina Robot Locomotion obrnila na GelSight. Izatt in njegovi soavtorji – Tedrake, profesor elektrotehnike in računalništva, aeronavtike in astronavtike ter strojništva iz Toyote, Adelson in Geronimo Mirano, še en podiplomski študent v skupini Tedrake, so oblikovali kontrolne algoritme, ki uporabljajo sistem računalniškega vida, da usmerijo prijemanje robota proti orodju, nato pa predajo oceno lokacije na senzor GelSight, ko ima robot orodje v roki. Splošno rečeno, s takšnim pristopom je podatke, ki jih daje sistem vida izziv uskladiti s podatki, ki jih ustvari taktilni senzor. Ampak GelSight bazira na kameri, zato je njegov prenos podatkov veliko lažje integrirati z vizualnimi podatki, kot s podatki iz drugih taktilnih senzorjev.
V Izatovih eksperimentih je moral robot s prijemalom, opremljenim z GelSightom, prijeti majhen izvijač, ga odstraniti iz ležišča in ga tja vrniti. Seveda podatki iz senzorja GelSight ne opisujejo celotnega izvijača, pač pa le njegov majhen delček. Toda Izatt je ugotovil, da je, če je bila ocena sistema vidnega sistema za začetni položaj izvijača točna v nekaj centimetrih, njegovi algoritmi lahko ugotovijo, katerega dela izvijača se dotakne senzor GelSight in tako določi položaj izvijača v roki robota.
