Algoritmy spätnej väzby sa počas učenia sa každým dňom zlepšovali. Výsledkom bola 84-percentná úspešnosť.
Zdroj: Google Research
Roboty na triedenie odpadu, ktoré sa ho dva roky učili separovať premávaním sa po kanceláriách spoločnosti Google, teraz vedia efektívne triediť predmety v nádobách na recykláciu, kompost a odpad.
Jedným zo spôsobov, ako naučiť stroje vykonávať úlohy, je učenie sa spätnou väzbou. Ide o techniku strojového učenia, pri ktorej sa stroje učia z vlastných skúseností a chýb pomocou systému odmeňovania za pozitívne výsledky a potrestania za negatívne. Tým sa výkon robota stále zlepšuje. Technika je obrovský prísľub v oblasti robotiky. Má potenciál spôsobiť revolúciu v spôsobe, ako inžinieri navrhujú roboty a ako sa tieto stroje budú používať v každodennom živote.
Učia sa na vlastných chybách
Medzi najvýznamnejšie účinky spätnoväzbového učenia sa je to, že robot je schopný prispôsobiť sa meniacemu sa prostrediu a zlepšiť svoj výkon prostredníctvom praxe. Roboty by sa teda mohli dať trénovať v zložitých a dynamických prostrediach, ako sú továrne, nemocnice a dokonca aj domácnosti. Algoritmy spätnej väzby by umožnili robotom naučiť sa, ako vykonávať úlohy efektívne aj v situáciách, keď sa úloha alebo prostredie menia.
Napriek sľubným výhodám zriedka vidíme roboty s podporou učenia sa v každodennom živote. Je to z veľkej časti spôsobené tým, že je veľmi ťažké vyvinúť algoritmus, ktorý si poradí s obrovskou zložitosťou a rozmanitosťou skutočného sveta.
Separujúce roboty v kanceláriách Googlu
Tím inžinierov z Google Research sa rozhodol na dva roky využiť flotilu 23 robotov s podporou spätnoväzbového učenia sa na triedenie a recykláciu odpadu.
Keď ľudia netriedia odpad správne, recyklovateľný materiál sa môže kontaminovať, prípadne v komposte skončí niečo, čo tam nemá byť. V experimente sa robot potuloval po budove a hľadal „odpadové stanice“ (koše na recyklovateľný materiál, kompost a odpadky). Robot mal za úlohu priblížiť sa ku každému košu a roztriediť predmety medzi jednotlivými sekciami tak, aby všetky recyklovateľné materiály (plechovky, fľaše) boli umiestnené v recyklovateľnom koši, všetky kompostovateľné predmety (kartóny, papierové poháre) v časti určenej na kompostovanie a ostatné v odpadkovom koši.
Z pohľadu človeka to môže znieť ako jednoduchá úloha, ale pre robot ide o veľmi zložitý problém. Rozmanitosť predmetov, ktoré by mohli byť v košoch, je prakticky nekonečná. Tím Google Research využil na vytvorenie schopného robota údaje zo štyroch zdrojov na trénovanie modelu.
Úspešnosť triedenia bola vysoká
Roboty sa pred tým, ako ich vyslali do kancelárií, učili v robotických triedach, kde boli zriadené odpadové stanice s rôznymi predmetmi. Tím vyhodnotil algoritmus po zozbieraní údajov z 540 000 pokusov vo fáze robotických tried a 32 500 pokusov v skutočných kanceláriách. Postupným získavaním informácií sa úspešnosť systému zlepšovala. Na konci robot triedil odpadky s 84-percentnou úspešnosťou, a tým sa kontaminácia v odpadkových nádobách znížila až o 50 percent hmotnosti.
Experiment ukázal, že s náležitým školením je možné vyvinúť praktické roboty, ktoré sú schopné vykonávať úlohy v reálnom svete a pomôcť tak nielen ľudom, ale aj životnému prostrediu.
Zdroj: Googleblog, Hackster
(JM)
