Napredak u kompjuterskom vidu pokreće autonomiju transporta

Vizija je moćan ljudski senzorni unos. Omogućava složene zadatke i procese koje uzimamo zdravo za gotovo. Sa povećanjem AoT™ (autonomije stvari) u različitim aplikacijama u rasponu od transporta i poljoprivrede do robotike i medicine, uloga kamera, računarstva i mašinskog učenja u pružanju vizije i spoznaje poput ljudi postaje značajna. Kompjuterska vizija kao akademska disciplina uzela je maha 1960-ih, prvenstveno na univerzitetima koji su se bavili novim područjem umjetne inteligencije (AI) i mašinskog učenja. To je dramatično napredovalo u naredne četiri decenije kako je postignut značajan napredak u poluprovodničkim i računarskim tehnologijama. Nedavni napredak u dubokom učenju i veštačkoj inteligenciji dodatno je ubrzao primenu kompjuterskog vida kako bi se obezbedila percepcija i spoznaja okoline u realnom vremenu, sa malim kašnjenjem, omogućavajući autonomiju, sigurnost i efikasnost u različitim aplikacijama. Saobraćaj je jedno područje koje je imalo značajne koristi.

LiDAR (Light Detection and Ranging) je aktivan pristup optičkog snimanja koji koristi lasere za određivanje 3D okruženja oko objekta. To je jedna od tehnologija koju rješenja kompjuterskog vida (koja se oslanjaju isključivo na ambijentalno svjetlo i ne koriste lasere za 3D percepciju) pokušavaju poremetiti. Zajednička tema je da ljudskim vozačima nije potreban LiDAR za percepciju dubine, pa tako ni mašinama. Trenutne komercijalne L3 karakteristike autonomne vožnje (potpuna autonomija u određenim geografskim područjima i vremenskim uslovima, sa vozačem spremnim da preuzme kontrolu u roku od nekoliko sekundi) proizvodi danas koristite LiDAR. Tehnike koje se isključivo temelje na viziji još uvijek nisu mogle ponuditi ovu mogućnost komercijalno.

OGLAS

TeslaTSLA
je dominantan zagovornik upotrebe pasivnog kompjuterskog vida zasnovanog na kameri za osiguranje autonomije putničkog vozila. Tokom nedavnog događaja kompanije AI Day, Elon Musk i njegovi inženjeri pružili su impresivnu prezentaciju njegove AI, upravljanja podacima i računarskih mogućnosti koje podržavaju, između ostalih inicijativa, funkciju Full Self Driving (FSD) na više Teslinih modela. FSD zahtijeva da čovjek uvijek bude uključen u zadatak vožnje (što je u skladu sa L2 autonomijom). Trenutno je ova opcija dostupna na 160,000 vozila kupljenih od strane kupaca u SAD-u i Kanadi. Paket od 8 kamera na svakom vozilu pruža mapu zauzetosti od 360°. Podaci kamere (i drugi) iz ovih vozila koriste se za obuku njihove neuronske mreže (koja koristi automatsko označavanje) za prepoznavanje objekata, iscrtavanje potencijalnih putanja vozila, odabir optimalnih i aktiviranje odgovarajućih kontrolnih radnji. Oko 75 ažuriranja neuronske mreže dogodilo se u proteklih 12 mjeseci (~1 ažuriranje svakih 7 minuta) kako se novi podaci kontinuirano prikupljaju i otkrivaju greške u označavanju ili manevarske greške. Obučena mreža izvršava akcije planiranja i kontrole kroz ugrađenu, redundantnu arhitekturu namenske računarske elektronike. Tesla očekuje da će FSD na kraju dovesti do autonomnih vozila (AV), koja pružaju potpunu autonomiju u određenim domenima operativnog dizajna bez potrebe za ljudskim angažmanom vozača (također se naziva L4 autonomija).

Druge kompanije kao što su Phiar, Helm.ai i NODAR također slijede put kompjuterskog vida. NODAR ima za cilj da značajno proširi opseg slike i 3D percepciju sistema stereo kamera tako što će naučiti da se prilagodi neusklađenosti kamere i efektima vibracija putem patentiranih algoritama mašinskog učenja. Nedavno je prikupio 12 miliona dolara za proizvodnju svog vodećeg proizvoda, Hammerhead™, koji koristi "gotove" kamere za automobile i standardne računarske platforme.

Osim cijene i veličine, čest argument protiv korištenja LiDAR-a je da ima ograničen domet i rezoluciju u odnosu na kamere. Na primjer, danas su dostupni LiDAR-ovi sa dometom od 200 m i 5-10 M tačaka/sekundi (PPS sličan rezoluciji). Na 200 m male prepreke kao što su cigle ili krhotine guma registrirat će vrlo malo tačaka (možda 2-3 u vertikalnom i 3-5 u horizontalnom smjeru), što otežava prepoznavanje objekata. Stvari postaju još grublje na dužim dometima. Poređenja radi, standardne megapikselne kamere koje rade na 30 Hz mogu generirati 30M piksela/sekundi, omogućavajući vrhunsko prepoznavanje objekata čak i na velikim udaljenostima. Naprednije kamere (12 M piksela) to mogu još više povećati. Pitanje je kako iskoristiti ove masivne podatke i proizvesti djelotvornu percepciju s latencijama na nivou milisekundi, malom potrošnjom energije i lošijim uvjetima osvjetljenja.

OGLAS

Recogni, kompanija sa sjedištem u Kaliforniji, pokušava riješiti ovaj problem. Prema riječima izvršnog direktora Marka Bolita, njegova misija je da “pružaju nadljudsku vizuelnu percepciju za potpuno autonomna vozila.” Kompanija je osnovana 2017. godine, prikupila je 75 miliona dolara do danas i ima 70 zaposlenih. RK Anand, alum Juniper Networks, jedan je od suosnivača i glavni proizvodni direktor. On veruje da korišćenje kamera veće rezolucije, sa > 120 dB dinamičkog opsega, koje rade pri visokim brzinama kadrova (na primer, OnSemi, Sony i Omnivision) obezbeđuje podatke potrebne za kreiranje 3D informacija visoke rezolucije, što je kritično za realizaciju AV-a. Pomagači za to su:

1. Posebno dizajnirani ASIC-ovi za efikasnu obradu podataka i proizvodnju tačnih 3D mapa visoke rezolucije u automobilskom okruženju. Oni su proizvedeni po TSMC 7 nm procesu, sa veličinom čipa od 100 mm², radeći na frekvenciji od 1 GHz.
2. Vlasnički algoritmi za mašinsko učenje za obradu miliona tačaka podataka van mreže kako bi se stvorila obučena neuronska mreža, koja onda može efikasno da radi i kontinuirano uči. Ova mreža pruža percepciju i uključuje klasifikaciju i detekciju objekata, semantičku segmentaciju, detekciju traka, saobraćajne znakove i prepoznavanje semafora
3. Minimiziranje operacija skladištenja i množenja van čipa koje su energetski intenzivne i stvaraju veliko kašnjenje. Recognijev ASIC dizajn je optimiziran za logaritamsku matematiku i koristi zbrajanje. Dalja efikasnost se ostvaruje optimalnim grupiranjem težina u obučenoj neuronskoj mreži.

Tokom faze obuke, komercijalni LiDAR se koristi kao temeljna istina za treniranje podataka stereo kamere visoke rezolucije i visokog dinamičkog opsega kako bi se izdvojile informacije o dubini i učinile ih otpornim na neusklađenost i efekte vibracija. Prema g. Anandu, njihova implementacija mašinskog učenja je toliko efikasna da može ekstrapolirati procjene dubine izvan opsega obuke koje obezbjeđuje kalibracijski LiDAR (koji pruža temeljnu istinu do raspona od 100 m).

OGLAS

Gore navedeni podaci o obuci sprovedeni su tokom dana sa stereo parom kamera od 8.3 megapiksela koje rade pri brzini kadrova od 30 Hz (~0.5 B piksela u sekundi). Pokazuje sposobnost obučene mreže da izvuče 3D informacije u sceni izvan raspona od 100 m s kojim je obučena. Recognijevo rješenje također može ekstrapolirati svoje učenje sa dnevnim podacima na noćne performanse (Slika 2).

OGLAS

Prema g. Anandu, podaci o dometu su tačni do 5% (na velikim dometima) i blizu 2% (na kraćim dometima). Rešenje obezbeđuje 1000 TOPS (triliona operacija u sekundi) sa latencijom od 6 ms i potrošnjom energije od 25 W (40 TOPS/W), što je vodeći u industriji. Konkurenti koji koriste cjelobrojnu matematiku su > 10X niži po ovoj metrici. Recognijevo rješenje je trenutno u probnoj fazi kod više dobavljača Tier 1 u automobilskoj industriji.

Prophesee („predvidjeti i vidjeti gdje je akcija“), sa sjedištem u Francuskoj, koristi svoje kamere zasnovane na događajima za AV, napredne sisteme za pomoć vozaču (ADAS), industrijsku automatizaciju, potrošačke aplikacije i zdravstvenu zaštitu. Osnovan 2014. godine, the kompanija je nedavno zatvorila svoj C krug finansiranja od 50 miliona dolara, sa ukupno 127 miliona dolara prikupljenih do danas. Xiaomi, vodeći proizvođač mobilnih telefona, jedan je od investitora. Propheseeov cilj je oponašati ljudski vid u kojem receptori u retini reagiraju na dinamičke informacije. Ljudski mozak se fokusira na obradu promjena u sceni (posebno za vožnju). Osnovna ideja je da se koriste arhitekture kamere i piksela koje detektuju promene u intenzitetu svetlosti iznad praga (događaja) i daju samo ove podatke računarskom steku za dalju obradu. Pikseli rade asinhrono (ne uokvireni kao u običnim CMOS kamerama) i na mnogo većim brzinama jer ne moraju integrirati fotone kao u konvencionalnoj kameri zasnovanoj na okvirima i čekati da cijeli okvir završi ovo prije očitavanja podataka. Prednosti su značajne – manji protok podataka, kašnjenje u odlučivanju, skladištenje i potrošnja energije. Prvi komercijalni VGA senzor vizije zasnovan na događajima imao je visok dinamički opseg (>120 dB), nisku potrošnju energije (26 mW na nivou senzora ili 3 nW/događaj). Također je lansirana HD (High Definition) verzija (zajedno razvijena sa Sonyjem), s vodećom veličinom piksela u industriji (< 5 μm).

OGLAS

Ovi senzori čine jezgro Metavision® sensing platforme, koja koristi AI za pružanje pametne i efikasne percepcije za autonomne aplikacije i pod procjenom je više kompanija u transportnom prostoru. Osim percepcije usmjerene prema naprijed za AV i ADAS, Prophesee je aktivno angažiran s klijentima za nadzor vozača u kabini za L2 i L3 aplikacije, vidi sliku 4:

Automobilske prilike su unosne, ali ciklusi uvođenja dizajna su dugi. Tokom protekle dvije godine, Prophesee je zabilježio značajno interesovanje i privlačenje u prostoru mašinskog vida za industrijsku primjenu. To uključuje brzo brojanje, površinsku inspekciju i praćenje vibracija.

OGLAS

Prophesee je nedavno najavio saradnju sa vodećim programerima sistema mašinskog vida za iskorištavanje mogućnosti u industrijskoj automatizaciji, robotici, automobilskoj industriji i IoT-u (Internet stvari). Druge neposredne mogućnosti su korekcija zamućenja slike za mobilne telefone i AR/VR aplikacije. Oni koriste senzore nižeg formata od onih koji se koriste za dugoročne ADAS/AV mogućnosti, troše još manju energiju i rade sa znatno nižim kašnjenjem.

Izrael je vodeći inovator u visokoj tehnologiji, sa značajnim poduzetničkim ulaganjima i aktivnim start-up okruženjem. Od 2015. godine došlo je do oko 70 milijardi dolara ulaganja u tehnološki sektor.. Deo toga je u oblasti kompjuterskog vida. Mobileye je predvodio ovu revoluciju 1999. godine kada je Amnon Shashua, vodeći istraživač AI na Hebrejskom univerzitetu, osnovao kompaniju da se fokusira na percepciju zasnovanu na kameri za ADAS i AV. Kompanija je podnijela zahtjev za IPO 2014. godine i kupio ju je IntelINTC
2017. za 15 milijardi dolara. Danas je lako vodeći igrač u domenu kompjuterskog vida i AV, a odnedavno objavila svoju namjeru da podnese zahtjev za IPO i postati nezavisan entitet. Mobileye je imao prihod od 1.4 milijarde dolara godišnje i skromne gubitke (75 miliona dolara). Pruža mogućnosti kompjuterskog vida za 50 OEM proizvođača koji ga koriste na 800 modela automobila za ADAS mogućnosti. U budućnosti nameravaju da predvode u L4 autonomiji vozila (nije potreban vozač) koristeći ovu stručnost kompjuterskog vida i LiDAR mogućnosti zasnovane na Intelovoj silikonskoj fotonici platformi. Procjena Mobileyea se procjenjuje na ~50 milijardi dolara kada konačno izađu na berzu.

OGLAS

Champel Capital, sa sjedištem u Jerusalimu, prednjači u ulaganju u kompanije koje razvijaju proizvode zasnovane na kompjuterskoj viziji za različite primjene od transporta i poljoprivrede do sigurnosti i sigurnosti. Amir Weitman je suosnivač i upravljački partner i pokrenuo je svoju kompaniju venture 2017. Prvi fond je uložio 20 miliona dolara u 14 kompanija. Jedna od njihovih investicija bila je u Innoviz, koji je ušao u javnost spajanjem SPAC-a 2018. i postao LiDAR jednorog. Predvođen Omerom Keilafom (koji je potjecao iz tehnološke jedinice Obavještajnog korpusa Izraelskih odbrambenih snaga), kompanija je danas lider u implementaciji LiDAR-a za ADAS i AV, sa višestrukim pobjedama u dizajnu kod BMW-a i Volkswagena.

Drugi fond Champel Capitala (Impact Deep Tech Fund II) pokrenut je u januaru 2022. i do danas je prikupio 30 miliona dolara (cilj je 100 miliona dolara do kraja 2022.). Dominantan fokus je na kompjuterskom vidu, sa 12 miliona dolara raspoređenih u pet kompanija. Tri od njih koriste kompjuterski vid za transport i robotiku.

TankU, sa sjedištem u Haifi, počela je s radom 2018. godine i prikupila 10 miliona dolara sredstava. Dan Valdhorn je izvršni direktor i diplomirao je na Jedinici 8200, elitne visokotehnološke grupe unutar Izraelskih odbrambenih snaga odgovorne za obavještavanje signala i dešifriranje koda. TankU-ovi SaaS (Softver kao usluga) proizvodi automatizuju i obezbeđuju procese u složenim spoljašnjim okruženjima koji opslužuju vozila i vozače. Ove proizvode koriste vlasnici voznih parkova, privatnih automobila, benzinskih i električnih punionica kako bi spriječili krađu i prevare u automatiziranim finansijskim transakcijama. Usluge goriva za vozila ostvaruju ~2T globalnih prihoda godišnje, od čega vlasnici privatnih i komercijalnih vozila troše 40% ili 800 milijardi dolara. Trgovci na malo i vlasnici voznih parkova gube oko 100 milijardi dolara godišnje zbog krađe i prijevare (na primjer, korištenje kartice za gorivo flote za neovlaštena privatna vozila). CNP (Card not present) prijevara i neovlaštena/krađa goriva su dodatni izvori gubitka, posebno kada se podaci ukradene kartice koriste u mobilnim aplikacijama za plaćanja.

OGLAS

Proizvod kompanije TUfuel olakšava bezbedno plaćanje jednim dodirom, blokira većinu vrsta prevara i upozorava kupce kada posumnjaju na prevaru. To radi na osnovu AI motora obučenog na podacima iz postojećih CCTV uređaja u ovim objektima i podacima o digitalnim transakcijama (uključujući POS i druge pozadinske podatke). Parametri kao što su putanja i dinamika vozila, ID vozila, vrijeme putovanja, kilometraža, vrijeme punjenja goriva, količina goriva, istorija goriva i ponašanje vozača su neki atributi koji se prate kako bi se otkrila prijevara. Ovi podaci takođe pomažu prodavcima da optimizuju rad sajta, povećaju lojalnost kupaca i primene marketinške alate zasnovane na viziji. Prema riječima izvršnog direktora Dana Valdhorna, njihovo rješenje otkriva 70% flote, 90% kreditnih kartica i 70% slučajeva prijevare u vezi s neovlaštenim pristupom.

Sonol je kompanija za energetske usluge koja posjeduje i upravlja mrežom od 240 stanica i trgovina širom Izraela. TUfuel je raspoređen na njihovim lokacijama i pokazao je poboljšanu sigurnost, prevenciju prevara i lojalnost kupaca. Probe proizvoda su u toku u SAD-u u saradnji sa vodećim svetskim dobavljačem benzinskih pumpi i opreme za prodavnice. Slične inicijative su u toku i u Africi i Evropi.

OGLAS

Sa sjedištem u Tel-Avivu ITC osnovan je 2019. godine od strane akademika mašinskog učenja sa Univerziteta Ben-Gurion. ITC stvara SaaS proizvode koji „Izmjerite protok saobraćaja, predvidite zastoje i ublažite ih pametnom manipulacijom semaforima – prije nego što počnu stvarati gužve.” Slično kao i TankU, on koristi podatke sa standardnih kamera (već instaliranih na brojnim prometnim raskrsnicama) za dobivanje podataka o prometu uživo. Analiziraju se podaci sa hiljada kamera širom grada, a parametri poput tipa vozila, brzine, smjera kretanja i redoslijeda tipova vozila (kamioni ili automobili) se izdvajaju primjenom vlasničkih AI algoritama. Simulacije predviđaju protok saobraćaja i potencijalne zastoje do 30 minuta unaprijed. Semafori se prilagođavaju pomoću ovih rezultata kako bi se ujednačio promet i spriječile gužve.

Obuka AI sistema traje mjesec dana vizuelnih podataka u tipičnom gradu i uključuje kombinaciju učenja pod nadzorom i bez nadzora. ITC-ovo rješenje je već raspoređeno u Tel-Avivu (25. mjesto među najzakrčenijim svjetskim gradovima 2020.), s hiljadama kamera postavljenim na stotinama raskrsnica koje kontroliraju semafori. ITC-ov sistem trenutno upravlja sa 75 vozila, za koje se očekuje da će nastaviti da raste. Kompanija instalira a slične mogućnosti u Luksemburgu i počinje suđenja u većim američkim gradovima. Globalno, njegovo rješenje upravlja sa 300,000 vozila s operativnim lokacijama u Izraelu, SAD-u, Brazilu i Australiji. Dvir Kenig, CTO, strastven je u rješavanju ovog problema – da ljudima vrati lično vrijeme, smanji emisiju stakleničkih plinova, poveća ukupnu produktivnost i što je najvažnije, smanji nesreće na zakrčenim raskrsnicama. Prema g. Kenigu, “Naše implementacije pokazuju smanjenje saobraćajnih gužvi za 30%, smanjujući neproduktivno vrijeme vožnje, stres, potrošnju goriva i zagađenje.”

OGLAS

Indoor Robotics bio osnovan u 2018-u i nedavno prikupio 18 miliona dolara sredstava. Kompanija, sa sjedištem u blizini Tel-Aviva, u Izraelu, razvija i prodaje autonomna rješenja za dronove za unutrašnju sigurnost, sigurnost i nadzor održavanja. Izvršni direktor i suosnivač, Doron Ben-David, ima značajno iskustvo u robotici i aeronautici stečeno u IAIIAI
(glavni glavni izvođač radova u oblasti odbrane) i MAFAT (napredna istraživačka organizacija u okviru izraelskog Ministarstva odbrane), koja je slična DARPA-i u Sjedinjenim Državama. Rastuća ulaganja u pametne zgrade i komercijalna sigurnosna tržišta podstiču potrebu za autonomnim sistemima koji mogu koristiti kompjuterski vid i druge senzorne ulaze u malim i velikim unutrašnjim komercijalnim prostorima (kancelarije, data centri, skladišta i maloprodajni prostori). Indoor Robotics cilja na ovo tržište korištenjem dronova u zatvorenom prostoru opremljenih standardnim kamerama i termalnim i infracrvenim senzorima dometa.

Ofir Bar-Levav je glavni poslovni direktor. On objašnjava da je nedostatak GPS-a ometao dronove u zatvorenom prostoru da se lokaliziraju unutar zgrada (obično je GPS odbijen ili neprecizan). Osim toga, nedostajala su pogodna i efikasna rješenja za priključivanje i napajanje. Indoor Robotics rješava ovo s četiri kamere postavljene na dron (gore, dolje, lijevo, desno) i jednostavnim senzorima dometa koji precizno mapiraju unutrašnji prostor i njegov sadržaj. Podaci kamere (kamere pružaju podatke o lokalizaciji i mapiranju) i termalni senzori (također montirani na dron) analiziraju se od strane AI sistema kako bi se otkrili potencijalni problemi sigurnosti, sigurnosti i održavanja i upozorio kupac. Dronovi se napajaju preko plafonske „priključne pločice“, koja štedi vrijedan podni prostor i omogućava prikupljanje podataka tijekom punjenja. Očigledne su finansijske prednosti automatizacije ovih svakodnevnih procesa u kojima je ljudski rad složen i skup u smislu zapošljavanja, zadržavanja i obuke. Korištenje zračnih dronova u odnosu na zemaljske robote također ima značajne prednosti u smislu kapitalnih i operativnih troškova, boljeg korištenja prostora, slobode kretanja bez nailaska na prepreke i efikasnosti snimanja podataka kamerom. Prema riječima gospodina Bar-Levava, TAM (Total Addressable Market) kompanije Indoor Robotics u inteligentnim sigurnosnim sistemima za zatvorene prostore će koštati 80 milijardi dolara do 2026. Ključne lokacije kupaca danas uključuju skladišta, centre podataka i uredske kampuse vodećih globalnih korporacija.

OGLAS

Kompjuterski vid pravi revoluciju u igri autonomije – u automatizaciji kretanja, sigurnosti, nadzoru pametnih zgrada, otkrivanju prevara i upravljanju saobraćajem. Snaga poluprovodnika i AI moćni su pokretači. Jednom kada kompjuteri ovladaju ovim nevjerovatnim senzornim modalitetom na skalabilan način, mogućnosti su beskrajne.