NTT i Univerzitet u Tokiju razvijaju prvu optičku kompjutersku umjetnu inteligenciju na svijetu koristeći algoritam inspiriran ljudskim mozgom

Saradnja unapređuje praktičnu primjenu male snage, velike brzine AI zasnovane na optičkom računarstvu

TOKIO–(POSLOVNA ŽICA)–#TechforGood-NTT Corporation (Predsjednik i izvršni direktor: Akira Shimada, “NTT”) i Univerzitet u Tokiju (Bunkyo-ku, Tokio, predsjednik: Teruo Fujii) osmislili su novi algoritam učenja inspiriran obradom informacija u mozgu koji je pogodan za višeslojne umjetne neuronske mreže (DNN) koristeći analogne operacije. Ovaj proboj će dovesti do smanjenja potrošnje energije i vremena računanja za AI. Rezultati ovog razvoja objavljeni su u britanskom naučnom časopisu Nature Communications 26. decembra^th.

Istraživači su postigli prvu demonstraciju efikasno izvedenog optičkog DNN učenja primjenom algoritma na DNN koji koristi optičko analogno računanje, za koje se očekuje da će omogućiti uređaje za mašinsko učenje velike brzine i male snage. Osim toga, postigli su najviše performanse na svijetu višeslojne umjetne neuronske mreže koja koristi analogne operacije.

U prošlosti su se proračuni za učenje visokog opterećenja obavljali digitalnim proračunima, ali ovaj rezultat dokazuje da je moguće poboljšati efikasnost dijela učenja korištenjem analognih proračuna. U tehnologiji duboke neuronske mreže (DNN), rekurentna neuronska mreža koja se naziva računarstvo dubokog rezervoara izračunava se pretpostavkom da je optički impuls neuron i nelinearni optički prsten kao neuronska mreža s rekurzivnim vezama. Ponovnim unosom izlaznog signala u isto optičko kolo, mreža se umjetno produbljuje.

DNN tehnologija omogućava naprednu umjetnu inteligenciju (AI) kao što je strojno prevođenje, autonomna vožnja i robotika. Trenutno, potrebna snaga i vrijeme računanja rastu brzinom koja premašuje rast performansi digitalnih računara. Očekuje se da će DNN tehnologija, koja koristi proračune analognog signala (analogne operacije), biti metoda realizacije visokoefikasnih i brzih proračuna sličnih neuronskoj mreži mozga. Saradnja između NTT-a i Univerziteta u Tokiju razvila je novi algoritam pogodan za analognu operaciju DNN-a koji ne pretpostavlja razumijevanje parametara učenja uključenih u DNN.

Predložena metoda uči promjenom parametara učenja na osnovu završnog sloja mreže i nelinearne slučajne transformacije greške željenog izlaznog signala (signala greške). Ovaj proračun olakšava implementaciju analognih proračuna u stvarima kao što su optička kola. Takođe se može koristiti ne samo kao model za fizičku implementaciju, već i kao vrhunski model koji se koristi u aplikacijama kao što su mašinsko prevođenje i različiti AI modeli, uključujući DNN model. Očekuje se da će ovo istraživanje doprinijeti rješavanju novih problema povezanih s AI računarstvom, uključujući potrošnju energije i povećano vrijeme izračunavanja.

Osim ispitivanja primjenjivosti metode predložene u ovom radu na specifične probleme, NTT će također promovirati integraciju optičkog hardvera velikih i malih razmjera, s ciljem uspostavljanja optičke računarske platforme velike brzine i male snage za buduće optičke mreže.

Podrška ovom istraživanju:

JST/CREST je podržao dio ovih rezultata istraživanja.

Izdanje časopisa:

Časopis: Nature Communications (Online verzija: 26. decembar)

Naslov članka: Fizičko duboko učenje s biološki inspiriranom metodom treninga: pristup fizičkom hardveru bez gradijenta

Autori: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto i Kohei Nakajima

Objašnjenje terminologije:

1. Optički krug: Kolo u kojem su silikonski ili kvarcni optički valovodi integrirani u silikonsku pločicu korištenjem tehnologije proizvodnje elektroničkih kola. U komunikaciji se grananje i spajanje optičkih komunikacijskih puteva vrši optičkim smetnjama, multipleksiranjem/demultipleksiranjem talasnih dužina i slično.
2. Metoda propagacije unazad (BP): najčešće korišteni algoritam učenja u dubokom učenju. Gradijent pondera (parametara) u mreži se dobija tokom propagiranja signala greške unazad, a težine se ažuriraju tako da greška postaje manja. Budući da proces propagacije unatrag zahtijeva transpoziciju matrice težine mrežnog modela i nelinearnu diferencijaciju, teško ga je implementirati na analogna kola, uključujući mozak živog organizma.
3. Analogno računarstvo: Računar koji izražava stvarne vrijednosti koristeći fizičke veličine kao što su intenzitet i faza svjetlosti i smjer i intenzitet magnetnih spinova i vrši proračune mijenjajući ove fizičke veličine prema zakonima fizike.
4. Metoda izravne povratne sprege (DFA): Metoda pseudo-kalkulacije signala greške svakog sloja izvođenjem nelinearne slučajne transformacije na signalu greške završnog sloja. Budući da ne zahtijeva diferencijalne informacije mrežnog modela i može se izračunati samo paralelnom slučajnom transformacijom, kompatibilan je s analognim proračunom.
5. Računanje rezervoara: Vrsta rekurentne neuronske mreže sa rekurentnim vezama u skrivenom sloju. Karakterizira ga nasumično fiksiranje veza u srednjem sloju koji se naziva sloj rezervoara. U računarstvu dubokih rezervoara, obrada informacija se izvodi povezivanjem slojeva rezervoara u više slojeva.

NTT i NTT logo su registrovani zaštitni znaci ili zaštitni znaci NIPPON TELEGRAPH AND TELEPHONE CORPORATION i/ili njegovih filijala. Svi ostali navedeni nazivi proizvoda su zaštitni znaci njihovih vlasnika. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakti

Stephen Russell

Wireside Communications®

Za NTT

+ 1-804-362-7484

[email zaštićen]