Stručnjak za sigurnost Bar Lanyado nedavno je uradio neko istraživanje o tome kako generativni AI modeli nenamjerno doprinose ogromnim potencijalnim sigurnosnim prijetnjama u svijetu razvoja softvera. Takvo Lanyado istraživanje otkrilo je alarmantan trend: AI predlaže pakete imaginarnog softvera, a programeri ga, a da nisu ni svjesni, uključuju u svoje baze koda.
The Issue Unveiled
Problem je u tome što je generirano rješenje bilo izmišljeno ime – nešto tipično za AI. Međutim, ovi izmišljeni nazivi paketa se tada pouzdano predlažu programerima koji imaju poteškoća u programiranju sa AI modelima. Zaista, neki izmišljeni nazivi paketa su djelimično zasnovani na ljudima – poput Lanyadoa – a neki su krenuli naprijed i pretvorili ih u prave pakete. To je zauzvrat dovelo do slučajnog uključivanja potencijalno zlonamjernog koda u stvarne i legitimne softverske projekte.
Jedna od kompanija koja je pala pod ovaj udar bila je Alibaba, jedan od glavnih igrača u tehnološkoj industriji. U svojim uputstvima za instalaciju GraphTranslatora, Lanyado je otkrio da je Alibaba uključio paket pod nazivom "huggingface-cli" koji je bio lažiran. U stvari, postojao je pravi paket sa istim imenom koji se nalazio na Python indeksu paketa (PyPI), ali Alibabin vodič se pozivao na onaj koji je napravio Lanyado.
Testiranje postojanosti
Lanyadoovo istraživanje imalo je za cilj procijeniti dugovječnost i potencijalnu eksploataciju ovih naziva paketa generiranih umjetnom inteligencijom. U tom smislu, LQuery je sproveo različite AI modele o izazovima programiranja i između jezika u procesu razumijevanja ako su, efektivno, na sistematičan način, preporučena ta izmišljena imena. U ovom eksperimentu je jasno da postoji rizik da bi štetni entiteti mogli zloupotrebiti nazive paketa generisane umjetnom inteligencijom za distribuciju zlonamjernog softvera.
Ovi rezultati imaju duboke implikacije. Loši akteri mogu iskoristiti slijepo povjerenje programera u primljene preporuke na način da mogu početi objavljivati štetne pakete pod lažnim identitetom. Sa AI modelima, rizik se povećava sa dosljednim AI preporukama za izmišljene nazive paketa, koje bi nesvjesni programeri uključili kao zlonamjerni softver. **Put naprijed**
Stoga, kako se AI dalje integrira s razvojem softvera, može se pojaviti potreba za popravkom ranjivosti ako se poveže sa preporukama koje je generirala umjetna inteligencija. U takvim slučajevima mora se praktikovati dužna pažnja kako bi softverski paketi predloženi za integraciju bili legitimni. Štaviše, trebalo bi da postoji za platformu koja hostuje spremište softvera da verifikuje i da bude dovoljno jaka da se ne distribuira kod zlonamernog kvaliteta.
Ukrštanje umjetne inteligencije i razvoja softvera otkrilo je zabrinjavajuću prijetnju sigurnosti. Takođe, AI model može dovesti do slučajne preporuke lažnih softverskih paketa, što predstavlja veliki rizik po integritet softverskih projekata. Činjenica da je u svojim uputstvima Alibaba uključio kutiju koja nikada nije smjela postojati je samo trajni dokaz kako bi se mogućnosti zapravo mogle pojaviti kada ljudi robotski slijede preporuke
dao AI. U budućnosti će se morati poduzeti oprez u proaktivnim mjerama kako bi se spriječila zloupotreba AI za razvoj softvera.
Izvor: https://www.cryptopolitan.com/ai-generated-software-packages-threats/