Fejsbuk je predstavio Dajnabenč (Dynabench), AI platformu za prikupljanje podataka i postavljanje standarda za evaluaciju veštačke inteligencije. Na ovoj platformi, ljudi će kontinuirano trenirati NLP (obrada prirodnih jezika) modele kako bi se stvorilo izazovnije i realističnije okruženje za njihovo učenje, piše portal Startit.
Prema mnogobrojnim studijama najčešće korišćene metode evaluacije neadekvatno procenjuju performantnost veštačke inteligencije u stvarnom svetu.
Prema skorašnjem izveštaju, može se zaključiti da su NLP modeli često samo „pamtili“ i davali već naučene odgovore.
Fejsbukov novi sistem oslanja se na ljude koji NLP algoritmima treba da postavljaju serije jezički provokativnih pitanja, kako bi ih zbunili. Što ređe algoritam pogreši, to je uspešniji.
„U suštini, Dajnabenč je naučni eksperiment koji ima za cilj da utvrdi može li zajednica koja se bavi proučavanjem veštačke inteligencije bolje da evaluira mogućnosti naših sistema i pomogne njihovom bržem razvoju“, navode iz Fejsbuka.
„Planiramo da Dajnabenč izložimo svim mogućim zadacima, jezicima i modalitetima. Nadamo se da ćemo privući ‘hakere modela veštačke inteligencije’ da pronađu kreativne načine da zbune modele, ali i ‘kreatore modela’ da naprave nove modele sa manje nedostataka“, dodaje se u saopštenju.
Interesantno je da svako može da isproba Dajnabenč, pošto je otvoren za javnost. Korisnici samo treba da se uloguju na Dajnabenčov portal i da otpočnu dopisivanje sa NLP modelima.
Nije neophodno nikakvo dodatno znanje, potrebno je samo poznavati engleski jezik na osnovnom nivou. U budućnosti, mogućnosti sistema širiće se uz pomoć novih modela i drugih jezika.