AI sistemi mogu ometati zapošljavanje osoba sa invaliditetom

Istraživači sa Univerziteta u Vašingtonu primetili su da regruteri sve češće koriste ChatGPT za rangiranje rezimea kandidata za posao. Ova obrazovna institucija je nakon toga otkrila da ChatGPT dosledno rangira CV-ijeve sa nagradama vezanim za invaliditet niže od onih bez tih nagrada. Sistem je prikazivao pristrasne percepcije, tvrdeći na primer da rezime sa nagradom za autizam ima „manji naglasak na liderskim ulogama“.

Kada su istraživači prilagodili alat sa eksplicitnim instrukcijama da ne bude pristrasan, pristrasnost se smanjila za sve osim za jednu vrstu invaliditeta.

Od šest testiranih invaliditeta, pet je pokazalo poboljšanja, ali samo tri su rangirana više od rezimea bez spomena invaliditeta.

Tim istraživača je predstavio svoja otkrića 5. juna na Konferenciji o pravičnosti, odgovornosti i transparentnosti ACM 2024 u Rio de Žaneiru.

„Rangiranje rezimea uz pomoć AI postaje sve prisutnije, ali nema mnogo istraživanja o tome da li je to bezbedno i efikasno… Za osobe sa invaliditetom, uvek postoji pitanje da li treba uključiti priznanja vezana za invaliditet u rezime“, rekla je članica tima Kejt Glazko

Istraživači su koristili GPT-4 model i rangirali prilagođene CV-ove za stvarni posao. Od 60 testiranja, prilagođeni CV-ovi su rangirani kao prvi samo četvrtinu vremena. Kada su pitali GPT-4 da objasni rangiranja, odgovori su pokazivali predrasude, piše University of Washington.

Istraživači su potom koristili GPT-ov Editor alat, prilagođavajući GPT-4 sa instrukcijama da ne pokazuje pristrasnosti prema invaliditetu.

Novi sistem je rangirao prilagođene CV-ove bolje, ali za neke invaliditete poboljšanja su bila minimalna.

„Ljudi treba da budu svesni pristrasnosti sistema kada koriste AI za ovakve realne zadatke“, rekla je Glazko.

Inače, regruteri ne mogu da isprave te pristrasnosti ili budu svesni da, čak i uz instrukcije, pristrasnosti mogu opstati.

GPT-4 bolje od ljudi „pogađa“ finansijske rezultate kompanija