Kare tarp žmonių ir kompiuterių laimi draugystė ir bendradarbiavimas

Ot kokią clickbait’inę antraštę parašiau, ar ne? Tokia visiškai nieko nepasakanti, nes po savimi gali slėpti bet ką nuo patarimų, kaip teisingai elgtis su Windows’ais, iki alternatyvaus Terminatoriaus siužeto. O iš tiesų čia papasakosiu apie neseniai atrastą tyrimą, iš kurio paaiškėjo, kad mašininio mokymo algoritmai ir žmonės klasifikacijos uždavinius sprendžia tiesiog skirtingai. Nei vieni, nei kiti nėra akivaizdžiai geresni, bet apjungus žmonių ir algoritmų duodamus rezultatus, jų kokybė pastebimai išauga.


Iliustracija asociatyvi. Nors ką gali žinoti… Šaltinis: Search Engine Land

Kalba šiuo atveju eina apie vieną iš piliečių mokslo (citizen science) projektų, skirtą supernovų sprogimams aptikti. Prieš pustrečių metų pradėto Supernova Hunters tikslas – katalogo Pan-STARRS1 galaktikų nuotraukose identifikuoti supernovų sprogimus. Supernovų sprogimų prognozuoti nemokame, taigi didžioji dalis jų užfiksuojama tik plačiose apžvalgose, kurios nesurenka detalios informacijos apie, pavyzdžiui, galaktikų spektrus. Tad identifikuoti sprogimą paprasčiausia yra lyginant galaktikos nuotraukas ir ieškant porų, kur vienoje nuotraukoje matyti sužibusi supernova, o anksčiau darytoje – ne. Ne vieną dešimtmetį kompiuteriai tokių uždavinių spręsti apskritai nemokėjo, o žmonės tą darė labai gerai; būtent dėl šio skirtumo ir pradėti dauguma piliečių mokslo projektų. Pastaruoju metu skaitmeniniai mašininio mokymosi metodai vejasi žmones, todėl natūralu, kad kyla klausimas, kada pralenks. Ir kyla noras patikrinti, kas dirba geriau, bei paieškoti būdų, kaip tą daryti dar geriau.

Būtent toks tyrimas atliktas 2017 metais. Paėmę Pan-STARRS1 katalogą, tyrėjai davė jį analizuoti neuroniniam tinklui ir Supernova hunters savanoriams. Analizės procesas yra labai paprastas: programa arba savanoris gauna šiek tiek automatiškai apdorotą galaktikos nuotraukų porą bei skirtumo tarp nuotraukų vaizdą; tikslas – atsakyti, ar šioje galaktikoje buvo supernovos sprogimas, ar vienoje iš nuotraukų užfiksuotas asteroidas, ar nebuvo nei vieno, nei kito. Supernovų sprogimai turėtų būti matomi maždaug vienoje iš šimto nuotraukų porų.


Supernova Hunters projekto puslapis. Trys kvadratai yra dvi nuotraukos ir jų skirtumas. Gavę šiuos duomenis, savanoriai paklausiami kelių klausimų. Šaltinis: Supernova Hunters

Ir žmonės, ir programos rezultatus klasifikavo… pusėtinai. Klasifikacijos rezultatus patikrinus kitu metodu (t. y. programos klasifikuotus objektus davus klasifikuoti savanoriams ir atvirkščiai) ar juos peržiūrėjus ekspertams (kurie klasifikuoja tikrai gerai, tačiau nepajėgtų peržiūrėti visų tūkstančių nuotraukų porų) paaiškėjo, kad ir programos, ir žmonės gana dažnai klysta. Žmones grubiai galima suskirstyti į „tikslius klasifikuotojus“, „optimistus“ ir „pesimistus“. Pirmoji grupė gerai klasifikuoja ir nuotraukas, kuriose yra asteroidai arba supernovų sprogimai, ir tas, kuriose šių reiškinių nematyti. „Optimistai“ linkę per dažnai teigti, kad nuotraukose kažkas yra (tai vadinama „klaidingu pozityviu rezultatu“, angl. false positive), „pesimistai“ – kad nieko nėra („nepastebėtas aptikimas“, angl. missed detection). Algoritmų taip suskirstyti neišeina, bet jie apskritai dažniau linkę nurodyti, kad nuotraukoje kažkas yra, net jei ten nieko ir nėra.

Bet įdomu tai, kad klaidas žmonės ir programos daro skirtingose vietose. Kiekvienai nuotraukų porai galime priskirti dvi tikimybes, kad ten matomas asteroidas ar supernovos sprogimas: viena tikimybė pagal tai, kaip ją įvertina algoritmai, kita – pagal savanorių žmogiškus vertinimus. Pažymėję daugybės nuotraukų porų tikimybes grafike pastebėsime, kad nėra jokios koreliacijos tarp žmonių ir programų duodamų atsakymų.

Žmonių ir algoritmų priskirtos tikimybės, jog duomenyse yra kažkas realaus. Taškų spalva žymi realų rezultatą – nėra nieko (žalias taškas), yra asteroidas (mėlynas) arba supernova (raudonas), horizontalioje ašyje algoritmų atsakymas, vertikalioje – Supernova Hunters savanorių. Taškai, kuriems algoritmai priskiria labai mažas tikimybes, atmetami automatiškai ir nerodomi. Šaltinis: Wright et al. (2017)

Taip pat, pažiūrėję į grafiką, galime pamatyti, kad nei žmonės, nei mašinos nėra akivaizdžiai geresni vieni už kitus jokioje to grafiko dalyje. T.y. nesvarbu, ar atrinktume, pavyzdžiui, visas nuotraukas, kuriose reiškinio egzistavimo tikimybė >0,5, ar <0,7, ar dar kaip nors kitaip, jokiame intervale žmonių atsakymai nebus pastebimai artimesni teisybei, nei mašinų, ir atvirkščiai.

Šį rezultatą galima išnaudoti ir taip gerokai pagerinti bendrą duomenų analizę. Nors koreliacijos tarp žmonių ir programų atsakymų nėra, galime įžvelgti, kad tikrus efektus visgi dažniausiai arba žmonės, arba mašinos, pastebi. Taigi jei paimame dvi atskiras tikimybes ir apskaičiuojame jų vidurkį, tai leidžia daug geriau atskirti įdomias nuotraukas nuo neįdomių, negu su kuria nors paviene tikimybe.

Žmonių, algoritmų ir kombinuotų atsakymų gerumo palyginimas. Horizontalioje ašyje – nepastebėtų aptikimų dalis, vertikalioje – klaidingų pozityvių rezultatų dalis. Pavyzdžiui, horizontalios ašies vertė 0,5 reiškia, kad parenkama tokia ribinė tikimybė, kad pusė realių įvykių gauna mažesnį įvertinimą. Akivaizdu, kad kuo aukštesnė ribinė tikimybė, tuo didesnė dalis realių reiškinių nepastebima, bet kartu mažiau yra ir netikrų aptikimų. Apjungus žmonių ir algoritmų atsakymus (mėlyna linija) gaunamas daug geresnis rezultatas, nei bet kuriuo metodu atskirai. Šaltinis: Wright et al. (2017)

Dar geresni rezultatai gaunami, jei žmonių duodamus atsakymus įvertiname ir pasveriame pagal tai, kiek gerai kiekvienas žmogus vertina nuotraukas. Pavyzdžiui, jei žinomas „optimistas“ mums sako, kad šioje nuotraukoje tikrai kažkas yra, tai šiam teiginiui suteikiame mažesnį svorį, nei tokiam pačiam teiginiui, kurį sako žinomas „pesimistas“. Tokiu būdu pataisius žmonių atsakymus ir apjungus juos su algoritmų rezultatais galime gauti dar tikslesnius rezultatus.

Taigi, žmonės ir mašinos, savanoriai ir algoritmai, darbuotojai ir programos – kiekviena pusė turi savų privalumų. Tokie tyrimai, kaip šis, padeda juos geriau išnaudoti. Ir nors čia kalbame apie astronominių nuotraukų klasifikavimą, analogiškas bendradarbiavimas tikrai įmanomas ir kitose srityse, nuo medicinos (kur algoritmai gali padėti gydytojams nustatyti teisingą diagnozę) iki inžinerijos ir kitų sričių, turinčių be galo didelę įtaką kasdieniam mūsų gyvenimui. Taip ir žengiame po truputį į ateitį, susikibę ranka mikroschemon.

Laiqualasse

P.S. Šio įrašo nebūtų buvę, jei ne mano rėmėjai Patreon platformoje – ačiū jiems! Jei manote, kad mano tekstai verti vieno kito jūsų dolerio, paremkite Konstantą 42.

2 comments

Komentuoti: Jonas Atšaukti atsakymą

El. pašto adresas nebus skelbiamas. Būtini laukeliai pažymėti *