Yeni detektor süni intellektlə yazılmış mətnləri sözlərə deyil, ideyalara əsasən müəyyən edir

IdeaLens adlı yeni aşkarlama sistemi mətnin üslubunu və söz seçimini deyil, onun arxasında dayanan ideya və arqumentləri təhlil etməklə süni intellektin yazı prosesində iştirakını müəyyən etməyə çalışır. Merilend Universiteti, Google DeepMind və Simon Freyzer Universitetinin tədqiqatçılarının hazırladığı sistem bəzi sınaqlarda süni intellekt tərəfindən tam yaradılmış mətnləri 91% dəqiqliklə müəyyən edib. Bununla belə, nəticələr göstərir ki, insan və süni intellektin birgə hazırladığı mətnləri aşkarlamaq daha mürəkkəbdir və sistemin əlavə sınaqlara ehtiyacı var.

Alimlər elmi məqalələrin hazırlanmasında süni intellektdən getdikcə daha çox istifadə edildiyini bildirirlər. Mətnin dil və üslub baxımından redaktəsi, müvafiq qaydalar çərçivəsində açıqlanmaq şərtilə, bir çox hallarda məqbul hesab olunsa da, elmi işi və ya onun hissələrini süni intellektə tam yazdıraraq onları müəllifin öz orijinal işi kimi təqdim etmək elmi dürüstlük baxımından problem yaradır. Bu səbəbdən redaktorlar və elmi konfrans təşkilatçıları süni intellekt detektorlarından istifadə edirlər. Lakin ənənəvi sistemlər səhv nəticələr verə, insan tərəfindən yazılmış mətnləri süni intellekt məhsulu kimi işarələyə və ya süni intellektin yaratdığı mətnləri müəyyən edə bilməyə bilər.  IdeaLens bu problemi fərqli üsulla həll etməyə çalışır. Pangram kimi ənənəvi detektorlar söz seçiminə, cümlə quruluşuna və yazı üslubuna diqqət yetirdiyi halda, IdeaLens mətnin əsas ideyalarını və arqumentlərini təhlil edir.\

Araşdırmanın nəticələri arXiv elmi məqalələrin ilkin versiyalarının yerləşdirildiyi platformada dərc olunub.

Tədqiqatçılar əvvəlcə mövcud detektor tərəfindən insan və ya süni intellekt tərəfindən yazılmış kimi təsnif edilən təxminən bir milyon sənəd toplayıblar.  Daha sonra inkişaf etmiş dil modellərindən istifadə edərək bu sənədlərin əsas arqumentlərini və anlayışlarını əks etdirən qısa planlar hazırlayıblar. İlkin mətnlərin yazı üslubu kənarlaşdırılaraq diqqət əsas fikirlərə yönəldilib. Beləliklə, sistemin yalnız sözlərin necə seçildiyini deyil, mətnin hansı ideyaları irəli sürdüyünü öyrənməsi hədəflənib. Sınaqlarda sənədlər tamamilə insan tərəfindən və ya tamamilə süni intellekt vasitəsilə hazırlanmış hallarda IdeaLens süni intellekt tərəfindən yaradılan mətnlərin 91%-ni düzgün müəyyən edib. İnsanların yazdığı mətnlərdə yanlış xəbərdarlıq səviyyəsi isə 0,6% olub.  Bununla belə, bu göstəricilər konkret sınaq şəraitinə aiddir və sistemin bütün mövzularda, dillərdə və mətn növlərində eyni nəticəni verəcəyinə zəmanət yaratmır.

Tədqiqatın ən maraqlı nəticələri insan və süni intellektin yazı prosesində fərqli rollar oynadığı hallarda ortaya çıxıb.  Məsələn, insan ətraflı plan hazırladıqda, süni intellekt isə həmin plana əsasən mətni yazdıqda, ənənəvi Pangram 4 detektoru süni intellektin yaratdığı mətn hissələrini 92% hallarda aşkarlayıb. IdeaLens isə bu mətnlərin yalnız 7%-ni süni intellektin ideyalarına əsaslanan mətn kimi işarələyib. Başqa sözlə, sistem əsas ideyaların insandan gəldiyi hallarda mətnin süni intellekt tərəfindən yazılmasını çox vaxt müəyyən etməyib. Əks vəziyyətdə — insan müəllif süni intellektin yaratdığı plan əsasında mətn yazdıqda — nəticələr fərqli olub. Pangram süni intellektin iştirakını cəmi 8% hallarda aşkarladığı halda, IdeaLens mətnlərin 68%-ni süni intellekt tərəfindən yaradılmış ideyalara əsaslanan mətn kimi müəyyən edib.  Bu nəticələr göstərir ki, ənənəvi detektorlar mətnin kim tərəfindən yazıldığına, IdeaLens isə fikirlərin mənbəyinə dair əlamətləri müəyyənləşdirməyə çalışır. Bunlar bir-birinə yaxın olsa da, eyni məsələ deyil.

İnsan və süni intellekt ideyaları arasında hansı fərqlər aşkar edilib?

Tədqiqatçılar IdeaLens sisteminin qərarlarını daha ətraflı araşdırmaq üçün 90 min proqnozu təhlil ediblər. Təhlil zamanı insan və süni intellekt tərəfindən yaradılan ideyalarla əlaqələndirilən müəyyən xüsusiyyətlər aşkar olunub.

İnsanların hazırladığı ideyalarda daha çox yoxlanıla bilən mənbələrə, konkret detallara, məhdudiyyətlərin etirafına və hələ həll edilməmiş problemlərin qeyd olunmasına rast gəlinib.

Süni intellekt tərəfindən yaradılan mətnlərdə isə daha ümumi məlumatların, yoxlanılması çətin olan rəqəm və metodların, geniş iddiaların və zahirən mükəmməl həllərin daha çox yer aldığı müşahidə edilib.  Müəlliflər hesab edirlər ki, bu xüsusiyyətlər mətnləri yalnız dil üslubuna görə deyil, ideyaların quruluşuna əsasən də fərqləndirməyin mümkün ola biləcəyini göstərir. Bununla belə, bu xüsusiyyətlərin heç biri təkbaşına mətnin müəllifini müəyyən etmək üçün etibarlı sübut sayıla bilməz.

Tədqiqatçılar IdeaLens-in bəzi yeni süni intellekt modelləri tərəfindən yaradılan mətnləri müəyyən etməkdə daha zəif nəticələr göstərdiyini də aşkarlayıblar. Bu isə sistemin müxtəlif modellər, yazı üslubları və müəlliflik ssenariləri üzrə əlavə təkmilləşdirilməsinə və sınaqdan keçirilməsinə ehtiyac olduğunu göstərir.  IdeaLens-in əsas yeniliyi süni intellektin yazı prosesində iştirakını qiymətləndirərkən yalnız sözlərə deyil, ideyaların məzmununa da diqqət yetirməsidir. Lakin araşdırmanın nəticələri bu yanaşmanın bütün hallarda etibarlı olduğunu göstərmir.

Xüsusilə elmi nəşrlərdə belə detektorların nəticələrini müəlliflik və ya akademik dürüstlük pozuntusunun qəti sübutu kimi qəbul etmək olmaz. Sistemlərin səhv təsnifat ehtimalı və insanla süni intellektin birgə işləməsinin mürəkkəbliyi nəzərə alınmalıdır.

mənbə: techxplore.com