კვლევამ, რომელიც ჟურნალ The BMJ-ში გამოქვეყნდა, 1999 წლიდან 2024 წლამდე პერიოდში გამოცემული კიბოს 2,6 მილიონი კვლევითი ნაშრომი შეისწავლა. მას კვინსლენდის ტექნოლოგიური უნივერსიტეტის (QUT) მკვლევარი, პროფესორი ადრიან ბარნეტი, კოლეგების საერთაშორისო ჯგუფთან ერთად ხელმძღვანელობდა.

მკვლევრებმა 250 000-ზე მეტ ნაშრომში წერის კონკრეტული მახასიათებლები აღმოაჩინეს. ასეთი მახასიათებლები, როგორც წესი, შესაძლო ფალსიფიკაციის გამო უკან გაწვეულ კვლევებში გვხვდება და მათი მთავარი წყარო, სავარაუდოდ, ე.წ. ნაშრომების ქარხნებია.

პროფესორი ბარნეტის განმარტებით, ე.წ. ნაშრომების ქარხნები ისეთი კომპანიებია, რომელიც ყალბ ან დაბალი ხარისხის სამეცნიერო კვლევებს ყიდის. "ჩვენი მიგნებები იმაზე მეტყველებს, რომ ეს პრობლემა კიბოს კვლევაში იმაზე მასშტაბურია, ვიდრე წარმოგვიდგენია", — ამბობს მკვლევარი.

როგორ აწარმოებს "ნაშრომების ქარხნები" ყალბ კვლევებს?

ე.წ. ნაშრომების ქარხნები ავტორის პოზიციებსა და ზოგ შემთხვევაში, სრულ, გამზადებულ სამეცნიერო ნაშრომებს ყიდის. ეს კვლევები, შესაძლოა, ხელახლა გამოყენებულ ტექსტს, უჩვეულო ან არაბუნებრივ ენასა და ფალსიფიცირებულ მონაცემებსა თუ სურათებს შეიცავდეს.

ბარნეტის თქმით, ეს კვლევები, სავარაუდოდ, სტანდარტულ შაბლონებს ეყრდნობა. ასეთი შაბლონების ამოცნობა კი დიდი ენობრივი მოდელების მიერ (LLM) ტექსტებში არსებული კანონზომიერებების გაანალიზებითაა შესაძლებელი.

ამ კანონზომიერებების მოსაძებნად, ბარნეტმა და მისმა კოლეგებმა დიდი ენობრივი მოდელი, სახელად BERT, გაწვრთნეს. სისტემა შეუმჩნეველი ტექსტური "ანაბეჭდების" გამოსავლენად შეიქმნა. ნაშრომების ქარხნების უკვე ცნობილ პროდუქტებში ასეთი ანაბეჭდები განმეორებით ჩნდება.

გადამოწმებული მაგალითების გამოყენებით შეფასებისას, მოდელმა საეჭვო ნაშრომები შემთხვევათა 91 პროცენტში სწორად ამოიცნო.

"არსებითად, ჩვენ სამეცნიერო სპამის ფილტრი შევქმენით. ზუსტად ისე, როგორც თქვენს ელფოსტას შეუძლია არასასურველი შეტყობინებების ამოცნობა. ჩვენი ინსტრუმენტიც გაწვეულ, თაღლითურ ნაშრომებში ნანახი წერის სტილისა და სტრუქტურის მქონე ნაშრომებს მონიშნავს", — ამბობს ბარნეტი.

კიბოს შესახებ საეჭვო ნაშრომების რაოდენობა მკვეთრად გაიზარდა

ფართომასშტაბიანმა ანალიზმა რამდენიმე ძირითადი ტენდენცია გამოავლინა: საეჭვოდ მონიშნული ნაშრომების რაოდენობა გასული ორი ათწლეულის განმავლობაში მკვეთრად გაიზარდა: 2000-იანი წლების დასაწყისში ის დაახლოებით 1 პროცენტს შეადგენდა, ხოლო 2022 წელს, პიკზე, 16 პროცენტს გადააჭარბა. სავარაუდო პრობლემა მსხვილი კომპანიების მიერ გამოცემულ ათასობით ჟურნალში, მათ შორის ძლიერი რეპუტაციისა და მაღალი გავლენის მქონე გამოცემებში, იკვეთება. საეჭვო ნაშრომები განსაკუთრებით ხშირია ისეთ სფეროებში, როგორიცაა კიბოს მოლეკულური ბიოლოგია და ადრეული ეტაპის ლაბორატორიული კვლევები. სიმსივნის გარკვეული ტიპების, მათ შორის კუჭის, ღვიძლის, ძვლისა და ფილტვის კიბოს შემთხვევაში, საეჭვოდ მონიშნული კვლევების განსაკუთრებით მაღალი მაჩვენებლები დაფიქსირდა.

ნაშრომების ქარხნები ციტირებასაც აყალბებს

ბარნეტისა და მისი კოლეგების მეორე, bioRxiv-ზე გამოქვეყნებულმა კვლევამ აჩვენა, რომ ნაშრომების ქარხნების საეჭვო სტატიები ნამდვილ სამეცნიერო ნაშრომებზე ორჯერ მეტად ციტირდება. გუნდმა 2012-დან 2023 წლამდე პერიოდში, მოლეკულური ონკოლოგიის 20 მაღალრეიტინგულ ჟურნალში გამოქვეყნებული 33 159 ნაშრომი გააანალიზა. BERT-მა 4085 ნაშრომი, ანუ მთლიანი მოცულობის 12,3 პროცენტი, ნაშრომების ქარხნების პროდუქციისთვის დამახასიათებელი ნიშნების მქონედ მონიშნა. საეჭვო ნაშრომები 20-დან 19 ჟურნალში აღმოაჩინეს; ერთადერთი გამონაკლისი, სადაც არცერთი საეჭვო ნაშრომი არ დაფიქსირდა, Nature Cancer იყო.

მკვლევრებმა ისიც დაადგინეს, რომ საეჭვო ნაშრომები ერთმანეთს ხშირად იმოწმებს. ეს გარემოება ციტირების კოორდინირებულ მანიპულაციაზე მიუთითებს. ბარნეტის განმარტებით, როცა არაკეთილსინდისიერი მკვლევარი ნაშრომების ქარხნისგან პროდუქტს ყიდულობს, ის მხოლოდ გამოქვეყნებულ სტატიას კი არ იღებს, არამედ მასზე ციტირებასაც. მაგალითად, ჟურნალებში Molecular Cancer და Journal of Experimental & Clinical Cancer Research, ციტირებების 57 პროცენტი სწორედ საეჭვოდ მონიშნულ ნაშრომებზე მოდიოდა.

მკვლევრები აღნიშნავენ, რომ BERT-ს ცრუ-დადებითი შედეგების ჩვენებაც შეუძლია, ამიტომ, საეჭვოდ მონიშნულ ნაშრომებს შორის, შესაძლოა, ნამდვილი კვლევებიც მოხვდეს. ბარნეტის თქმით, ნიმუშის დიდი მოცულობის გათვალისწინებით, ეს გარემოება საერთო შედეგებზე მაინც ვერ იმოქმედებდა.

ჟურნალები და AI ინსტრუმენტის ტესტირება

სამი სამეცნიერო ჟურნალი სარედაქციო განხილვის პროცესის ფარგლებში, ამ სისტემას უკვე ტესტავს. AI ინსტრუმენტი რედაქტორებს პოტენციურად ფალსიფიცირებული ხელნაწერების გამოვლენაში დაეხმარება, სანამ მათ გარე ექსპერტებს კოლეგიალური შეფასებისთვის გაუგზავნიან.

მკვლევრები ინსტრუმენტის ადაპტირებას სხვა სამეცნიერო სფეროებში გამოსაყენებლადაც გეგმავენ. ნაშრომების ქარხნების საქმიანობის მეტ დადასტურებულ მაგალითზე წვდომა, BERT-ის სიზუსტესაც გააუმჯობესებს.

აქვე, გუნდმა ხაზგასმით აღნიშნა, რომ სისტემის მიერ გამოვლენილი ნაშრომები ავტომატურად თაღლითობად არ უნდა ჩაითვალოს. ეს შედეგი გამაფრთხილებელი სიგნალია და არა გადაცდომის დადასტურებული ფაქტი, ამიტომ თითოეული შემთხვევა კვლავ ადამიანმა ექსპერტებმა უნდა განიხილონ.

რატომ შეიძლება ყალბმა კვლევებმა პაციენტებს ავნოს?

"თუ ფალსიფიცირებული კვლევები მტკიცებულებათა ბაზაში მოხვდება, ამით, შესაძლოა, ნამდვილი მეცნიერები შეცდომაში შეიყვანოს და საბოლოოდ, პაციენტებისთვის პროგრესი შეაფერხოს. სწორედ ამიტომ სასიცოცხლოდ მნიშვნელოვანია, რომ ამ პრობლემას მზად დავხვდეთ", — ამბობს ბარნეტი.