Sistem pembelajaran mesin baru telah mengidentifikasi lebih dari 250.000 artikel penelitian kanker yang dapat dihubungkan dengan apa yang disebut “pabrik kertas”.
Penelitian yang dipublikasikan di BMJmeneliti 2,6 juta artikel penelitian kanker yang diterbitkan antara tahun 1999 dan 2024. Penelitian ini dipimpin oleh peneliti QUT Profesor Adrian Barnett, Sekolah Kesehatan Masyarakat dan Pekerjaan Sosial dan Pusat Layanan dan Inovasi Kesehatan Australia (AusHSI), dengan kelompok kolaborator internasional.
Para peneliti menemukan bahwa lebih dari 250.000 artikel berisi pola penulisan serupa dengan yang terlihat dalam penelitian yang telah ditarik kembali karena dugaan pemalsuan.
“Pabrik kertas adalah perusahaan yang menjual penelitian ilmiah palsu atau berkualitas rendah. Mereka memproduksi ‘penelitian’ dalam skala industri, dan hasil kami menunjukkan bahwa masalah penelitian kanker jauh lebih besar daripada yang dipikirkan kebanyakan orang,” kata Profesor Barnett.
Bagaimana Pabrik Kertas Menghasilkan Penelitian Palsu
Pabrik kertas menjual posisi penulis dan, dalam beberapa kasus, menulis artikel ilmiah yang sudah jadi. Studi ini mungkin berisi teks yang digunakan kembali, bahasa yang tidak biasa atau kikuk, dan data atau gambar yang dibuat-buat.
“Kemungkinan besar, mereka mengandalkan pola boilerplate yang dapat dideteksi oleh model linguistik besar yang menganalisis pola dalam teks,” kata Profesor Barnett.
Untuk mencari pola tersebut, Barnett dan rekannya melatih model bahasa yang disebut BERT. Sistem ini dirancang untuk mengidentifikasi “sidik jari” tekstual halus yang berulang kali muncul pada produk pabrik kertas yang dikenal.
Saat dievaluasi menggunakan contoh terverifikasi, model tersebut mendeteksi dokumen mencurigakan sebanyak 91% dengan benar.
“Kami pada dasarnya membangun filter spam ilmiah,” kata Profesor Barnett.
“Sama seperti sistem email Anda yang dapat mendeteksi spam, alat kami menandai dokumen yang cocok dengan gaya dan struktur penulisan yang kami lihat dalam karya yang ditarik kembali dan menipu.”
Artikel tentang dugaan kanker telah meningkat
Analisis skala besar mengungkapkan beberapa tren utama:
Kayu yang dilaporkan telah meningkat tajam selama dua dekade terakhir, dari sekitar 1% pada awal tahun 2000an dan mencapai puncaknya lebih dari 16% pada tahun 2022.
Dugaan permasalahan tersebut muncul pada ribuan jurnal terbitan perusahaan besar, termasuk jurnal dengan reputasi kuat dan impact tinggi.
Makalah yang mencurigakan sangat umum terjadi di berbagai bidang seperti biologi kanker molekuler dan penelitian laboratorium tahap awal.
Jenis kanker tertentu, termasuk kanker perut, hati, tulang, dan paru-paru, mempunyai tingkat penelitian yang sangat tinggi.
Jurnal mulai menguji alat AI
Tiga jurnal ilmiah sudah menguji sistem ini sebagai bagian dari proses tinjauan editorial mereka. Tujuannya adalah untuk membantu editor mengidentifikasi naskah yang berpotensi dibuat-buat sebelum dikirim ke pakar eksternal untuk ditinjau oleh rekan sejawat.
Para peneliti juga berencana untuk mengadaptasi alat tersebut untuk digunakan dalam bidang ilmiah lainnya. Mereka berharap keakuratannya akan meningkat seiring dengan tersedianya lebih banyak contoh aktivitas pabrik kertas yang terkonfirmasi.
Namun tim tersebut menekankan bahwa dokumen yang diidentifikasi oleh sistem tidak boleh secara otomatis dianggap sebagai penipuan. Temuan ini merupakan tanda bahaya, bukan temuan pelanggaran yang terkonfirmasi, dan setiap kasus masih perlu ditinjau oleh pakar manusia.
Mengapa penelitian palsu dapat merugikan pasien
“Penelitian kanker mempengaruhi uji klinis, pengembangan obat dan perawatan pasien,” kata Profesor Barnett.
“Jika penelitian yang dibuat-buat berakhir di basis bukti, maka penelitian tersebut dapat menyesatkan ilmuwan dan pada akhirnya memperlambat kemajuan pasien. Oleh karena itu, penting bagi kita untuk mengatasi masalah ini.”
