Alat moderasi konten untuk menghentikan ekstremisme

Alat moderasi konten untuk menghentikan ekstremisme

Perusahaan teknologi lebih aktif dari sebelumnya dalam mencoba mencegah teroris, supremasi kulit putih, ahli teori konspirasi, dan individu, organisasi, dan gerakan kebencian lainnya untuk mengeksploitasi platform mereka, tetapi tekanan pemerintah dan publik meningkat untuk berbuat lebih banyak. Jika perusahaan memutuskan untuk bertindak lebih agresif, apa yang dapat mereka lakukan? Sebagian besar perdebatan berpusat pada apakah akan menghapus atau membiarkan konten yang tidak pantas, mengabaikan banyak pilihan. Makalah ini menyajikan berbagai pilihan bagi perusahaan teknologi, membahas cara kerja mereka dalam praktik, manfaat, serta batasan dan risikonya. Ini menawarkan primer pada banyak pilihan yang tersedia dan kemudian membahas banyak trade-off dan batasan yang mempengaruhi berbagai pendekatan.

Secara garis besar, tindakan perusahaan dapat dibagi menjadi tiga kategori. Pertama, mereka dapat menghapus konten, menghapus posting individual, mendeplatform pengguna atau bahkan seluruh komunitas, dan sebaliknya hanya menghapus konten yang menyinggung dan berbahaya. Kedua, mereka mungkin mencoba membentuk kembali distribusi—mengurangi visibilitas postingan yang menyinggung, menurunkan peringkat (atau setidaknya tidak mempromosikan) jenis konten tertentu seperti misinformasi vaksin, dan menggunakan label peringatan—dan sebaliknya mengurangi atau membatasi keterlibatan dengan materi tertentu. Dapat mencoba tetapi membiarkannya tetap di platform mereka. Terakhir, perusahaan dapat mencoba untuk membentuk kembali dialog di platform mereka, memberdayakan moderator dan pengguna dengan cara yang membuat konten ofensif cenderung tidak menyebar.

Ketegangan dan masalah baru akan muncul dari upaya tersebut. Akan ada pertanyaan tentang menyensor pidato meskipun konten tertentu tetap ada tetapi tidak diperluas atau dianggap terbatas. Perusahaan juga memiliki insentif untuk menghapus terlalu banyak konten (dan dalam kasus yang jarang terjadi, terlalu sedikit) untuk menghindari kritik. Transparansi proses, kelemahan bagi sebagian besar perusahaan, tetap penting dan harus diperluas sehingga pengguna, pembuat undang-undang, peneliti, dan lainnya dapat menilai dengan lebih baik keefektifan upaya perusahaan. Akhirnya, beberapa pengguna beracun akan pergi ke tempat lain, menyebarkan kebencian mereka di platform yang lebih tidak jelas. Terlepas dari keterbatasan dan trade-off ini, opsi yang disajikan dalam makalah ini memberikan menu bermanfaat yang dapat digunakan perusahaan untuk menyesuaikan pendekatan mereka sehingga mereka dapat menawarkan pengalaman pengguna yang lebih hidup dan kurang beracun kepada pengguna.

Kertas tersedia di sini.