Bias dalam AI menyebar dan saatnya untuk memperbaiki masalah

Bias dalam AI menyebar dan saatnya untuk memperbaiki masalah

Apakah Anda melewatkan sesi dari Future of Work Summit? Kunjungi perpustakaan sesuai permintaan Future of Work Summit kami untuk streaming.


Artikel ini disumbangkan oleh Loren Goodman, salah satu pendiri dan CTO di InRule Technology.

Pembelajaran mesin (ML) tradisional hanya melakukan satu hal: membuat prediksi berdasarkan data historis.

Pembelajaran mesin dimulai dengan menganalisis tabel data historis dan menghasilkan apa yang disebut model; ini dikenal sebagai pelatihan. Setelah model dibuat, baris data baru dapat dimasukkan ke dalam model dan prediksi dikembalikan. Misalnya, Anda dapat melatih model dari daftar transaksi perumahan dan kemudian menggunakan model tersebut untuk memprediksi harga jual rumah yang belum terjual.

Ada dua yang utama masalah dengan pembelajaran mesin hari ini. Pertama adalah masalah “kotak hitam”. Model pembelajaran mesin membuat prediksi yang sangat akurat, tetapi tidak memiliki kemampuan untuk menjelaskan alasan di balik prediksi dalam istilah yang dapat dipahami manusia. Model pembelajaran mesin hanya memberi Anda prediksi dan skor yang menunjukkan kepercayaan pada prediksi tersebut.

Kedua, pembelajaran mesin tidak dapat berpikir di luar data yang digunakan untuk melatihnya. Jika bias historis ada dalam data pelatihan, maka, jika dibiarkan, bias itu akan ada dalam prediksi. Meskipun pembelajaran mesin menawarkan peluang menarik bagi konsumen dan bisnis, data historis yang menjadi dasar pembuatan algoritme ini dapat sarat dengan bias yang melekat.

Penyebab kekhawatiran adalah keputusan bisnis- pembuat tidak memiliki cara yang efektif untuk melihat praktik bias yang dikodekan ke dalam model mereka. Untuk alasan ini, ada kebutuhan mendesak untuk memahami bias apa yang mengintai di dalam data sumber. Bersamaan dengan itu, perlu ada gubernur yang dikelola manusia yang dipasang sebagai perlindungan terhadap tindakan yang dihasilkan dari prediksi pembelajaran mesin.

Prediksi yang bias menyebabkan perilaku yang bias dan sebagai hasilnya, kami “menghirup knalpot kita sendiri.” Kami terus membangun tindakan bias yang dihasilkan dari keputusan yang bias. Ini menciptakan siklus yang dibangun di atas dirinya sendiri, menciptakan masalah yang bertambah seiring waktu dengan setiap prediksi. Semakin dini Anda mendeteksi dan menghilangkan bias, semakin cepat Anda mengurangi risiko dan memperluas pasar Anda ke peluang yang sebelumnya ditolak. Mereka yang tidak menangani bias sekarang sedang membuka diri mereka pada segudang ketidakpastian di masa depan terkait dengan risiko, penalti, dan pendapatan yang hilang.

Pola demografi dalam keuangan services

    Pola dan tren demografis juga dapat memberi bias lebih lanjut dalam industri jasa keuangan. Ada contoh terkenal dari tahun 2019, di mana programmer web dan penulis David Heinemeier turun ke Twitter untuk berbagi kemarahannya bahwa kartu kredit Apple menawarkannya 20 kali lipat batas kredit istrinya, meskipun mereka mengajukan pajak bersama.

    Dua hal yang perlu diingat tentang contoh ini:

      Proses penjaminan emisi terbukti sesuai dengan hukum. Mengapa? Karena saat ini tidak ada undang-undang di AS tentang bias dalam AI karena topiknya dianggap sangat subjektif.
  • Untuk melatih model ini dengan benar, bias historis perlu dimasukkan dalam algoritme. Jika tidak, AI tidak akan tahu mengapa itu bias dan tidak dapat memperbaiki kesalahannya. Melakukannya memperbaiki masalah “menghirup knalpot kita sendiri” dan memberikan prediksi yang lebih baik untuk besok.

Biaya AI dunia nyata

Pembelajaran mesin digunakan di seluruh berbagai aplikasi yang berdampak pada publik. Secara khusus, ada pengawasan yang berkembang dengan program layanan sosial, seperti Medicaid, bantuan perumahan, atau pendapatan jaminan sosial tambahan. Data historis yang diandalkan oleh program ini mungkin terganggu dengan data yang bias, dan ketergantungan pada data yang bias dalam model pembelajaran mesin melanggengkan bias. Namun, kesadaran akan potensi bias adalah langkah pertama untuk memperbaikinya.

Algoritme populer yang digunakan oleh banyak sistem perawatan kesehatan besar yang berbasis di AS untuk menyaring pasien untuk intervensi manajemen perawatan berisiko tinggi program terungkap untuk mendiskriminasi pasien kulit hitam karena didasarkan pada data yang terkait dengan biaya perawatan pasien. Namun, model tersebut tidak mempertimbangkan perbedaan ras dalam akses ke perawatan kesehatan, yang berkontribusi pada pengeluaran yang lebih rendah untuk pasien kulit hitam daripada pasien kulit putih yang didiagnosis serupa. Menurut Ziad Obermeyer, seorang profesor rekanan di University of California, Berkeley, yang mengerjakan penelitian ini, “Biaya adalah proksi yang masuk akal untuk kesehatan, tetapi ini bias, dan pilihan itulah yang sebenarnya memperkenalkan bias ke dalam algoritme. ”

Selain itu, kasus yang dikutip secara luas menunjukkan bahwa hakim di Florida dan beberapa negara bagian lain mengandalkan alat yang didukung pembelajaran mesin yang disebut COMPAS (Profil Manajemen Pelanggar Koreksi untuk Sanksi Alternatif) untuk memperkirakan tingkat residivisme untuk narapidana. Namun, banyak penelitian menantang keakuratan algoritme dan mengungkap bias rasial – meskipun ras tidak dimasukkan sebagai input ke dalam model.

Mengatasi bias

Solusi untuk bias AI dalam model? Tempatkan orang-orang di pucuk pimpinan untuk memutuskan kapan harus mengambil atau tidak mengambil tindakan di dunia nyata berdasarkan prediksi pembelajaran mesin. Penjelasan dan transparansi sangat penting untuk memungkinkan orang memahami AI dan mengapa teknologi membuat keputusan dan prediksi tertentu. Dengan memperluas penalaran dan faktor-faktor yang memengaruhi prediksi ML, bias algoritmik dapat muncul ke permukaan, dan pengambilan keputusan dapat disesuaikan untuk menghindari penalti yang mahal atau umpan balik yang keras melalui media sosial.

Bisnis dan para teknolog perlu fokus pada kemampuan untuk menjelaskan dan transparansi dalam AI.

Peraturan dan panduan dari pembuat undang-undang untuk mengurangi praktik AI yang bias masih terbatas namun terus berkembang. Baru-baru ini, pemerintah Inggris mengeluarkan Kerangka Etika, Transparansi, dan Akuntabilitas untuk Pengambilan Keputusan Otomatis untuk menghasilkan panduan yang lebih tepat tentang penggunaan kecerdasan buatan secara etis di sektor publik. Kerangka kerja tujuh poin ini akan membantu departemen pemerintah menciptakan sistem pengambilan keputusan algoritmik yang aman, berkelanjutan, dan etis.

Untuk membuka kekuatan penuh otomatisasi dan menciptakan perubahan yang adil, manusia perlu memahami bagaimana dan mengapa bias AI mengarah pada hasil tertentu dan apa artinya bagi kita semua.

Loren Goodman adalah salah satu pendiri dan CTO di

Teknologi Aturan.

DataDecisionMakers

Selamat datang di komunitas VentureBeat!

DataDecisionMakers adalah tempat para ahli, termasuk orang teknis yang melakukan pekerjaan data, dapat berbagi wawasan dan inovasi terkait data.

Jika Anda ingin membaca tentang ide-ide mutakhir dan informasi terkini, praktik terbaik, dan masa depan teknologi data dan data, bergabunglah dengan kami di DataDecisionMakers.

Anda bahkan mungkin mempertimbangkan menyumbangkan artikel Anda sendiri!

Baca Selengkapnya Dari DataDecisionMakers

Baca selengkapnya