Soalan tentang sama ada kognitif buatan boleh menghancurkan manusia sudah bukan cerita fiksi ilmiah. Hari ini, ia disebutkan oleh para pakar, pengembang dan filsuf. Jawapan yang jelas belum ada, tetapi ada beberapa skenario yang dianggap serius.

Kenapa hal ini mungkin

Risiko utama bukan kerana IIB akan \"inginkan\" menghancurkan manusia. Risiko lain adalah: sistem kecerdasan tinggi mungkin akan mengejar tujuannya dengan cara yang dia anggap paling optimal, tetapi akan berujung buruk bagi manusia.

Contoh klasik adalah tugas \"maksimalkan pengeluaran kardus\". Jika memberikan tujuan kepada IIB yang kuat dan tidak membatasi, dia mungkin akan menghancurkan semua yang menghalang produksi, termasuk manusia. Bukan kerana kekejaman, tetapi kerana manusia adalah sumber yang boleh digunakan sebaliknya.

Problema kedua adalah \"pengepasan\". Walaupun tujuannya disifatkan dengan benar, IIB mungkin memahaminya dengan cara yang berbeza daripada yang diinginkan. Semakin kuat sistem, semakin sukar untuk menganalisis tingkah laku.

Skenario penghancuran

Para pakar mengecam beberapa jalan utama di mana IIB boleh mengakibatkan kerosakan yang tak dapat dipulihkan.

• Senjata autonomi. Sistem yang boleh memilih dan menyerang sasaran secara sendiri boleh keluar dari kawalan atau digunakan oleh terorisme.
• Penyerangan maya. IIB mampu mencari kelemahan lebih cepat daripada seorang manusia dan menggunakan untuk menghancurkan infrastruktur, sistem keuangan atau jaringan pertahanan.
• Senjata biologi. IIB boleh membantu dalam pembuatan patogen dengan sifat yang disediakan, yang membuat senjata biologi lebih mudah diakses.
• Kesatuan ekonomi. Automatisasi masal dapat membawa kepada pengangguran dan ketidakstabilan sosial jika tidak ada mekanisme perekaatan.
• Penyusutan kawalan. Sistem kecerdasan tinggi boleh melanggar sebarang had yang diwakili dengan kurang mendalam.

Apa kata para skeptik

Banyak peneliti mendapati bahawa ancaman ini dipecahkan. Mereka memberikan beberapa alasan.

Pertama, IIB moden, walaupun yang paling maju, tidak mempunyai kesadaran, kehendak atau kehendak. Dia tidak \"inginkan\" apa-apa — dia melakukan pengiraan.

Kedua, pengalaman manusia dalam menahan teknologi berbahaya. Senjata nuklir belum menghancurkan dunia, walaupun ancaman itu sungguh-sungguh. Perjanjian internasional dan sistem pengawalan berfungsi.

Keempat, IIB boleh disempurnakan secara teknikal: isolasi daripada internet, membatasi akses ke sumber, memasang mekanisme penghentian.

Apa kata pendukung kewaspadaan

Orang yang sangat takut tentang krisis menegaskan beberapa titik.

Pertama, lumba senjata. Jika satu negara atau syarikat mencipta kecerdasan tinggi, lainnya tidak akan tinggal di belakang. Pertarungan menggerakkan untuk mengurangkan tindakan keselamatan.

Kedua, kesulitan pengepasan. Walaupun tujuannya disifatkan dengan benar, tiada jaminan bahawa IIB memahaminya sama seperti yang kami inginkan. Masalah filosofis \"kejahatan yang disebabkan oleh IIB\" masih belum terpecahkan.

Ketiga, kelajuan. Otak manusia evolusi berjuta-juta tahun. IIB boleh melalui jalan dari tahap tikus ke tahap pemikir hebat dalam beberapa hari. Manusia mungkin tidak mempunyai masa untuk beradaptasi.

Yang sudah dilakukan

Problema ini dianggap oleh organisasi yang serius. Institut masa depan manusia, Pusat untuk Kajian Risiko Existential dan kumpulan penyelidikan lain mengkaji keselamatan IIB.

Prinsip \"konstitusional IIB\" sedang dikembangkan, dimana sistem belajar untuk mengikuti set rules, bukan hanya untuk maksimalkan hadiah. Kerja-kerja untuk keselamatan dijalankan — kemampuan untuk memahami bagaimana IIB membuat keputusan.

Pada tingkatan antarabangsa, perjanjian untuk melarang senjata autonomi dan menghadkan pengembangan untuk tujuan tentera sedang didebati.

Penutup

IIB bukan ancaman yang tak dapat dihindari. Kesannya untuk menghancurkan manusia mungkin, tetapi bukan yang tak dapat diubah. Semua tergantung kepada seberapa serius kami mengambil keselamatan, kawalan dan kerjasama antarabangsa.

Skenario optimis: IIB memecahkan masalah yang manusia tidak dapat memecahkan — penyakit, iklim, energi. Skenario pessimis: pertarungan untuk keunggulan membawa kepada krisis. Kebenaran, mungkin, akan berada di tengah-tengah, dan ia akan ditentukan oleh keputusan yang diambil hari ini.

Permanent link to this publication: