Anthropic menganjurkan agar perusahaan-perusahaan kecerdasan buatan terkemuka di dunia menemukan cara terkoordinasi untuk menghentikan pengembangan sistem AI yang canggih, dan memperingatkan bahwa teknologi berkembang begitu cepat sehingga ada risiko manusia kehilangan kendali.

Perusahaan di balik chatbot Claude mengatakan dalam sebuah posting blog pada hari Kamis bahwa, seiring dengan semakin cepatnya AI dalam menjalankan tugas, “akan lebih baik bagi dunia untuk memiliki pilihan untuk memperlambat atau menghentikan sementara” perkembangannya.

Anthropic mengatakan lembaga penelitian internalnya berencana untuk mengeksplorasi masalah ini bekerja sama dengan pihak lain dan “mengambil tindakan” untuk membantu membangun sistem untuk mengatasi perlambatan atau jeda yang dapat dipercaya, tanpa menjelaskan secara lebih spesifik.

Saingan antropisnya, OpenAI, menganjurkan pendekatan yang berbeda dalam sebuah laporan yang diterbitkan pada hari Rabu, dengan mengatakan bahwa “pemerintahan demokratis – bukan perusahaan swasta yang bertindak sendiri – pada akhirnya harus menentukan aturan, perlindungan, dan mekanisme akuntabilitas”.

“Pandangan kami adalah bahwa keputusan mengenai laju inovasi AI tidak boleh diserahkan kepada satu laboratorium, perusahaan, atau kelompok kepentingan tertentu,” katanya.

Model AI semakin cepat, dengan peningkatan pesat dalam kecepatan mereka menjalankan tugas perangkat lunak seperti coding sendiri, kata Anthropic dalam postingannya. Berdasarkan tren saat ini dan dengan daya komputasi yang memadai, sistem AI dapat merancang dan mengembangkannya sendiri, yang dikenal sebagai “perbaikan diri secara rekursif”.

AI yang dibangun sendiri akan menjadi tonggak sejarah besar dalam teknologi yang akan membawa manfaat dalam bidang sains, layanan kesehatan, dan bidang lainnya, kata Anthropic, namun hal ini “juga dapat meningkatkan risiko manusia kehilangan kendali atas sistem AI”.

Beberapa tokoh industri teknologi telah lama melakukan pengukuran skenario seperti itu.

Postingan Anthropic muncul setelah peringatan berbeda minggu ini dari tim peneliti di Universitas Toronto yang menunjukkan bagaimana alat AI dapat digunakan untuk menciptakan “worm” AI jenis baru yang mengadaptasi strategi peretasnya saat menyebar dari perangkat ke perangkat dan mengambil alih jaringan komputasi yang luas.

“Saya pikir sangat penting bagi masyarakat untuk memahami bahwa bukan hanya model bahasa yang terbesar dan paling kuat yang menimbulkan masalah keamanan,” kata pemimpin peneliti Nicolas Papernot dalam sebuah wawancara.

Para penulis dari pos Antropiksalah satu pendiri perusahaan Jack Clark dan Marina Favaro, kepala lembaga penelitiannya, mengatakan jeda tersebut akan digunakan untuk memungkinkan “penelitian struktur masyarakat dan penyelarasan” agar dapat mengimbangi kemajuan AI. Penyelarasan adalah singkatan dari industri untuk memastikan teknologi sesuai dengan nilai dan niat kemanusiaan.

Koordinasi yang diusulkan akan memungkinkan laboratorium AI yang canggih untuk memverifikasi bahwa pesaing global benar-benar menghentikan atau memperlambat pekerjaan mereka, “dan bahwa pelaku kejahatan tidak dapat memanfaatkan perlambatan terkoordinasi untuk melakukan lompatan maju secara rahasia”.

Perusahaan tersebut mengatakan bahwa mekanisme global yang terkoordinasi diperlukan karena, tanpa mekanisme ini, perlambatan dalam pengembangan AI dapat membuat pihak-pihak yang “paling tidak berhati-hati” mengejar ketertinggalan dan menambah tekanan pada perusahaan dan pemerintah ketika mereka mengambil keputusan sulit mengenai keamanan AI.

Kekhawatiran bahwa sistem AI yang canggih akan lepas dari kendali manusia menyebabkan dan kerugian sosial telah meningkat seiring dengan semakin canggihnya kemampuan teknologi tersebut. Model Mythos milik Anthropic mengirimkan gelombang kejutan ke berbagai industri, termasuk perbankan dan perangkat lunak, awal tahun ini dengan kemampuan menemukan kerentanan dalam kode yang ada.

Namun regulasi berjalan lambat, terutama di Amerika Serikat, yang merupakan tempat sebagian laboratorium besar AI terkemuka berada. Perintah eksekutif pemerintahan Trump awal pekan ini menempatkan tanggung jawab di laboratorium itu sendiri, meminta mereka untuk secara sukarela menyerahkan model mereka yang paling mumpuni untuk menguji keamanan siber pemerintah sebelum dirilis ke publik.

Fokus keselamatan

Peneliti AI juga telah mendesak adanya jeda sebelumnya, namun tidak menghasilkan hasil. Elon Musk, pemilik laboratorium AI xAI, termasuk di antara pendukung dorongan yang dilakukan oleh lembaga nirlaba Future of Life Institute pada tahun 2023 untuk menghentikan pengembangan AI selama enam bulan guna memberikan waktu bagi pagar pengaman.

Anthropic telah lama memposisikan dirinya sebagai laboratorium AI yang fokus pada keselamatan. Awal tahun ini, mereka menolak membiarkan militer AS menggunakan model mereka untuk mengawasi dalam negeri dan senjata yang sepenuhnya otonom, sehingga memicu reaksi keras dari pemerintah, yang kemudian menempatkan mereka pada posisi yang tidak menguntungkan. daftar hitam keamanan nasionalakan mulai berlaku pada tahun 2026 nanti.

Postingan Anthropic muncul saat perusahaan dan pembuat ChatGPT OpenAI berlomba untuk menjual saham di pasar saham, dengan cara yang sama. penawaran umum perdana yang bisa memberi nilai Antropis hampir satu triliun dolar.

Papernot memberi tahu otoritas keamanan siber Kanada sebelum merilis laporannya, yang menunjukkan bagaimana para peneliti mengembangkan worm di laboratorium dengan menggunakan alat AI “sumber terbuka” yang mudah diakses dan dimodifikasi oleh pengembang perangkat lunak dengan biaya murah.

“Dulu, penyerang siber akan fokus pada target yang nilainya sangat tinggi,” ujarnya. “Sistem perbankan, rumah sakit, jaringan listrik, sistem pengolahan udara, sekolah.”

Papernot setuju bahwa harus ada lebih banyak kolaborasi antara perusahaan, lembaga pemerintah, dan peneliti akademis untuk mengembangkan tindakan pencegahan seiring dengan alat peretasan yang didukung AI yang mempercepat kerentanan kerentanan komputer.

“Laptop lama yang Anda miliki di ruang bawah tanah dan tidak Anda periksa secara teratur sepertinya bukan target yang bernilai tinggi, namun dapat digunakan sebagai landasan peluncuran untuk menyerang target yang bernilai lebih tinggi ini,” katanya. “Apa pun yang terhubung ke internet kini berisiko karena rendahnya biaya yang diperlukan untuk melancarkan serangan siber ini.”