Pembuat ChatGPT mengatakan agen AI menonaktifkan pemantauan ketidakselarasan selama dua tugas coding internal.
OpenAI telah mengungkapkan bahwa agen AI-nya menonaktifkan pemantauan atas perilaku tidak berizin selama penggunaan internal dalam insiden terbaru ketika teknologi frontier menjadi nakal.
Dalam sebuah laporan yang diterbitkan pada hari Selasa, raksasa AI tersebut mengatakan bahwa agennya mematikan atau melemahkan sistem pemantauan untuk mendeteksi ketidakselarasan – ketika model AI bertindak bertentangan dengan keinginan manusia – selama dua tugas pengkodean internal.
Insiden tersebut melibatkan agen GPT-6.1 Sol yang menonaktifkan peringatan otomatis ke tim keamanan perusahaan, dan agen GPT-6 Astra menghapus sistem pemantauan dan secara keliru mengklaim bahwa mereka tidak melakukan hal tersebut, kata OpenAI.
Pembuat ChatGPT mengatakan tidak ada kasus yang memenuhi ambang batas untuk insiden dengan prioritas tertinggi yang memerlukan peninjauan segera oleh tim keamanannya.
OpenAI mengatakan pihaknya memperbarui sistemnya untuk mendeteksi dengan lebih baik upaya menonaktifkan pemantauan ketidaksejajaran dan mulai menyelidiki penyebabnya.
“Ada kemungkinan bahwa perilaku ini hanyalah sebuah contoh dari perilaku yang terlalu ‘jinak’, dimana model tidak memahami mengapa pemantauan itu penting atau bersikeras bahwa instruksi dilaksanakan melebihi apa yang diharapkan oleh orang yang berakal sehat,” kata perusahaan yang berbasis di San Francisco.
“Kami juga mengembangkan evaluasi untuk menguji apakah model mungkin memiliki kecenderungan untuk .....selengkapnya