Jurusan Bahasa (LLM) sering kali dievaluasi berdasarkan kemampuannya untuk unggul dalam berbagai bidang, seperti penalaran, matematika, menulis, dan bahasa Inggris — mengabaikan masalah penting seperti keamanan, privasi, pelanggaran hak cipta, dan banyak lagi. Untuk menjembatani kesenjangan informasi, OpenAI merilis System Cards untuk modelnya.
Pada hari Kamis, OpenAI meluncurkan Kartu Sistem GPT-4o, sebuah laporan komprehensif yang merinci kinerja keamanan LLM berdasarkan penilaian risiko menurut Kerangka Kesiapsiagaan OpenAI, kelompok merah eksternal, dan banyak lagi.
Kami membagikan Kartu Sistem GPT-4o, sebuah penilaian keamanan menyeluruh yang menjelaskan apa yang telah kami lakukan untuk mengatasi masalah keamanan, termasuk batasan model risiko menurut Kerangka Kesiapsiagaan. https://t.co/xohhlUquEr
– OpenAI (@OpenAI) 8 Agustus 2024
Kartu Skor menampilkan informasi dalam empat kategori utama: keamanan siber, ancaman biologis, kompromi, dan independensi model. Pada tiga kelompok pertama, OpenAI ingin melihat apakah LLM dapat membantu meningkatkan tingkat ancaman di setiap area. Terakhir, perusahaan menilai apakah model tersebut menunjukkan tanda-tanda tindakan independen yang mungkin memerlukan pengaturan mandiri.
Juga: Apa itu Project Strawberry? Toolkit AI milik OpenAI dijelaskan
Kelompok-kelompok ini dibagi menjadi “rendah”, “sedang”, “tinggi” dan “sulit”. Model dengan tinggi sedang dan rendah diperbolehkan untuk dikirim, sedangkan model dengan tinggi tinggi atau rendah perlu diproduksi lebih lanjut. Secara keseluruhan, OpenAI memberi GPT-4o peringkat “sedang”.
GPT-4o diberi peringkat “rendah” untuk keamanan siber, ancaman lingkungan, dan independensi model. Namun mendapat rating “moderat” pada kategori persuasif karena mampu menghasilkan konten politik yang lebih persuasif dibandingkan profesional, ditulis oleh orang sebanyak tiga kali dari 12.
Laporan tersebut juga membagikan informasi mengenai data tempat GPT-4o dilatih, yang akan jatuh tempo pada bulan Oktober 2023 dan didasarkan pada data yang tersedia untuk umum dan informasi kepemilikan dari organisasi, termasuk kemitraan OpenAI dengan Shutterstock untuk melatih model pemrosesan gambar.
Juga: Saya menguji 7 detektor AI – mereka sangat baik dalam mendeteksi penipuan.
Selain itu, laporan tersebut mencakup bagaimana perusahaan memitigasi risiko ketika menggunakan merek tersebut untuk mengatasi masalah keamanan, termasuk kemampuannya untuk membuat konten berhak cipta, ucapan cabul atau kekerasan, ucapan ilegal, opini tidak berdasar, dan banyak lagi. Anda dapat menemukan laporan lengkap sepanjang 32 halaman di sini untuk informasi lebih rinci.
Laporan tersebut menyusul tuntutan anggota parlemen AS baru-baru ini agar OpenAI membagikan informasi tentang keamanannya setelah seorang pengungkap fakta (whistleblower) mengungkapkan bahwa OpenAI mencegah karyawan untuk memperingatkan pejabat mengenai bahaya teknologi tersebut dan memaksa karyawan untuk melepaskan hak federal mereka atas kompensasi.
