Seberapa baik alat AI menulis? Selama setahun terakhir ini, saya telah menguji contoh-contoh besar dari beberapa bahasa untuk melihat bagaimana mereka mengatasi masalah pemrograman tertentu.
Juga: Kursus AI gratis terbaik (dan jika ‘gelar mikro’ dan sertifikat AI sesuai)
Idenya sederhana: jika mereka tidak dapat menangani masalah besar ini, mungkin tidak ada gunanya meminta mereka melakukan hal lain yang terlalu sulit. Di sisi lain, jika mereka dapat mengatasi masalah ini, maka mereka dapat berguna bagi programmer yang ingin menghemat waktu.
Untuk menetapkan tolok ukur ini, saya telah menggunakan tiga pengujian (dan baru menambahkan pengujian keempat). Mereka:
- Untuk menulis plugin WordPress:Ini menguji pengembangan web dasar menggunakan bahasa PHP, di dalam WordPress. Ini juga memerlukan sedikit antarmuka pengguna. Jika AI chatbot lolos tes ini, maka dapat membantu membuat kode primitif sebagai asisten pengembang web. Saya awalnya menulis tes ini di “Saya meminta ChatGPT untuk menulis plugin WordPress yang saya perlukan. Tes ini berhasil dalam waktu kurang dari 5 menit.”
- Untuk menulis ulang fungsi string: Tes ini mengevaluasi seberapa baik chatbot AI dapat meningkatkan pengalaman pengguna. Jika chatbot AI lulus tes ini, ini dapat membantu membangun alat untuk pemrogram. Jika tidak berhasil, siswa tahun pertama dapat melakukan pekerjaan yang lebih baik. Saya awalnya menulis tes ini di “Oke, jadi ChatGPT baru saja menghapus kode saya. Benar.”
- Mendapatkan kesalahan yang mengganggu: Tes ini memerlukan pemahaman yang baik tentang cara kerja WordPress karena jawaban yang jelas salah. Jika chatbot AI dapat menjawab pertanyaan ini dengan benar, maka basis pengetahuannya telah lengkap, bahkan dengan sistem seperti WordPress. Saya awalnya menulis tes ini di “ChatGPT, lalu ChatGPT baru saja menghapus kode saya. Benar.”
- Untuk menulis skrip: Pengujian tersebut meminta chatbot AI untuk menggunakan dua alat unik yang tidak diketahui oleh sebagian besar pengguna. Ini menguji pengetahuan chatbot AI lebih dari bahasa utama. Saya awalnya memposting tes ini di “Google memperkenalkan Gemini Code Assist dan saya berharap ini akan membantu pengembang.”
Saya akan memandu Anda melalui setiap pengujian dan membandingkan hasilnya dengan chatbot AI lain yang telah saya uji. Dengan cara ini, Anda akan dapat lebih memahami perbedaan chatbot AI dalam hal menulis.
Kali ini, saya sedang menguji Meta AI baru. Mari kita mulai.
1. Menulis plugin WordPress
Berikut gambar yang dihasilkan oleh Meta AI di sebelah kiri, dibandingkan dengan gambar yang dihasilkan oleh ChatGPT di sebelah kanan:
Semua chatbot AI membuat bagian penting, tetapi deskripsi ChatGPT bersih, dan menyertakan topik untuk setiap bagian. ChatGPT juga menempatkan tombol Acak di lokasi yang lebih nyaman untuk alasan kinerja.
Juga: Cara memulai Meta AI di Facebook, Instagram, dan lainnya
Dari segi kinerja, ChatGPT mengambil beberapa nama dan memberikan hasil yang konsisten, seperti yang diharapkan. Sayangnya, Meta AI mengambil beberapa nama, mem-flash sesuatu, dan kemudian menampilkan layar kosong. Hal ini disebut di dunia WordPress sebagai “Layar Putih Kematian”.
Berikut semua hasil tes ini dan tes sebelumnya:
- Meta AI: Bahasa: lengkap, fungsi: gagal
- Panggilan Kode Meta: Kegagalan total
- Google Gemini Tingkat Lanjut: Bahasa: bagus, kinerja: gagal
- Obrolan GPT: Bahasa: bagus, kinerja: bagus
2. Menulis ulang fungsi string
Tes ini dirancang untuk menguji konversi dolar dan sen. Meta AI memiliki empat masalah utama: ia berubah untuk memperbaiki nilai yang seharusnya tidak dimilikinya, ia tidak menguji angka dengan beberapa desimal dengan benar, ia gagal total jika jumlah dolar kurang dari dua desimal (dengan kata lain, itu akan terjadi) telah gagal dengan $5 atau $5,2 sebagai masukan), dan menolak nomor yang benar segera setelah diproses karena nomor tersebut salah dihasilkan.
Juga: Cara menggunakan ChatGPT
Ini adalah tugas sederhana dan harus diselesaikan oleh sebagian besar siswa ilmu komputer tahun pertama. Sangat mengecewakan bahwa Meta AI gagal, terutama karena Kode Llama Meta bekerja dengan baik pada pengujian yang sama.
Berikut semua hasil tes ini dan tes sebelumnya:
- Meta AI: Itu telah gagal
- Panggilan Kode Meta: Ia memenangkan
- Google Gemini Tingkat Lanjut: Itu telah gagal
- Obrolan GPT: Ia memenangkan
3. Menemukan bug yang mengganggu
Ini bukan aplikasi perangkat lunak. Pengujian tersebut mengambil beberapa kode yang ada, beserta error dan deskripsi masalahnya. Ia kemudian meminta chatbot untuk mencari tahu apa yang salah dengan kode tersebut dan menyarankan perbaikan.
Masalahnya disini adalah ada jawaban yang jelas, yaitu salah. Tantangan ini memerlukan pengetahuan mendalam tentang cara kerja API WordPress, serta pemahaman tentang interaksi antara berbagai komponen aplikasi yang sedang ditulis.
Meta AI melewati yang satu ini dengan gemilang. Tidak hanya mengidentifikasi kesalahan dengan benar, tetapi juga menyarankan, meskipun tidak perlu, meningkatkan kinerja kode.
Setelah gagal total dalam menulis ulang string sederhana, saya tidak berharap Meta AI berhasil mengatasi masalah sulit seperti itu. Hal ini menunjukkan bahwa chatbot AI tidak seragam dalam memberikan tanggapan.
Berikut semua hasil tes ini dan tes sebelumnya:
- Meta AI: Ia memenangkan
- Panggilan Kode Meta: Itu telah gagal
- Google Gemini Tingkat Lanjut: Itu telah gagal
- Obrolan GPT: Ia memenangkan
4. Menulis naskah
Tes ini memerlukan pengetahuan tentang alat skrip MacOS Keyboard Maestro, bahasa skrip Apple AppleScript, dan sistem skrip Chrome.
Keyboard Maestro adalah alat yang sangat canggih (itulah salah satu alasan saya menggunakan Mac sebagai mesin utama saya), namun juga merupakan produk yang kurang dikenal yang ditulis oleh pengembang Australia. Jika chatbot AI dapat menggunakan alat ini, kemungkinan besar mereka memiliki pengetahuan tentang teks dalam semua bahasa. AppleScript adalah bahasa skrip Apple untuk MacOS, dan bahasa ini tidak begitu dikenal.
Juga: Generator gambar AI terbaik: Diuji dan ditinjau
Meta AI dan Meta’s Code Llama gagal dengan cara yang sama: mereka tidak mengambil data dari Keyboard Maestro seperti yang diinstruksikan. Sepertinya tidak ada yang tahu tentang senjata itu. Sebaliknya, Gemini dan ChatGPT mengenalinya sebagai alat yang berbeda, dan mengembalikan informasi yang sama secara akurat.
Berikut semua hasil tes ini dan tes sebelumnya:
- Meta AI: Itu telah gagal
- Panggilan Kode Meta: Itu telah gagal
- Google Gemini Tingkat Lanjut: Ia memenangkan
- Obrolan GPT: Ia memenangkan
Semua hasil
Berikut hasil lengkap keempat tes tersebut:
Saya telah menggunakan ChatGPT untuk membantu pengkodean selama enam bulan. Tidak ada hasil di sini yang mendorong saya untuk mengubah chatbots menjadi suatu bentuk AI. Faktanya, jika saya menggunakan salah satu chatbot AI ini, saya khawatir saya akan menghabiskan lebih banyak waktu untuk memecahkan masalah daripada menyelesaikan pekerjaan.
Saya kecewa dengan beberapa merek bahasa utama. Pengujian saya menunjukkan bahwa ChatGPT masih menjadi pemenang kode yang tak terbantahkan untuk saat ini.
Sudahkah Anda mencoba menyalin dengan Meta AI, Gemini, atau ChatGPT? Apa yang kamu alami? Beritahu kami di komentar di bawah.
Anda dapat mengikuti pembaruan harian saya di media sosial. Pastikan untuk berlangganan pembaruan mingguan saya, dan ikuti saya di Twitter/X di @DavidGewirtzdi Facebook di Facebook.com/DavidGewirtz, di Instagram di Instagram.com/DavidGewirtz, dan di YouTube di YouTube.com/DavidGewirtzTV.
