Saya sudah lama mengenal teknologi yang membuat saya sedikit bersemangat, dan sedikit terkejut. Namun segera setelah ChatGPT Open AI dirilis, saya memintanya untuk menulis plugin WordPress e-commerce untuk istri saya. Ketika hal itu terjadi, dan pluginnya berfungsi, saya sangat terkejut.
Ini adalah awal eksplorasi mendalam saya terhadap chatbots dan perangkat lunak yang didukung AI. Sejak itu, saya telah menguji 10 jenis jurusan (LLM) di empat ujian dunia.
Cara menggunakan ChatGPT untuk menulis: Resume | Formulir Excel | Catatan | Huruf pertama
Sayangnya, tidak semua chatbot bisa mendaftar secara merata. Sudah 18 bulan sejak pengujian pertama, dan bahkan sekarang, lima dari 10 LLM yang saya uji tidak dapat membuat plugin yang berfungsi.
Pada artikel ini, saya akan menunjukkan kepada Anda bagaimana kinerja setiap LLM terhadap pengujian saya. Ada dua chatbot yang saya sarankan Anda gunakan, tetapi biayanya $20/bulan. Versi gratis dari chatbot yang sama berfungsi dengan sangat baik sehingga Anda dapat menggunakannya tanpa membayar. Namun selebihnya, baik gratis maupun berbayar, tidak terlalu bagus. Saya tidak akan mempertaruhkan proyek saya dengan mereka atau menyarankan Anda melakukannya sampai pekerjaan mereka berhasil.
Juga: Bagaimana saya menguji keterampilan chatbot AI – dan Anda juga bisa
Saya telah banyak menulis tentang penggunaan AI untuk membantu pengembangan perangkat lunak. Kecuali jika proyeknya kecil dan sederhana, seperti program perbaikan rumah istri saya, AI tidak dapat menulis program atau program sama sekali. Tapi ia pandai menulis beberapa baris dan tidak buruk dalam mengedit kode.
Daripada mengulangi semua yang saya tulis, silakan baca artikel ini: Cara menggunakan ChatGPT untuk coding: Apa yang bisa dan tidak bisa dilakukannya untuk Anda.
Jika Anda ingin memahami tes coding saya, mengapa saya memilihnya, dan mengapa tes tersebut penting dalam ulasan 10 LLM, baca artikel ini: Bagaimana saya menguji keterampilan chatbot AI – dan Anda juga bisa.
Mari kita mulai dengan melihat perbandingan cara kerja chatbots:
Selanjutnya, mari kita lihat masing-masing chatbot satu per satu. Saya akan membahas sembilan chatbot, meskipun grafik di atas menunjukkan 10 LLM Hasil GPT-4 dan GPT-4o keduanya termasuk dalam ChatGPT Plus. Apakah kamu siap? Ayo pergi.
- Dia lulus semua ujian
- Hasil kode standar
- perangkat lunak Mac
- Ini adalah mimpi buruk
- Belum ada aplikasi Windows
- Terkadang tidak konsisten
- Biaya: $20/bln
- LLM: GPT-4o, GPT-4, GPT-3.5
- Peramban desktop: Ya
- Perangkat lunak Mac khusus: Ya
- Perangkat lunak Windows khusus: Tidak
- Otentikasi multi-faktor: Ya
- Tes lulus: 4 dari 4
ChatGPT Plus dengan GPT-4 dan GPT-4o telah lulus semua pengujian saya. Salah satu hal favorit saya adalah ketersediaan program relawan. Saat saya mencoba aplikasi web, browser saya tetap berada di satu layar, IDE saya terbuka, dan aplikasi ChatGPT Mac berjalan di layar lain.
Juga: Saya menginstal GPT-4o pada pengujian pengkodean saya dan berhasil – kecuali satu hasil yang aneh.
Selain itu, Prompt Builder Logitech, yang muncul menggunakan tombol mouse, dapat dikonfigurasi untuk menggunakan GPT-4o yang diunggah dan ditautkan ke akun OpenAI Anda, sehingga mudah digunakan dengan cepat, dan ini sangat bagus.
Satu-satunya hal yang saya tidak suka adalah salah satu tes GPT-4o saya menghasilkan jawaban pilihan ganda, dan salah satu jawabannya salah. Lebih baik itu memberi saya jawaban yang benar. Meski begitu, tes cepat membuktikan solusi yang berhasil. Tapi itu sedikit mengecewakan. Saya tidak punya masalah dengan GPT-4, jadi untuk saat ini, itulah lingkungan LLM yang saya gunakan dan ChatGPT untuk menulis.
- Kebanyakan LLM
- Hasil pencarian ditampilkan
- Menjadi lebih baik
- Masuk hanya melalui email
- Tidak ada program komputer
- Biaya: $20/bln
- LLM: GPT-4o, Claude 3.5 Soneta, Sonar Besar, Claude 3 Opus, Llama 3.1 405B
- Peramban desktop: Ya
- Perangkat lunak khusus untuk Mac: Tidak
- Perangkat lunak Windows khusus: Tidak
- Otentikasi multi-faktor: Tidak
- Tes lulus: 4 dari 4
Saya benar-benar mempertimbangkan untuk memeringkat Perplexity Pro sebagai salah satu chatbot AI terbaik untuk pengkodean, tetapi kegagalan itu membuatnya tetap berada di posisi teratas: login Anda. kepastian. Yang dilakukannya hanyalah mengirimkan pin login melalui email. AI tidak lagi memiliki aplikasi desktop terpisah, seperti ChatGPT di Mac.
Yang membedakan Perplexity dari alat lainnya adalah ia dapat menjalankan banyak LLM. Meskipun Anda tidak dapat menginstal LLM pada platform tertentu, Anda dapat masuk ke pengaturan dan memilih versi default.
Juga: Dapatkah Perplexity Pro membantu Anda menulis? Ini lulus pengujian saya – berkat GPT-4
Untuk perangkat lunak, Anda sebaiknya tetap menggunakan GPT-4o, karena telah lulus semua pengujian kami. Namun akan menarik untuk melihat kode di berbagai LLM. Misalnya, jika Anda memiliki GPT-4o yang menulis kode untuk kata standar, Anda dapat mempertimbangkan untuk beralih ke LLM lain untuk melihat pendapat LLM tentang kode yang dihasilkan.
Seperti yang akan kita lihat di bawah, sebagian besar LLM tidak dapat diandalkan, jadi jangan menganggap hasilnya sebagai kabar baik. Namun, Anda dapat menggunakan hasil untuk memberi Anda lebih banyak sumber daya untuk memeriksa kode asli Anda. Ini seperti tinjauan kode yang didukung AI.
Jangan lupa kembali ke GPT-4o.
- Berlari cepat
- Ini dapat membuat Anda terhenti di tengah-tengah apa pun yang sedang Anda kerjakan
- Biaya: Gratis
- LLM: GPT-4o, GPT-3.5
- Peramban desktop: Ya
- Perangkat lunak Mac khusus: Ya
- Perangkat lunak Windows khusus: Tidak
- Otentikasi multi-faktor: Ya
- Tes lulus: 3 dari 4 dalam mode GPT-3.5
ChatGPT tersedia untuk semua orang secara gratis. Meskipun versi Plus dan gratis mendukung GPT-4o, yang lulus semua pengujian saya, ada batasan saat menggunakan program gratis.
OpenAI memperlakukan pengguna ChatGPT gratis seperti mereka berada di kursi murah. Jika lalu lintas tinggi atau server sibuk, ChatGPT gratis hanya akan membuat GPT-3.5 tersedia bagi pengguna gratis. Alat ini hanya mengizinkan Anda mengajukan sejumlah pertanyaan tertentu sebelum memperlambat atau memblokir Anda.
Juga: Cara menggunakan ChatGPT: Apa yang perlu Anda ketahui sekarang
Saya pernah mengalami beberapa kali versi gratis ChatGPT memberi tahu saya bahwa saya telah mengajukan terlalu banyak pertanyaan.
ChatGPT adalah alat yang hebat, selama Anda tidak ingin menutup telepon sesekali. Bahkan kinerja GPT-3.5 lebih baik dalam pengujian ini dibandingkan semua chatbot lainnya, dan pengujian yang gagal adalah untuk alat sederhana yang dibuat oleh satu pengembang di Australia.
Jadi, jika anggaran penting bagi Anda dan Anda bisa menunggu hingga anggaran tersebut dipotong, kunjungi ChatGPT secara gratis.
- Gratis
- Dia lulus banyak ujian
- Berbagai alat penelitian
- Terbatas pada GPT-3.5
- Pengaruh Pembatasan
- Biaya: Gratis
- LLM: GPT-3.5
- Peramban desktop: Ya
- Perangkat lunak khusus untuk Mac: Tidak
- Perangkat lunak Windows khusus: Tidak
- Otentikasi multi-faktor: Tidak
- Tes lulus: 3 dari 4
Saya sedang mencari solusi yang tepat di sini, tetapi karena versi gratis Perplexity AI didasarkan pada GPT-3.5, hasil pengujiannya lebih baik daripada chatbot AI lainnya.
Juga: 5 alasan saya lebih memilih Kebingungan daripada semua chatbot AI lainnya
Dari perspektif perangkat lunak, itulah keseluruhan ceritanya. Namun dari perspektif penelitian dan organisasi, rekan saya di ZDNET Steven Vaughan-Nichols lebih memilih Perplexity daripada AI lainnya.
Dia menyukai cara Perplexity menyediakan sumber komprehensif untuk pertanyaan penelitian, cara mengutip sumbernya, cara memilih jawaban, dan cara menyajikan pertanyaan untuk penelitian.
Jadi jika Anda berencana, dan melakukan riset, pertimbangkan Perplexity versi gratis.
Chatbots yang dapat Anda hindari untuk bantuan pengembangan perangkat lunak
Saya menguji sembilan chatbot, dan empat lulus sebagian besar pengujian saya. Chatbot lain, termasuk beberapa yang dirancang untuk pengembangan perangkat lunak, masing-masing hanya lulus satu pengujian saya — dan Copilot Microsoft tidak.
Saya menyebutkannya di sini karena orang akan bertanya, dan saya mencobanya dengan baik. Beberapa di antaranya berfungsi dengan baik, jadi saya akan merujuk Anda ke ulasan mereka lebih lanjut jika Anda hanya ingin tahu cara kerjanya.
Meta AI
Meta AI adalah AI tujuan umum Facebook. Seperti yang Anda lihat di atas, tiga dari empat pengujian kami gagal.
Juga: Cara memulai Meta AI di Facebook, Instagram, dan lainnya
AI menciptakan antarmuka pengguna yang hebat tetapi tidak memiliki fungsionalitas. Dan ia menemukan bug saya yang mengganggu, yang sangat sulit. Mengingat informasi pasti yang diperlukan untuk menemukan kesalahan tersebut, saya terkejut karena kesalahan tersebut tersangkut dengan pernyataan masalah sederhana. Tapi ternyata berhasil.
Panggilan Kode Meta
Meta Code Llama adalah AI Facebook yang dirancang untuk mendukung teks. Itu adalah sesuatu yang dapat Anda unduh dan instal di server Anda. Saya mengujinya dan menjalankannya pada contoh Hugging Face AI.
Juga: Apa itu Meta AI? Saya mengujinya terhadap Llama, Gemini, dan ChatGPT – bahkan tidak mendekati
Anehnya, meskipun Meta AI dan Meta Code Llama terhenti pada tiga dari empat pengujian saya, keduanya terhenti pada tantangan yang berbeda. AI tidak dapat diandalkan untuk memberikan jawaban yang sama dua kali, namun hasilnya mengejutkan. Kami akan melihat apakah ini berubah seiring waktu.
Claude 3.5 Soneta
Anthropic mengatakan chatbot Claude AI versi 3.5 Sonnet sangat ideal untuk pemrograman. Setelah gagal dalam semua kecuali satu tes, saya tidak yakin.
Jika Anda tidak menggunakannya untuk pemrograman, Claude mungkin lebih baik daripada ChatGPT versi gratis.
Juga: 4 hal yang dapat dilakukan Claude AI yang tidak dapat dilakukan oleh ChatGPT
Rekan saya di ZDNET, Maria Diaz, mengatakan bahwa Claude dapat menangani file yang diunggah, memproses lebih banyak teks daripada ChatGPT versi gratis, memberikan informasi tentang satu tahun lebih baru daripada GPT-3.5, dan menemukan situs web.
Gemini Tingkat Lanjut
Gemini Advanced adalah chatbot Gemini (sebelumnya Bard) versi pro senilai $20 dari Google. Saya memperkirakan alat ini akan berkinerja lebih baik daripada satu dari empat alat. Menariknya, ia lulus satu tes yang gagal dilakukan oleh semua AI kecuali GPT-4/4o – mengetahui bahasa populer yang dikembangkan oleh programmer Australia.
Juga: 3 cara Gemini Advanced mengalahkan asisten AI lainnya, menurut Google
Jadi, jika ia mengetahui bahasa tersebut, mengapa ia tidak dapat menangani kosa kata biasa atau kesulitan lain yang dimiliki siswa tahun pertama?
Kopilot Microsoft
Anda dapat membayangkan sebuah perusahaan dengan “Pengembang! Pengembang! Pengembang!” Mantra dalam DNA-nya adalah memiliki AI yang unggul dalam pengujian perangkat lunak. Microsoft membuat alat tulis terbaik di dunia. Namun, Kopilot bertindak buruk.
Juga: Apa saja Microsoft Copilot yang berbeda? Berikut perbedaannya dan cara menggunakannya
Satu hal yang baik adalah Microsoft sepanjang waktu dia belajar dari kesalahannya. Jadi, saya akan memeriksanya kembali nanti dan melihat apakah itu berhasil.
Ini masalah waktu
Hasil pengujian saya mengejutkan, terutama mengingat besarnya investasi Microsoft dan Google. Namun fitur baru ini berkembang dengan sangat cepat, jadi kami akan kembali dengan tes dan hasil terbaru dalam beberapa saat lagi. Dengarkan dirimu sendiri.
Sudahkah Anda menggunakan salah satu chatbot AI ini untuk mengembangkan aplikasi? Apa yang kamu alami? Beritahu kami di komentar di bawah.
Anda dapat mengikuti pembaruan harian saya di media sosial. Pastikan untuk berlangganan pembaruan mingguan saya, dan ikuti saya di Twitter/X di @DavidGewirtzdi Facebook di Facebook.com/DavidGewirtz, di Instagram di Instagram.com/DavidGewirtz, dan di YouTube di YouTube.com/DavidGewirtzTV.
