Membuka gelar jurusan bahasa (LLM) tidaklah mudah. Tanyakan saja pada Open Source Initiative (OSI), yang telah mengerjakan terjemahan AI open source selama hampir dua tahun. Beberapa perusahaan – Meta, misalnya – mengatakan mereka akan membuka LLM sendiri. (Mereka belum melakukannya.) Namun, kini IBM telah melangkah maju dan melakukannya.
IBM mengelola kode sumber terbuka Granite menggunakan data pra-pelatihan dari kumpulan data yang tersedia untuk umum, seperti GitHub Code Clean, data Starcoder, repositori publik, dan artikel GitHub. Singkatnya, IBM telah berupaya keras untuk menghindari masalah hak cipta atau hukum. Model Basis Kode Granit dilatih pada token data kode berukuran 3 hingga 4 terabyte dan kumpulan data terkait bahasa alami.
Juga: Mengapa model AI open source masih selangkah di belakang GPT-4
Semua versi dilisensikan di bawah Lisensi Apache 2.0 untuk penelitian dan penggunaan komersial. Kata terakhirnya – bisnis – yang menghentikan pembukaan LLM besar lainnya. Tidak ada orang lain yang mau berbagi manfaat LLM mereka.
Namun, seperti yang dikatakan oleh kepala ilmuwan IBM Research, Ruchir Puri, “Kami mengubah lanskap pemrograman AI dengan merilis kode LLM berkinerja tinggi dan berbiaya rendah, memberdayakan komunitas open source untuk berinovasi tanpa batasan.”
Tanpa batasan mungkin, tapi bukan tanpa menggunakan pikiran.
Model granit, seperti yang dikatakan oleh manajer umum Ekosistem IBM Kate Woolley tahun lalu, “tidak” mencoba menjadi segalanya bagi semua orang. Ini bukan menulis puisi untuk anjing Anda. kasus penggunaan bisnis yang kita ingin bisnis gunakan.
Jenis decodernya saja, dilatih dengan kode dari 116 bahasa, berkisar antara 3 hingga 34 miliar unit. Mereka mendukung penggunaan banyak program, mulai dari pembaruan modern hingga perangkat yang membatasi memori.
IBM telah menggunakan LLM ini dalam produk IBM Watsonx Code Assistant (WCA), seperti WCA Ansible Lightspeed untuk Otomasi TI dan WCA IBM Z untuk aplikasi COBOL modern. Tidak semua orang mampu membeli Watsonx, tetapi sekarang, semua orang dapat bekerja dengan Granite LLM menggunakan IBM dan InstructLab Red Hat.
Juga: Chatbot AI terbaik: ChatGPT dan alternatifnya
Seperti yang dikatakan SVP dan chief product officer Red Hat Ashesh Badani, InstructLab “akan mengurangi banyak hambatan yang dicari GenAI dalam cloud hybrid, mulai dari keterampilan ilmu data yang terbatas hingga infrastruktur penting.” Kuncinya adalah menurunkan entry level bagi pengembang yang ingin menggunakan LLM.
Seberapa rendah? Seperti yang dikatakan Matt Hick di Red Hat Summit, “Keterampilan yang, setahun lalu, digabungkan dengan alat yang paling canggih dan tidak biasa, kini dapat bekerja di laptop. Hal ini dapat diulangi beberapa ribu kali.”
Misalnya, selain InstructLab, Anda bisa menggunakan Ollma untuk menjalankan LLM secara lokal. Seperti yang dijelaskan Bala Priya C di KDnuggets, “Dengan Ollama, semua yang Anda perlukan untuk menjalankan LLM – bobot model dan semua konfigurasi – ditempatkan dalam satu Modelfile. Pikirkan Docker untuk LLM.” Model-model ini tersedia pada platform seperti Hugging Face, GitHub, Watsonx.ai, dan Red Hat Enterprise Linux (RHEL) AI.
IBM berharap para pengembang, selain menulis kode dengan Granite LLM, akan menghemat waktu dan tenaga dengan menggunakan LLM untuk membuat pengujian dan menemukan serta memperbaiki bug. “Banyak tugas sehari-hari namun penting yang menjadi bagian dari keseharian pengembang – mulai dari membuat pengujian unit hingga menulis dokumentasi atau melakukan penilaian risiko – dapat diotomatisasi dengan model ini.
Selain itu: AI21 dan Databricks menunjukkan bahwa open source dapat mengurangi AI secara signifikan
Selain membantu pengembang, IBM melihat manfaat bisnis dalam model Granit karena, tidak seperti banyak model lainnya, lisensi mereka jelas, begitu pula model yang dilatih. Selain itu, data telah dibersihkan dan disaring dari kebencian, kekerasan, dan kata-kata kasar.
Jadi, jika perusahaan Anda ragu untuk mengeksplorasi penggunaan AI untuk mengembangkan perangkat lunak karena alasan hukum, IBM baru saja menyediakan alat sumber terbuka yang Anda perlukan untuk menyederhanakan proses pengembangan perangkat lunak Anda. Cobalah. Beberapa dari Anda akan membangun hal-hal hebat dari blok Granit ini.
