Dunia perangkat lunak sumber terbuka terus memungkinkan perusahaan untuk membedakan dirinya dari raksasa AI seperti OpenAI dan Google. Pada hari Rabu, vendor penyimpanan cloud Snowflake mengumumkan versi AI sumber terbuka yang menurut perusahaan bisa lebih berguna daripada Llama 3 yang baru-baru ini dirilis Meta untuk aplikasi perusahaan, seperti pengkodean SQL untuk pemulihan basis data.
Juga: AI21 dan Databricks menunjukkan bahwa open source dapat mengurangi AI secara signifikan
Bahasa utama (LLM), yang disebut Arctic, “sama atau lebih baik dari Llama 3 8B dan Llama 2 70B pada perangkat keras perusahaan, menggunakan kurang dari setengah biaya komputasi,” kata Snowflake dalam repositori GitHub-nya.
Snowflake telah merilis semua komponen dan kode sumber Arctic di bawah lisensi sumber terbuka Apache 2.0, bersama dengan “resep data” pelatihan perusahaan, serta alat penelitian. Area Hugging Face juga tersedia.
“Ini adalah momen penting bagi Snowflake, tim peneliti AI kami menciptakan inovasi di garis depan AI,” kata CEO Snowflake Sridhar Ramaswamy dalam sebuah pernyataan.
Snowflake menekankan kemampuan Arctic untuk bersaing dengan Llama 3 dan DBRX, tidak hanya dalam aplikasi bisnis tetapi juga dalam tolok ukur pembelajaran mesin secara umum seperti tugas pemahaman teks “MMLU”:
Demikian pula, meskipun menghabiskan anggaran 17x lebih sedikit, Arktik menyamai Llama3 70B dalam fitur bisnis seperti Coding (HumanEval+ & MBPP+), SQL (Spider) dan Instruksi Mengikuti (IFEval). Ia melakukan hal ini sambil tetap kompetitif dalam semua performa, misalnya, meskipun menggunakan 7x lebih sedikit dibandingkan DBRX, ia tetap kompetitif dalam Pemahaman Bahasa dan Percakapan (termasuk 11 metrik) sambil unggul dalam Matematika (GSM8K).
Snowflake belum menerbitkan makalahnya, tetapi perusahaan telah memposting rincian teknis di GitHub. Pendekatan yang diambil oleh Snowflake AI – Yuxiong He, Samyam Rajbhandari, dan Yusuf Ozuysal – serupa dengan pendekatan yang baru-baru ini diambil oleh vendor database Databricks dengan DBRX LLM dan dengan meluncurkan AI21 Labs dengan Jamba LLM-nya.
Juga: Bagaimana Llama 3 Meta akan diintegrasikan dengan asisten AI-nya
Metode ini menggabungkan model adaptif standar dengan apa yang disebut “campuran ahli” (MoE), sebuah metode LLM yang menghentikan beberapa beban kerja saraf untuk menghemat kebutuhan komputasi dan memori. MoE adalah salah satu alat yang digunakan Google untuk Gemini LLM terbarunya.
Snowflake menyebut trafonya “Dense – MoE Hybrid Transformer” dan menjelaskan pengoperasiannya sebagai berikut:
Arctic menggabungkan model tebal 10B dengan sisa MLP MoE 128×3,66B yang menghasilkan risiko 480B dan 17B segmen terpilih menggunakan geting-2. Untuk informasi lebih lanjut tentang Arsitektur Model Arktik, metodologi pelatihan, data, dan lainnya.
Sebagai pengganti makalah resmi, Snowflake telah menerbitkan dua postingan blog untuk membahas metode dan metode pengajaran sebagai bagian dari perluasan situs web Arctic Cookbook.
Ada juga pertunjukan Arktik yang memberikan panduan, makna, prediksi, dalam bentuk percakapan, di database Hugging Face.
Juga: Saya menguji Kode Llama Meta dengan 3 tantangan pengkodean AI yang dilakukan ChatGPT – dan hasilnya tidak bagus.
Setelah ZDNET dengan cepat meminta Arctic untuk menjelaskan perbedaan antara dua model Arktik, “basis” dan “instruksi”, ZDNET merilis ringkasan terperinci, mencatat bahwa “Instruksi Arktik adalah versi model Pangkalan Arktik yang dirancang khusus untuk memberikan hal-hal berikut instruksi dan diskusi standar tentang pekerjaan.”
Arctic mengikuti peluncuran Snowflake pada awal bulan ini mengenai rangkaian “model penyematan kata”, yang unggul dalam mengidentifikasi bagaimana kata-kata dikelompokkan untuk diambil, misalnya saat digunakan dalam penelusuran.
