REPUBLIKA.CO.ID, JAKARTA---Microsoft telah meluncurkan model bahasa terbarunya, Phi-1, dengan 1,3 miliar parameter yang dianggap sebagai terobosan mengejutkan. Sebelumnya banyak yang percaya bahwa model bahasa lebih besar bisa bekerja lebih baik.
Namun rupanya pendekatan Microsoft yang berfokus pada kualitas data pelatihan berhasil mengungguli ChatGPT dari OpenAI. Phi-1, dilatih dengan kumpulan data “tingkat buku teks” yang dikuratori dengan cermat, telah mengungguli GPT-3.5 dengan 100 miliar parameter.
Dilansir dari Gizmochina, Selasa (27/6/2023), model bahasa Microsoft Phi-1, telah menarik perhatian karena kinerjanya yang mengesankan. Tim di belakang Phi-1 menekankan pada kualitas data pelatihan, berangkat dari tren peningkatan ukuran tumpukan model yang berlaku.
Dengan menggunakan kumpulan data berkualitas tinggi yang terdiri atas konten “tingkat buku teks” yang bersumber dari internet, tim Microsoft memproses informasi tersebut menggunakan GPT-3.5. Dengan bantuan 8 buah GPU Nvidia A100, proses pelatihan selesai hanya dalam waktu empat hari.
Menurut Microsoft, fokus pada peningkatan kualitas data pelatihan, daripada meningkatkan jumlah parameter, telah memberikan hasil yang menjanjikan. Dalam uji komparatif, Phi-1 mencapai skor akurasi 50,6 persen, melampaui performa GPT-3.5 sebesar 47 persen dengan 175 miliar parameter yang mengejutkan.
Microsoft berencana membuka sumber Phi-1 di HuggingFace. Hal ini semakin memperkuat aksesibilitas dan potensi kolaboratif dari model bahasa tersebut.
Ini bukan contoh pertama Microsoft mengembangkan model bahasa yang lebih kecil. Sebelumnya, perusahaan memperkenalkan Orca, model parameter 13 miliar yang dilatih pada data sintetik menggunakan GPT-4.
Bahkan Orca terbukti mengungguli ChatGPT. Makalah penelitian tentang Phi-1 telah dipublikasikan di arXiv, memberikan wawasan terperinci tentang arsitektur dan metodologi pelatihannya.
Bagi yang tertarik untuk mengeksplorasi aspek teknis, makalah ini menawarkan tinjauan komprehensif tentang pengembangan Phi-1. Model bahasa Microsoft Phi-1 menantang anggapan bahwa peningkatan ukuran tumpukan sangat penting untuk meningkatan kinerja.
Dengan berfokus pada data pelatihan berkualitas tinggi, Phi-1 telah menunjukkan akurasi yang luar biasa, bahkan melampaui model yang lebih besar. Sumber terbuka Phi-1 lebih lanjut menunjukkan komitmen Microsoft untuk memajukan bidang pemrosesan bahasa natural.
Ikuti Whatsapp Channel Republika