– Model bahasa open source natural language processing (NLP) baru, Smaug-70b mengklaim tahta terbaik yang hampir bersanding dengan GPT 4 Turbo.

Di dunia Natural Language Processing (NLP), model bahasa terus berkembang dengan pesat, menawarkan kemampuan baru dan canggih untuk memahami dan menghasilkan bahasa manusia.

Salah satu model terbaru yang menarik perhatian adalah Smaug, yang telah menunjukkan hasil yang menjanjikan dalam benchmark MT-Bench, bersaing dengan model terkemuka seperti GPT-4 Turbo.

MT-Bench adalah benchmark yang menguji kemampuan model bahasa untuk menerjemahkan teks antar bahasa.

Dalam dua pengujian MT-Bench, Smaug-70b, versi 70 miliar parameter dari Smaug, mencapai skor rata-rata 9.2, hanya sedikit di bawah GPT-4 Turbo dengan skor 9.18.

Uji pertama
smaug-70b skor 9.4
llama3-70b skor 9.2
gpt-4-turbo skor 9.37

Uji kedua
smaug-70b skor 9.0
llama3-70b skor 8..8
gpt-4-turbo skor 9.0

Meskipun Smaug menunjukkan performa yang setara dengan GPT-4 Turbo dalam MT-Bench, penting untuk dicatat bahwa benchmark ini hanya berfokus pada tugas penerjemahan.

Model bahasa digunakan untuk berbagai macam aplikasi lain, seperti menjawab pertanyaan, meringkas teks, dan menghasilkan teks kreatif.

Diperlukan evaluasi lebih lanjut untuk menentukan bagaimana Smaug dibandingkan dengan GPT-4 Turbo dalam tugas-tugas ini.

Selain MT-Bench, Smaug juga dievaluasi melalui evaluasi manusia. Evaluasi ini menunjukkan bahwa Smaug mampu menjawab pertanyaan sederhana dengan baik, namun masih ada ruang untuk perbaikan dalam memahami pertanyaan yang lebih kompleks dan menghasilkan jawaban yang lebih informatif.

Secara keseluruhan, Smaug menunjukkan potensi besar sebagai model bahasa NLP yang mampu bersaing dengan model terdepan seperti GPT-4 Turbo.

Hasil MT-Bench yang menjanjikan dan evaluasi manusia yang positif menunjukkan bahwa Smaug memiliki potensi untuk digunakan dalam berbagai aplikasi NLP.

Namun, diperlukan penelitian lebih lanjut untuk meningkatkan kemampuan Smaug dalam memahami dan menghasilkan bahasa manusia yang kompleks.

Di dunia nyata, tugas ini memerlukan penalaran dan perencanaan yang kompleks. Arena Hard adalah tolok ukur baru yang mengukur kemampuan LLM dalam menyelesaikan tugas-tugas kompleks.

Pada benchmark ini, Smaug memperoleh keuntungan signifikan atas Llama-3 dan mendapat skor 56,7 dibandingkan skor Llama-3 sebesar 41,1

Penting untuk diingat bahwa perkembangan model bahasa NLP masih dalam tahap awal. Model-model ini terus belajar dan berkembang, dan kemampuannya akan terus meningkat seiring waktu.

Smaug adalah salah satu contoh model bahasa yang menjanjikan yang memiliki potensi untuk merevolusi cara kita berinteraksi dengan komputer dan bahasa.

Baca juga: Smartphone Masa Depan Akan Dijajah AI?