Di tengah antusiasme seputar codegen LLM untuk Python, JavaScript, dan bahasa serbaguna lainnya, SQL seolah terlupakan.
Beekeeper Studio Adalah GUI Database Gratis & Open Source
Tool query & editor SQL terbaik yang pernah saya pakai. Semua yang saya butuhkan untuk mengelola database ada di sini. - ⭐⭐⭐⭐⭐ Mit
Beekeeper Studio cepat, intuitif, dan mudah digunakan. Beekeeper mendukung banyak sekali database, dan berjalan mulus di Windows, Mac, dan Linux.
Padahal, SQL bisa dibilang menopang ekonomi global. Jadi, pertanyaan ini layak diajukan: seberapa bagus LLM dalam menulis SQL?
Kami bukan yang pertama bertanya. Baik akademisi maupun vendor sudah menerbitkan benchmark yang mengukur performa LLM dalam menghasilkan SQL.
Di artikel ini, kita akan mengulas beberapa benchmark tersebut, melihat apa yang diungkapnya, dan membahas apa yang membuat benchmark codegen SQL benar-benar bermakna.
Apa yang membuat benchmark codegen SQL untuk LLM itu bagus?
Kebanyakan dari kita pernah merasakan campuran kaget — dan mungkin sedikit kagum — saat LLM menghasilkan blok kode yang langsung jalan di percobaan pertama. Tapi tak jarang pula ia tersandung: memanggil library yang tidak ada, lupa variabel, atau melewatkan edge case yang sudah dijelaskan di prompt.
Dengan SQL, sifat pengembangan yang ketat dan iteratif membuat LLM makin sulit melakukannya dengan benar. Biasanya, Anda menulis query, menjalankannya, memeriksa output-nya, lalu memperbaikinya berdasarkan apa yang Anda lihat. Itu karena data itu sendiri sama pentingnya dalam proses ini seperti SQL-nya.
Hal ini menuntut syarat khusus bagi benchmark apa pun yang ingin menilai kemampuan LLM menghasilkan SQL. Menurut kami, benchmark SQL yang bagus harus:
- Mencakup banyak database: Postgres, MySQL, SQL Server, ClickHouse, dan lainnya punya keunikan masing-masing, jadi benchmark yang adil harus mencakup lebih dari satu engine.
- Menyertakan beragam tugas: Query bervariasi dari klausa SELECT … WHERE sederhana hingga join kompleks, window function, dan tantangan yang memerlukan pemahaman skema. Benchmark harus mencerminkan spektrum itu.
- Memeriksa hasil, bukan sekadar sintaks: Pertanyaan sebenarnya bukan apakah SQL-nya bisa dijalankan, tapi apakah ia mengembalikan data yang benar.
- Memperhitungkan iterasi: Benchmark yang berguna harus menangkap proses bolak-balik dalam menyempurnakan query, bukan hanya percobaan pertama.
- Transparan: Tanpa skema, dataset, dan kode evaluasi yang terbuka, hasilnya sulit diandalkan.
Jadi, adakah benchmark codegen SQL berbasis AI yang memenuhi kriteria ini?
Benchmark SQL
Tentu saja, benchmark SQL sudah ada sebelum LLM. Yang paling terkenal mungkin Spider, dirilis pada 2018 sebagai dataset untuk komunitas riset text-to-SQL. Meski dirancang untuk semantic parsing, bukan untuk LLM, kini ia menjadi semacam patokan dasar dalam evaluasi LLM. Namun, sejak itu para peneliti dan vendor telah memperkenalkan benchmark lain.
Spider
Apa itu: Dirilis pada 2018, Spider adalah dataset berskala besar berisi 200+ database dan ribuan tugas bahasa-alami-ke-SQL, awalnya dibangun untuk komunitas riset text-to-SQL.
Kelebihan: Cakupan skema luas; query lintas domain yang cukup kompleks; patokan lama untuk evaluasi akademis dan LLM (termasuk Codex, GPT-3.5, GPT-4).
Keterbatasan: Dibangun di atas skema SQLite yang rapi, jauh dari database produksi yang berantakan; berfokus pada evaluasi sekali coba; tidak mencerminkan penyempurnaan query secara iteratif.
Kesimpulan: Patokan yang berguna dan masih paling sering dilaporkan, tapi mungkin terlalu akademis untuk menangkap alur kerja SQL di dunia nyata.
BIRD-SQL
Apa itu: Diperkenalkan pada 2023 sebagai penerus Spider, BIRD-SQL dirancang khusus untuk menantang model besar dengan beban kerja ala BI yang lebih realistis.
Kelebihan: Skema lebih besar dan berantakan; query yang membutuhkan penalaran skema dan, dalam beberapa kasus, pengetahuan eksternal; lebih menantang daripada Spider.
Keterbatasan: Desainnya masih akademis; berfokus pada evaluasi satu giliran; kurang mudah diakses praktisi di luar dunia riset.
Kesimpulan: Selangkah lebih dekat mencerminkan tantangan data di dunia nyata, tapi masih belum iteratif atau multi-engine.
Tinybird SQL Benchmark
Apa itu: Benchmark dari industri oleh Tinybird, yang mengevaluasi 19 LLM pada tugas SQL analitis menggunakan platform mereka sendiri (dibangun di atas ClickHouse), dengan perbandingan terhadap patokan manusia.
Kelebihan: Penyajian jelas; dataset besar (ratusan juta baris); hasil berdampingan dari banyak model.
Keterbatasan: Terikat pada infrastruktur Tinybird sendiri; terbatas pada pembuatan query sekali coba; hasilnya mungkin tidak berlaku di luar lingkungan mereka.
Kesimpulan: Rapi dan praktis, tapi cakupannya sempit dan tidak mewakili performa LLM di berbagai database atau dalam alur kerja iteratif.
SQL-EVAL
Apa itu: SQL-EVAL adalah framework evaluasi open source untuk menilai kebenaran SQL yang dihasilkan LLM. Setiap tugas dilengkapi query SQL referensi yang sudah diperiksa manusia. SQL-Eval menjalankan query model dan query referensi, lalu membandingkan hasilnya.
Kelebihan: Sepenuhnya open source dan dapat direproduksi; menangani kompleksitas SQL (nested query, banyak join), variasi semantik, dan kasus di mana ada lebih dari satu query yang benar.
Keterbatasan: Berfokus pada apakah query mengembalikan hasil yang sama dengan referensi, bukan pada kualitas atau efisiensi query; hanya mendukung pembuatan sekali coba dan tidak menyimulasikan penyempurnaan iteratif.
Kesimpulan: Sumber berharga untuk menilai seberapa baik model mengembalikan hasil yang benar, dan sangat transparan, tapi tetap belum mencerminkan alur kerja iteratif penggunaan SQL di dunia nyata.
Benchmark lain yang layak dilihat
Proyek-proyek yang lebih baru berupaya menutup sebagian celah yang ditinggalkan Spider dan BIRD-SQL.
- BIRD-CRITIC: Benchmark baru yang dibangun di atas BIRD-SQL. Alih-alih hanya meminta model menulis query sekali, benchmark ini memeriksa apakah model bisa memperbaiki kesalahannya sendiri. Misalnya: jika percobaan pertama menghasilkan error atau hasil yang salah, benchmark meminta model memperbaikinya dan mencoba lagi. Ini juga dilakukan di berbagai sistem database (Postgres, MySQL, SQL Server, Oracle).
- BEAVER: Benchmark yang dibangun dari query nyata yang diambil dari data warehouse perusahaan, bukan dari dataset akademis yang dibuat khusus. Isinya mencakup skema besar dan berantakan yang biasa Anda temui di bidang keuangan, ritel, atau operasional.
Merangkum semuanya
Setiap benchmark menyoroti sisi berbeda dari tantangan SQL. Spider dan BIRD-SQL menstandarkan evaluasi text-to-SQL berskala besar, tapi pada dataset yang jauh lebih rapi daripada sistem produksi sungguhan. Tinybird menunjukkan pendekatan lain yang bisa membuat benchmark lebih mudah diakses dan dibandingkan, sementara SQL-Eval menghadirkan dimensi penting berupa cakupan multi-engine.
Bersama-sama, mereka menunjukkan peluang berikutnya: benchmark yang melampaui query statis sekali coba untuk menangkap proses bolak-balik yang berantakan dalam pengembangan SQL.
Query SQL dengan AI di Beekeeper Studio
Benchmark berguna untuk membandingkan model dalam kondisi terkontrol, tapi ujian sesungguhnya adalah seberapa baik AI benar-benar cocok dengan alur kerja harian Anda.
Di sinilah Beekeeper Studio berperan: SQL GUI yang terhubung ke LLM favorit Anda untuk membantu menjelajahi dan melakukan query data melalui antarmuka percakapan maupun query SQL manual. Cepat, open source, dan lintas platform, dengan dukungan untuk Postgres, MySQL, SQLite, MongoDB, dan lainnya.
