LoTQA: Local Benchmarking of Large Language Models for Table Question Answering

Abstract

TableQA memainkan peran penting dalam mendukung pengambilan keputusan berbasis data dan meningkatkan efisiensi pencarian informasi. Penggunaan Large Language Models (LLM) melalui layanan cloud atau API eksternal memungkinkan sistem untuk secara otomatis memahami struktur tabel dan konteks pertanyaan, melakukan generalisasi, penalaran kontekstual, dan memahami hubungan semantik antar entitas dalam tabel untuk menghasilkan jawaban yang lebih relevan dan akurat. Pendekatan ini mengakibatkan peningkatan signifikan dalam biaya komputasi, potensi risiko keamanan data, dan keterbatasan dalam pengembangan, kustomisasi, dan pengujian model. Penelitian ini mengusulkan LoTQA untuk tugas TableQA. LoTQA adalah pendekatan yang memanfaatkan eksekusi lokal untuk mengevaluasi dan membandingkan metode LLM dalam menghasilkan jawaban dari data tabel terstruktur. Evaluasi kinerja pada LoTQA (Qwen3:4b, LoRA Fine-tuned) memperoleh nilai SacreBLUE sebesar 8,613, BLEU-1 sebesar 35,623, BLEU-2 sebesar 26,592, BLEU-3 sebesar 22,723, ROUGE-1 sebesar 0,364, ROUGE-2 sebesar 0,177, ROUGE-L sebesar 0,311, dan METEOR sebesar 0,317. Hasil ini menunjukkan bahwa metode LoTQA cukup baik dalam menyediakan kalimat yang bermakna secara semantik untuk prediksi, bahkan dengan sumber daya yang rendah. Hasil evaluasi kinerja untuk setiap model LLM yang digunakan menunjukkan bahwa model Qwen3:4b mencapai skor tertinggi untuk SacreBLEU, ROUGE-1, ROUGE-2, ROUGE-L, dan METEOR. Studi ini menunjukkan bahwa LoTQA berkinerja cukup baik pada tugas TableQA, meskipun dengan sumber daya yang rendah.