Learning / Teknik Prompting
Automatic Reasoning and Tool-use (ART)
Menggabungkan CoT prompting dan penggunaan tools secara berselang-seling terbukti menjadi pendekatan yang kuat dan tangguh untuk menangani banyak tugas dengan LLM. Pendekatan ini biasanya membutuhkan contoh (demonstrasi) khusus tugas yang dibuat manual, serta pengaturan yang cermat agar generasi model dan penggunaan tools bisa berselang-seling. Paranjape et al., (2023) mengusulkan framework baru yang memakai LLM beku (frozen) untuk secara otomatis menghasilkan langkah-langkah penalaran perantara dalam bentuk program.
ART bekerja seperti ini:
- diberi tugas baru, ART memilih contoh (demonstrasi) penalaran multi-langkah dan penggunaan tools dari sebuah pustaka tugas (task library)
- saat pengujian, ART menghentikan sementara proses generasi setiap kali tools eksternal dipanggil, lalu memasukkan output dari tools tersebut sebelum melanjutkan generasi
ART mendorong model untuk menggeneralisasi dari contoh (demonstrasi) agar bisa memecah tugas baru dan memakai tools di tempat yang tepat, secara zero-shot. Selain itu, ART mudah dikembangkan karena manusia juga bisa memperbaiki kesalahan di langkah-langkah penalaran atau menambahkan tools baru cukup dengan memperbarui pustaka tugas dan pustaka tools. Prosesnya ditunjukkan di bawah ini:

Sumber gambar: Paranjape et al., (2023)
ART jauh lebih baik dibanding few-shot prompting dan CoT otomatis pada tugas-tugas yang belum pernah dilihat di benchmark BigBench dan MMLU, dan melampaui kinerja prompt CoT buatan manual ketika umpan balik manusia ikut dilibatkan.
Berikut tabel yang menunjukkan kinerja ART pada tugas-tugas BigBench dan MMLU:

Sumber gambar: Paranjape et al., (2023)