Learning / Teknik Prompting

Active-Prompt

Metode chain-of-thought (CoT) bergantung pada sekumpulan contoh (demonstrasi) tetap yang dianotasi manusia. Masalahnya, contoh-contoh itu belum tentu yang paling efektif untuk berbagai tugas yang berbeda. Untuk mengatasi hal ini, Diao et al., (2023) baru-baru ini mengusulkan pendekatan prompting baru bernama Active-Prompt untuk menyesuaikan LLM dengan contoh prompt khusus tugas yang berbeda-beda (yang dianotasi dengan penalaran CoT rancangan manusia).

Di bawah ini ilustrasi pendekatannya. Langkah pertama adalah mengajukan kueri ke LLM dengan atau tanpa beberapa contoh CoT. Sebanyak k kemungkinan jawaban dihasilkan untuk sekumpulan pertanyaan latih (training questions). Sebuah metrik ketidakpastian (uncertainty) dihitung berdasarkan k jawaban tersebut (yang dipakai adalah tingkat ketidaksepakatan antarjawaban). Pertanyaan yang paling tidak pasti dipilih untuk dianotasi oleh manusia. Contoh-contoh baru yang sudah dianotasi itu kemudian dipakai untuk melakukan inferensi pada setiap pertanyaan.

ACTIVE

Sumber gambar: Diao et al., (2023)

Gabung grup