Learning / Teknik Prompting
Zero-Shot Prompting
Large language model (LLM) saat ini, seperti GPT-3.5 Turbo, GPT-4, dan Claude 3, sudah disetel untuk mengikuti instruksi dan dilatih dengan data dalam jumlah besar. Pelatihan berskala besar ini membuat model-model tersebut mampu mengerjakan beberapa tugas secara "zero-shot". Zero-shot prompting berarti prompt yang dipakai untuk berinteraksi dengan model tidak berisi contoh (demonstrasi) apa pun. Prompt zero-shot langsung menginstruksikan model untuk mengerjakan sebuah tugas tanpa contoh tambahan untuk mengarahkannya.
Kita sudah mencoba beberapa contoh zero-shot di bagian sebelumnya. Ini salah satu contoh yang kita pakai (yaitu klasifikasi teks):
Prompt:
Klasifikasikan teks ke dalam netral, negatif, atau positif.
Teks: Menurutku liburannya lumayan.
Sentimen:
Output:
Netral
Perhatikan bahwa di prompt di atas kita tidak memberi model contoh teks apa pun beserta klasifikasinya, tapi LLM sudah paham apa itu "sentimen". Itulah kemampuan zero-shot sedang bekerja.
Instruction tuning terbukti meningkatkan zero-shot learning Wei et al. (2022). Instruction tuning pada dasarnya adalah konsep fine-tuning model pada dataset yang dideskripsikan lewat instruksi. Selain itu, RLHF (reinforcement learning from human feedback) sudah diadopsi untuk memperluas skala instruction tuning, di mana model diselaraskan agar lebih sesuai dengan preferensi manusia. Perkembangan terbaru ini menjadi tenaga di balik model seperti ChatGPT. Kita akan membahas semua pendekatan dan metode ini di bagian-bagian berikutnya.
Kalau zero-shot tidak berhasil, disarankan untuk memberikan contoh (demonstrasi) di dalam prompt, yang membawa kita ke few-shot prompting. Di bagian berikutnya, kita akan mendemonstrasikan few-shot prompting.