Learning / Teknik Prompting

Few-Shot Prompting

Meskipun large language model menunjukkan kemampuan zero-shot yang luar biasa, model-model ini masih kurang mampu menangani tugas yang lebih kompleks dalam pengaturan zero-shot. Few-shot prompting bisa dipakai sebagai teknik untuk memungkinkan in-context learning, yaitu kita memberikan contoh (demonstrasi) di dalam prompt untuk mengarahkan model ke performa yang lebih baik. Contoh-contoh tersebut berfungsi sebagai pengondisian untuk contoh berikutnya, di mana kita ingin model menghasilkan jawaban.

Menurut Touvron et al. 2023, sifat few-shot pertama kali muncul ketika model diperbesar hingga ukuran yang cukup (Kaplan et al., 2020).

Mari kita demonstrasikan few-shot prompting lewat contoh yang disajikan dalam Brown et al. 2020. Dalam contoh ini, tugasnya adalah menggunakan sebuah kata baru dengan benar di dalam kalimat.

Prompt:

A "whatpu" is a small, furry animal native to Tanzania. An example of a sentence that uses the word whatpu is:
We were traveling in Africa and we saw these very cute whatpus.

To do a "farduddle" means to jump up and down really fast. An example of a sentence that uses the word farduddle is:

Output:

When we won the game, we all started to farduddle in celebration.

Contoh ini dibiarkan dalam bahasa Inggris karena memakai kata buatan "whatpu" dan "farduddle" dari paper aslinya, termasuk bentuk jamak bahasa Inggris "whatpus".

Kita bisa lihat bahwa model entah bagaimana sudah belajar cara mengerjakan tugas tersebut hanya dengan diberi satu contoh (yaitu 1-shot). Untuk tugas yang lebih sulit, kita bisa bereksperimen dengan menambah jumlah contohnya (misalnya 3-shot, 5-shot, 10-shot, dan seterusnya).

Berdasarkan temuan dari Min et al. (2022), berikut beberapa tips tambahan tentang contoh (demonstrasi) saat melakukan few-shot:

  • "ruang label dan distribusi teks input yang ditunjukkan oleh contoh-contoh tersebut sama-sama penting (terlepas dari apakah labelnya benar untuk masing-masing input)"
  • format yang kamu pakai juga berperan penting dalam performa. Bahkan kalau kamu hanya memakai label acak, hasilnya jauh lebih baik daripada tanpa label sama sekali.
  • hasil tambahan menunjukkan bahwa memilih label acak dari distribusi label yang sebenarnya (bukan distribusi seragam) juga membantu.

Yuk, kita coba beberapa contoh. Pertama, kita coba contoh dengan label acak (artinya label Negatif dan Positif dipasangkan secara acak ke input):

Prompt:

Ini keren banget! // Negatif
Ini jelek! // Positif
Wah, film itu mantap abis! // Positif
Pertunjukan yang mengerikan! //

Output:

Negatif

Kita tetap mendapat jawaban yang benar, walaupun labelnya sudah diacak. Perhatikan bahwa kita juga mempertahankan formatnya, dan itu ikut membantu. Malah, dari eksperimen lebih lanjut, sepertinya model GPT yang lebih baru yang sedang kita uji makin tangguh bahkan terhadap format yang acak. Contoh:

Prompt:

Positif Ini keren banget!
Ini jelek! Negatif
Wah, film itu mantap abis!
Positif
Pertunjukan yang mengerikan! --

Output:

Negatif

Format di atas sama sekali tidak konsisten, tapi model tetap memprediksi label yang benar. Kita perlu melakukan analisis yang lebih menyeluruh untuk memastikan apakah hal ini juga berlaku untuk tugas yang berbeda dan lebih kompleks, termasuk berbagai variasi prompt.

Keterbatasan Few-Shot Prompting

Few-shot prompting standar bekerja dengan baik untuk banyak tugas, tapi tetap bukan teknik yang sempurna, terutama saat menangani tugas penalaran yang lebih kompleks. Mari kita tunjukkan kenapa begitu. Masih ingat contoh sebelumnya, saat kita memberikan tugas berikut?

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 15, 32, 5, 13, 82, 7, 1.

A:

Kalau kita mencobanya lagi, model mengeluarkan output berikut:

Ya, bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan 107, yang merupakan bilangan genap.

Ini bukan jawaban yang benar. Hal ini tidak hanya menunjukkan keterbatasan sistem-sistem ini, tapi juga bahwa dibutuhkan prompt engineering yang lebih canggih.

Mari kita coba menambahkan beberapa contoh untuk melihat apakah few-shot prompting bisa memperbaiki hasilnya.

Prompt:

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 4, 8, 9, 15, 12, 2, 1.
A: Jawabannya Salah.

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 17,  10, 19, 4, 8, 12, 24.
A: Jawabannya Benar.

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 16,  11, 14, 4, 8, 13, 24.
A: Jawabannya Benar.

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 17,  9, 10, 12, 13, 4, 2.
A: Jawabannya Salah.

Bilangan-bilangan ganjil dalam kelompok ini jika dijumlahkan menghasilkan bilangan genap: 15, 32, 5, 13, 82, 7, 1.
A:

Output:

Jawabannya Benar.

Ternyata tidak berhasil. Sepertinya few-shot prompting belum cukup untuk mendapatkan jawaban yang andal untuk jenis soal penalaran seperti ini. Contoh di atas hanya memberikan informasi dasar tentang tugasnya. Kalau kamu perhatikan lebih teliti, jenis tugas yang kita berikan melibatkan beberapa langkah penalaran tambahan. Dengan kata lain, mungkin akan membantu kalau kita memecah masalahnya menjadi beberapa langkah dan mendemonstrasikannya ke model. Belakangan ini, chain-of-thought (CoT) prompting makin populer untuk menangani tugas aritmetika, akal sehat (commonsense), dan penalaran simbolik yang lebih kompleks.

Secara keseluruhan, memberikan contoh tampaknya berguna untuk menyelesaikan sebagian tugas. Kalau zero-shot prompting dan few-shot prompting belum cukup, bisa jadi apa yang sudah dipelajari model memang belum cukup untuk mengerjakan tugas itu dengan baik. Dari sini, disarankan untuk mulai mempertimbangkan fine-tuning model kamu atau bereksperimen dengan teknik prompting yang lebih canggih. Selanjutnya, kita akan membahas salah satu teknik prompting populer bernama chain-of-thought prompting, yang sudah sangat populer.

Gabung grup