Learning / Teknik Prompting

Chain-of-Thought Prompting

Chain-of-Thought (CoT) Prompting

COT

Sumber gambar: Wei et al. (2022)

Diperkenalkan dalam Wei et al. (2022), chain-of-thought (CoT) prompting memungkinkan kemampuan penalaran yang kompleks lewat langkah-langkah penalaran perantara. Kamu bisa menggabungkannya dengan few-shot prompting untuk mendapatkan hasil yang lebih baik pada tugas yang lebih kompleks, yang butuh penalaran dulu sebelum menjawab.

Prompt:

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 4, 8, 9, 15, 12, 2, 1.
A: Jumlah semua bilangan ganjil (9, 15, 1) adalah 25. Jawabannya Salah.

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 17,  10, 19, 4, 8, 12, 24.
A: Jumlah semua bilangan ganjil (17, 19) adalah 36. Jawabannya Benar.

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 16,  11, 14, 4, 8, 13, 24.
A: Jumlah semua bilangan ganjil (11, 13) adalah 24. Jawabannya Benar.

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 17,  9, 10, 12, 13, 4, 2.
A: Jumlah semua bilangan ganjil (17, 9, 13) adalah 39. Jawabannya Salah.

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 15, 32, 5, 13, 82, 7, 1. 
A:

Output:

Jumlah semua bilangan ganjil (15, 5, 13, 7, 1) adalah 41. Jawabannya Salah.

Wah! Hasilnya sempurna begitu kita memberikan langkah penalarannya. Bahkan, tugas ini bisa diselesaikan dengan contoh yang lebih sedikit lagi, yaitu satu contoh saja sepertinya sudah cukup:

Prompt:

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 4, 8, 9, 15, 12, 2, 1.
A: Jumlah semua bilangan ganjil (9, 15, 1) adalah 25. Jawabannya Salah.

Bilangan ganjil dalam kelompok ini jika dijumlahkan hasilnya bilangan genap: 15, 32, 5, 13, 82, 7, 1. 
A:

Output:

Jumlah semua bilangan ganjil (15, 5, 13, 7, 1) adalah 41. Jawabannya Salah.

Perlu diingat, para penulisnya mengklaim bahwa ini adalah kemampuan yang muncul dengan sendirinya (emergent ability) pada model bahasa yang cukup besar.

Zero-shot COT Prompting

Zero-shot COT

Sumber gambar: Kojima et al. (2022)

Salah satu ide yang muncul belakangan ini adalah zero-shot CoT (Kojima et al. 2022), yang pada dasarnya menambahkan kalimat "Mari kita pikirkan langkah demi langkah" (aslinya "Let's think step by step") ke prompt awal. Ayo kita coba soal sederhana dan lihat bagaimana kinerja modelnya:

Prompt:

Saya pergi ke pasar dan membeli 10 apel. Saya memberikan 2 apel ke tetangga dan 2 ke tukang reparasi. Lalu saya pergi lagi dan membeli 5 apel lagi, kemudian memakan 1. Berapa sisa apel saya?

Output:

11 apel

Jawabannya salah! Sekarang ayo coba dengan prompt khusus tadi.

Prompt:

Saya pergi ke pasar dan membeli 10 apel. Saya memberikan 2 apel ke tetangga dan 2 ke tukang reparasi. Lalu saya pergi lagi dan membeli 5 apel lagi, kemudian memakan 1. Berapa sisa apel saya?

Mari kita pikirkan langkah demi langkah.

Output:

Pertama, kamu mulai dengan 10 apel.
Kamu memberikan 2 apel ke tetangga dan 2 ke tukang reparasi, jadi sisa apelmu 6.
Lalu kamu membeli 5 apel lagi, jadi sekarang kamu punya 11 apel.
Terakhir, kamu memakan 1 apel, jadi sisa apelmu 10.

Mengesankan bahwa prompt sesederhana ini efektif untuk tugas tersebut. Cara ini sangat berguna terutama saat kamu tidak punya banyak contoh untuk dimasukkan ke dalam prompt.

Automatic Chain-of-Thought (Auto-CoT)

Saat menerapkan chain-of-thought prompting dengan contoh (demonstrasi), prosesnya melibatkan pembuatan contoh yang efektif dan beragam secara manual. Usaha manual ini bisa berujung pada solusi yang kurang optimal. Zhang et al. (2022) mengusulkan pendekatan untuk menghilangkan usaha manual tersebut dengan memanfaatkan LLM dan prompt "Let's think step by step" (mari kita pikirkan langkah demi langkah) untuk membuat rantai penalaran bagi tiap demonstrasi satu per satu. Proses otomatis ini tetap bisa menghasilkan kesalahan pada rantai yang dibuat. Untuk mengurangi dampak kesalahan tersebut, keberagaman demonstrasi menjadi penting. Riset ini mengusulkan Auto-CoT, yang mengambil sampel pertanyaan secara beragam lalu membuat rantai penalaran untuk menyusun demonstrasinya.

Auto-CoT terdiri dari dua tahap utama:

  • Tahap 1): pengelompokan pertanyaan (question clustering): membagi pertanyaan dari sebuah dataset ke dalam beberapa kelompok (cluster)
  • Tahap 2): pengambilan sampel demonstrasi (demonstration sampling): memilih satu pertanyaan yang mewakili tiap kelompok lalu membuat rantai penalarannya memakai Zero-Shot-CoT dengan heuristik sederhana

Heuristik sederhana itu bisa berupa panjang pertanyaan (misalnya 60 token) dan jumlah langkah dalam alasannya (misalnya 5 langkah penalaran). Ini mendorong model untuk memakai demonstrasi yang sederhana dan akurat.

Prosesnya digambarkan di bawah ini:

AUTOCOT

Sumber gambar: Zhang et al. (2022)

Kode untuk Auto-CoT tersedia di sini.

Gabung grup