Learning / Teknik Prompting

Self-Consistency

Mungkin salah satu teknik prompt engineering yang lebih canggih adalah self-consistency. Diusulkan oleh Wang et al. (2022), self-consistency bertujuan "menggantikan greedy decoding naif yang dipakai dalam chain-of-thought prompting". Idenya adalah mengambil sampel beberapa jalur penalaran yang beragam lewat few-shot CoT, lalu memakai hasil-hasil generasi itu untuk memilih jawaban yang paling konsisten. Cara ini membantu meningkatkan kinerja CoT prompting pada tugas yang melibatkan penalaran aritmetika dan akal sehat (commonsense).

Ayo coba contoh penalaran aritmetika berikut:

Prompt:

Waktu saya berumur 6 tahun, umur adik perempuan saya setengah umur saya. Sekarang
saya berumur 70 tahun, berapa umur adik saya?

Output:

35

Output-nya salah! Bagaimana kita bisa memperbaikinya dengan self-consistency? Ayo kita coba. Kita akan memakai contoh (demonstrasi) few-shot dari Wang et al. 2022 (Tabel 17):

Prompt:

Q: Ada 15 pohon di kebun. Para pekerja kebun akan menanam pohon di kebun hari ini. Setelah mereka selesai,
akan ada 21 pohon. Berapa pohon yang ditanam para pekerja kebun hari ini?
A: Kita mulai dengan 15 pohon. Kemudian kita punya 21 pohon. Selisihnya pasti jumlah pohon yang mereka tanam.
Jadi, mereka pasti menanam 21 - 15 = 6 pohon. Jawabannya 6.

Q: Jika ada 3 mobil di tempat parkir dan 2 mobil lagi datang, berapa mobil yang ada di tempat parkir?
A: Sudah ada 3 mobil di tempat parkir. 2 mobil lagi datang. Sekarang ada 3 + 2 = 5 mobil. Jawabannya 5.

Q: Leah punya 32 cokelat dan saudara perempuannya punya 42. Jika mereka memakan 35, berapa total cokelat yang tersisa?
A: Leah punya 32 cokelat dan saudara perempuan Leah punya 42. Artinya awalnya ada 32 + 42 = 74
cokelat. 35 sudah dimakan. Jadi totalnya mereka masih punya 74 - 35 = 39 cokelat. Jawabannya 39.

Q: Jason punya 20 permen lolipop. Dia memberikan beberapa lolipop kepada Denny. Sekarang Jason punya 12 lolipop. Berapa lolipop
yang Jason berikan kepada Denny?
A: Jason punya 20 lolipop. Karena sekarang dia hanya punya 12, sisanya pasti dia berikan kepada Denny. Jumlah
lolipop yang dia berikan kepada Denny pasti 20 - 12 = 8 lolipop. Jawabannya 8.

Q: Shawn punya lima mainan. Saat Natal, dia mendapat masing-masing dua mainan dari ibu dan ayahnya. Berapa mainan yang
dia punya sekarang?
A: Dia punya 5 mainan. Dia mendapat 2 dari ibu, jadi setelah itu dia punya 5 + 2 = 7 mainan. Lalu dia mendapat 2 lagi dari ayah, jadi
totalnya dia punya 7 + 2 = 9 mainan. Jawabannya 9.

Q: Ada sembilan komputer di ruang server. Lima komputer lagi dipasang setiap hari, dari
Senin sampai Kamis. Berapa komputer yang sekarang ada di ruang server?
A: Ada 4 hari dari Senin sampai Kamis. 5 komputer ditambahkan setiap hari. Artinya totalnya 4 * 5 =
20 komputer ditambahkan. Awalnya ada 9 komputer, jadi sekarang ada 9 + 20 = 29 komputer.
Jawabannya 29.

Q: Michael punya 58 bola golf. Pada hari Selasa, dia kehilangan 23 bola golf. Pada hari Rabu, dia kehilangan 2 lagi. Berapa
bola golf yang dia punya di akhir hari Rabu?
A: Awalnya Michael punya 58 bola. Dia kehilangan 23 pada hari Selasa, jadi setelah itu dia punya 58 - 23 = 35 bola. Pada
hari Rabu dia kehilangan 2 lagi, jadi sekarang dia punya 35 - 2 = 33 bola. Jawabannya 33.

Q: Olivia punya $23. Dia membeli lima bagel seharga $3 per buah. Berapa sisa uangnya?
A: Dia membeli 5 bagel seharga $3 per buah. Artinya dia menghabiskan $15. Sisa uangnya $8.

Q: Waktu saya berumur 6 tahun, umur adik perempuan saya setengah umur saya. Sekarang saya berumur 70 tahun, berapa umur adik saya?
A:

Output 1:

Waktu saya berumur 6 tahun, umur adik perempuan saya setengah umur saya, jadi dia berumur 3 tahun. Sekarang saya berumur 70 tahun, jadi dia berumur 70 - 3 = 67 tahun. Jawabannya 67.

Output 2:

Waktu si pencerita berumur 6 tahun, adik perempuannya berumur setengah umurnya, yaitu 3 tahun. Sekarang si pencerita berumur 70 tahun, jadi adiknya berumur 70 - 3 = 67 tahun. Jawabannya 67.

Output 3:

Waktu saya berumur 6 tahun, umur adik perempuan saya setengah umur saya, jadi dia berumur 3 tahun. Sekarang saya berumur 70 tahun, jadi dia berumur 70/2 = 35 tahun. Jawabannya 35.

Menghitung jawaban akhir melibatkan beberapa langkah (lihat paper-nya untuk detailnya), tetapi supaya sederhana, kita bisa melihat bahwa sudah ada jawaban mayoritas yang muncul, sehingga jawaban itulah yang pada dasarnya menjadi jawaban akhir.

Gabung grup