Learning / Teknik Prompting
Generated Knowledge Prompting

Sumber gambar: Liu et al. 2022
LLM terus dikembangkan, dan salah satu teknik yang populer adalah kemampuan untuk memasukkan pengetahuan atau informasi agar model bisa membuat prediksi yang lebih akurat.
Dengan ide yang mirip, apakah model juga bisa dipakai untuk menghasilkan pengetahuan sebelum membuat prediksi? Itulah yang dicoba dalam paper oleh Liu et al. 2022: menghasilkan pengetahuan untuk dipakai sebagai bagian dari prompt. Secara khusus, seberapa membantu cara ini untuk tugas seperti penalaran akal sehat (commonsense)?
Ayo coba prompt sederhana:
Prompt:
Salah satu bagian dari golf adalah berusaha mendapatkan total poin yang lebih tinggi daripada pemain lain. Ya atau Tidak?
Output:
Ya.
Kesalahan seperti ini menunjukkan keterbatasan LLM dalam mengerjakan tugas yang membutuhkan lebih banyak pengetahuan tentang dunia. Bagaimana cara memperbaikinya dengan menghasilkan pengetahuan?
Pertama, kita hasilkan beberapa "pengetahuan":
Prompt:
Input: Yunani lebih luas daripada Meksiko.
Pengetahuan: Luas Yunani sekitar 131.957 km persegi, sedangkan luas Meksiko sekitar 1.964.375 km persegi, sehingga Meksiko 1.389% lebih luas daripada Yunani.
Input: Kacamata selalu berembun.
Pengetahuan: Kondensasi terjadi pada lensa kacamata ketika uap air dari keringat, napas, dan kelembapan sekitar mengenai permukaan yang dingin, lalu mendingin dan berubah menjadi tetesan cairan yang sangat kecil, membentuk lapisan tipis yang kamu lihat sebagai embun. Lensamu akan relatif lebih dingin dibanding napasmu, terutama saat udara di luar dingin.
Input: Ikan mampu berpikir.
Pengetahuan: Ikan lebih cerdas daripada kelihatannya. Di banyak bidang, seperti daya ingat, kemampuan kognitif mereka setara atau melebihi vertebrata 'tingkat tinggi', termasuk primata selain manusia. Ingatan jangka panjang ikan membantu mereka melacak hubungan sosial yang kompleks.
Input: Efek umum dari merokok banyak sekali sepanjang hidup seseorang adalah peluang terkena kanker paru-paru yang lebih tinggi dari normal.
Pengetahuan: Orang yang secara konsisten merokok rata-rata kurang dari satu batang per hari sepanjang hidupnya punya risiko meninggal karena kanker paru-paru sembilan kali lipat dibanding orang yang tidak pernah merokok. Di antara orang yang merokok antara satu sampai 10 batang per hari, risiko meninggal karena kanker paru-paru hampir 12 kali lebih tinggi dibanding orang yang tidak pernah merokok.
Input: Batu berukuran sama dengan kerikil.
Pengetahuan: Kerikil adalah butiran batuan dengan ukuran partikel 4 sampai 64 milimeter berdasarkan skala sedimentologi Udden-Wentworth. Kerikil umumnya dianggap lebih besar daripada butiran granul (diameter 2 sampai 4 milimeter) dan lebih kecil daripada kerakal (diameter 64 sampai 256 milimeter).
Input: Salah satu bagian dari golf adalah berusaha mendapatkan total poin yang lebih tinggi daripada pemain lain.
Pengetahuan:
Pengetahuan 1:
Tujuan golf adalah memainkan serangkaian lubang dengan jumlah pukulan sesedikit mungkin. Satu ronde golf biasanya terdiri dari 18 lubang. Setiap lubang dimainkan satu kali dalam satu ronde di lapangan golf standar. Setiap pukulan dihitung sebagai satu poin, dan jumlah total pukulan dipakai untuk menentukan pemenang permainan.
Pengetahuan 2:
Golf adalah olahraga presisi dengan tongkat dan bola, di mana para pemain (atau pegolf) yang bertanding memakai berbagai jenis tongkat untuk memukul bola ke serangkaian lubang di sebuah lapangan dengan jumlah pukulan sesedikit mungkin. Tujuannya adalah menyelesaikan lapangan dengan skor terendah, yang dihitung dengan menjumlahkan total pukulan di setiap lubang. Pemain dengan skor terendah memenangkan permainan.
Kita memakai prompt yang disediakan dalam paper oleh Liu et al. 2022.
Langkah berikutnya adalah memadukan pengetahuan tersebut dan mendapatkan prediksi. Saya mengubah pertanyaannya ke format tanya-jawab (QA) untuk mengarahkan format jawabannya.
Prompt:
Pertanyaan: Salah satu bagian dari golf adalah berusaha mendapatkan total poin yang lebih tinggi daripada pemain lain. Ya atau Tidak?
Pengetahuan: Tujuan golf adalah memainkan serangkaian lubang dengan jumlah pukulan sesedikit mungkin. Satu ronde golf biasanya terdiri dari 18 lubang. Setiap lubang dimainkan satu kali dalam satu ronde di lapangan golf standar. Setiap pukulan dihitung sebagai satu poin, dan jumlah total pukulan dipakai untuk menentukan pemenang permainan.
Jelaskan dan Jawab:
Jawaban 1 (keyakinan sangat tinggi):
Tidak, tujuan golf bukanlah mendapatkan total poin yang lebih tinggi daripada pemain lain. Sebaliknya, tujuannya adalah memainkan serangkaian lubang dengan jumlah pukulan sesedikit mungkin. Jumlah total pukulan dipakai untuk menentukan pemenang permainan, bukan jumlah total poin.
Pertanyaan: Salah satu bagian dari golf adalah berusaha mendapatkan total poin yang lebih tinggi daripada pemain lain. Ya atau Tidak?
Pengetahuan: Golf adalah olahraga presisi dengan tongkat dan bola, di mana para pemain (atau pegolf) yang bertanding memakai berbagai jenis tongkat untuk memukul bola ke serangkaian lubang di sebuah lapangan dengan jumlah pukulan sesedikit mungkin. Tujuannya adalah menyelesaikan lapangan dengan skor terendah, yang dihitung dengan menjumlahkan total pukulan di setiap lubang. Pemain dengan skor terendah memenangkan permainan.
Jelaskan dan Jawab:
Jawaban 2 (keyakinan jauh lebih rendah):
Ya, salah satu bagian dari golf adalah berusaha mendapatkan total poin yang lebih tinggi daripada pemain lain. Setiap pemain berusaha menyelesaikan lapangan dengan skor terendah, yang dihitung dengan menjumlahkan total pukulan di setiap lubang. Pemain dengan skor terendah memenangkan permainan.
Ada beberapa hal yang sangat menarik dari contoh ini. Pada jawaban pertama, model sangat yakin, tetapi pada jawaban kedua tidak begitu yakin. Saya menyederhanakan prosesnya untuk keperluan demonstrasi, tetapi ada beberapa detail lagi yang perlu dipertimbangkan sebelum sampai pada jawaban akhir. Lihat paper-nya untuk penjelasan lebih lanjut.