Learning / Teknik Prompting

Meta Prompting

Pengantar

Meta Prompting adalah teknik prompting tingkat lanjut yang berfokus pada aspek struktur dan sintaksis dari tugas dan masalah, bukan pada detail isinya yang spesifik. Tujuan meta prompting adalah membangun cara berinteraksi dengan large language model (LLM) yang lebih abstrak dan terstruktur, dengan menekankan bentuk dan pola informasi dibanding metode tradisional yang berpusat pada isi.

Karakteristik Utama

Menurut Zhang et al. (2024), karakteristik utama meta prompting bisa dirangkum sebagai berikut:

1. Berorientasi pada struktur: Mengutamakan format dan pola dari masalah dan solusi dibanding isi yang spesifik.

2. Berfokus pada sintaksis: Memakai sintaksis sebagai templat panduan untuk respons atau solusi yang diharapkan.

3. Contoh abstrak: Memakai contoh yang diabstraksikan sebagai kerangka, yang menggambarkan struktur masalah dan solusi tanpa berfokus pada detail spesifik.

4. Serbaguna: Bisa diterapkan di berbagai bidang, mampu memberikan respons terstruktur untuk beragam jenis masalah.

5. Pendekatan kategoris: Mengambil dasar dari teori tipe (type theory) untuk menekankan pengategorian dan penyusunan logis komponen-komponen dalam sebuah prompt.

Keunggulan Dibanding Few-Shot Prompting

Zhang et al., 2024 melaporkan bahwa meta prompting dan few-shot prompting berbeda karena meta prompting berfokus pada pendekatan yang lebih berorientasi pada struktur, sedangkan few-shot prompting menekankan pendekatan yang digerakkan oleh isi.

Contoh berikut, yang diambil dari Zhang et al. (2024), menunjukkan perbedaan antara meta prompt yang terstruktur dan few-shot prompt dalam menyelesaikan soal-soal dari benchmark MATH:

Meta Prompting

Keunggulan Meta Prompting dibanding few-shot prompting antara lain:

1. Efisiensi token: Mengurangi jumlah token yang dibutuhkan karena berfokus pada struktur, bukan isi yang detail.

2. Perbandingan yang adil: Memberikan cara yang lebih adil untuk membandingkan berbagai model pemecah masalah dengan meminimalkan pengaruh contoh-contoh spesifik.

3. Efektif secara zero-shot: Bisa dianggap sebagai salah satu bentuk zero-shot prompting, di mana pengaruh contoh-contoh spesifik diminimalkan.

Penerapan

Dengan berfokus pada pola struktur dalam pemecahan masalah, Meta Prompting memberikan peta jalan yang jelas untuk menavigasi topik yang kompleks, sekaligus meningkatkan kemampuan penalaran LLM di berbagai bidang.

Penting untuk dicatat bahwa meta prompting juga mengasumsikan LLM sudah punya pengetahuan bawaan tentang tugas atau masalah spesifik yang sedang ditangani. Karena LLM bisa menggeneralisasi ke tugas-tugas yang belum pernah dilihat, LLM mungkin bisa dimanfaatkan dengan meta prompting, tetapi kinerjanya bisa menurun pada tugas yang lebih unik dan baru, sama seperti yang terjadi pada zero-shot prompting.

Penerapan yang bisa mendapat manfaat dari meta prompting antara lain (tapi tidak terbatas pada) tugas penalaran kompleks, pemecahan soal matematika, tantangan coding, dan pertanyaan teoretis.

Gabung grup