Learning / Pengantar
Pengaturan LLM
Saat merancang dan menguji prompt, biasanya kamu berinteraksi dengan LLM lewat API. Kamu bisa mengatur beberapa parameter untuk mendapatkan hasil yang berbeda dari prompt-mu. Mengutak-atik pengaturan ini penting untuk membuat respons lebih andal dan lebih sesuai harapan, dan perlu sedikit eksperimen untuk menemukan pengaturan yang pas untuk kebutuhanmu. Berikut pengaturan umum yang akan kamu temui saat memakai berbagai penyedia LLM:
Temperature - Singkatnya, makin rendah temperature, makin deterministik hasilnya, dalam arti token berikutnya yang paling mungkin akan selalu dipilih. Menaikkan temperature bisa membuat hasil lebih acak, sehingga mendorong output yang lebih beragam atau kreatif. Pada dasarnya kamu sedang menaikkan bobot token-token lain yang mungkin muncul. Dalam praktiknya, kamu mungkin ingin memakai nilai temperature yang lebih rendah untuk tugas seperti tanya-jawab (QA) berbasis fakta, supaya responsnya lebih faktual dan ringkas. Untuk membuat puisi atau tugas kreatif lainnya, menaikkan nilai temperature bisa lebih bermanfaat.
Top P - Teknik sampling yang dipakai bersama temperature, disebut nucleus sampling, yang memungkinkan kamu mengatur seberapa deterministik model. Kalau kamu mencari jawaban yang tepat dan faktual, buat nilainya rendah. Kalau kamu mencari respons yang lebih beragam, naikkan ke nilai yang lebih tinggi. Kalau kamu memakai Top P, artinya hanya token-token yang membentuk massa probabilitas top_p yang dipertimbangkan untuk respons, jadi nilai top_p yang rendah akan memilih respons yang paling yakin. Ini berarti nilai top_p yang tinggi membuat model bisa melihat lebih banyak kata yang mungkin, termasuk yang kurang mungkin muncul, sehingga output-nya lebih beragam.
Rekomendasi umumnya: ubah temperature atau Top P, tapi jangan keduanya.
Max Length - Kamu bisa mengatur jumlah token yang dihasilkan model dengan menyesuaikan max length. Menentukan max length membantu kamu mencegah respons yang terlalu panjang atau tidak relevan, sekaligus mengendalikan biaya.
Stop Sequences - stop sequence adalah string yang menghentikan model dari menghasilkan token. Menentukan stop sequences adalah cara lain untuk mengatur panjang dan struktur respons model. Misalnya, kamu bisa menyuruh model membuat daftar yang isinya tidak lebih dari 10 item dengan menambahkan "11" sebagai stop sequence.
Frequency Penalty - frequency penalty memberi penalti pada token berikutnya sebanding dengan berapa kali token itu sudah muncul di respons dan prompt. Makin tinggi frequency penalty, makin kecil kemungkinan sebuah kata muncul lagi. Pengaturan ini mengurangi pengulangan kata dalam respons model dengan memberi penalti lebih tinggi pada token yang lebih sering muncul.
Presence Penalty - presence penalty juga memberi penalti pada token yang berulang, tapi berbeda dengan frequency penalty, penaltinya sama untuk semua token yang berulang. Token yang muncul dua kali dan token yang muncul 10 kali diberi penalti yang sama. Pengaturan ini mencegah model terlalu sering mengulang frasa dalam responsnya. Kalau kamu ingin model menghasilkan teks yang beragam atau kreatif, kamu mungkin perlu memakai presence penalty yang lebih tinggi. Sebaliknya, kalau kamu butuh model tetap fokus, coba pakai presence penalty yang lebih rendah.
Sama seperti temperature dan top_p, rekomendasi umumnya adalah mengubah frequency penalty atau presence penalty, tapi jangan keduanya.
Sebelum mulai dengan beberapa contoh dasar, ingat bahwa hasilmu bisa berbeda-beda tergantung versi LLM yang kamu pakai.