Learning / Teknik Prompting

Multimodal CoT Prompting

Zhang et al. (2023) baru-baru ini mengusulkan pendekatan multimodal chain-of-thought prompting. CoT tradisional berfokus pada modalitas bahasa. Sebaliknya, Multimodal CoT menggabungkan teks dan visual ke dalam kerangka kerja dua tahap. Tahap pertama adalah pembuatan rasional (rationale) berdasarkan informasi multimodal. Tahap ini diikuti tahap kedua, yaitu inferensi jawaban, yang memanfaatkan rasional informatif yang sudah dihasilkan.

Model multimodal CoT (1B) mengungguli GPT-3.5 pada benchmark ScienceQA.

MCOT

Sumber gambar: Zhang et al. (2023)

Bacaan lebih lanjut:

Gabung grup