Di artikel ini, kita bakal jelasin apa itu token dan gimana cara ngitungnya. Kita juga kasih contoh yang konkret dan tips biar kamu bisa hemat token dengan efisien.
- Definisi token
- Cara token dihitung
- Contoh token
- Perbandingan: tokenisasi kata vs. subkata
- Pemakaian token yang efisien
Definisi token
Token adalah bagian inti dari pemrosesan teks di model machine learning seperti ChatGPT dari OpenAI, dan jadi dasar buat memahami serta menafsirkan data teks. Token ini adalah unit terkecil yang bisa diproses oleh model-model tersebut.
Dalam bentuk paling sederhana, sebuah token bisa berupa kata, tanda baca, atau spasi. Tapi model yang lebih canggih seperti ChatGPT memperluas konsep ini dan juga bisa mendefinisikan token sebagai bagian dari kata, atau bahkan gabungan beberapa kata. Pendekatan ini disebut tokenisasi subkata (subword tokenization).
Cara token dihitung
Saat memproses sebuah teks, teks itu pertama-tama dipecah menjadi rangkaian token—proses ini disebut tokenisasi. Lalu model memakai representasi numerik dari token-token tersebut untuk menganalisis teks dan membuat prediksi.
Hal penting lainnya adalah jumlah maksimum token yang bisa diproses model. Di GPT-3.5 Turbo, batasnya misalnya 4.096 token, sedangkan di GPT-4 8.192 token. Batas ini berlaku untuk input maupun output dan disebut context window (jendela konteks).
Jumlah token yang benar-benar tersedia bukan cuma bergantung pada batas teknis model, tapi juga pada pengaturan di aplikasi atau platform yang kamu pakai.
Contoh token
Kalimat seperti „ChatGPT adalah model bahasa dari OpenAI“ akan dipecah menjadi token-token terpisah. Dengan tokenisasi kata yang sederhana, pembagiannya bisa seperti ini:
Namun dengan tokenisasi subkata, kalimat yang sama bisa dipecah jadi lebih banyak atau lebih sedikit token—tergantung logika tokenisasi dari model yang dipakai.
Perbandingan: tokenisasi kata vs. subkata
Misalnya, sebuah teks berisi 1.000 kata. Dengan tokenisasi kata yang sederhana, itu juga berarti 1.000 token. Tapi dengan tokenisasi subkata, jumlah token bisa berbeda-beda.
Kata seperti „konfigurasi“ misalnya bisa dipecah menjadi beberapa token, seperti „konfi“, „gura“, „si“. Tanda baca atau spasi juga bisa dihitung sebagai token tersendiri. Karena itu, total token bisa lebih tinggi daripada jumlah kata sebenarnya.
Pemakaian token yang efisien
Prinsip dasarnya: makin sedikit teks yang dipakai di input dan output, makin sedikit token yang kepakai. Ini penting buat memaksimalkan efisiensi dan mengoptimalkan pemakaian token.
Input yang efisien: Tulis pertanyaanmu sejelas dan setepat mungkin. Pengulangan yang nggak perlu, kalimat yang kepanjangan, atau info yang nggak relevan bakal bikin token makin boros.
Minta jawaban lebih singkat: Dalam banyak kasus, kamu bisa ngatur panjang jawaban. Jawaban yang lebih pendek akan memakai lebih sedikit token.
Mengelola pesan sebelumnya: Tergantung aplikasinya, kadang lebih masuk akal untuk menyalakan atau mematikan fitur penyimpanan pesan sebelumnya. Pengaturan ini misalnya bisa diubah di pengaturan chat. Penting: kalau fitur ini aktif, pertanyaan dan jawaban sebelumnya juga ikut dihitung dalam total token.
Fitur penyimpanan aktif: Kalau kamu pakai ChatGPT misalnya untuk meringkas teks dan pengin memperbaiki hasil pertama, fitur penyimpanan bisa membantu. Jadi model bisa merujuk ke info sebelumnya dan bikin versi yang lebih bagus. Ini menghemat token karena kamu nggak perlu memasukkan teks asli lagi.
Fitur penyimpanan nonaktif: Sebaliknya, kalau kamu mau bikin konten yang saling independen seperti beberapa puisi terpisah, lebih baik matikan fitur penyimpanan. Setiap permintaan akan diproses terpisah. Alternatifnya, kamu juga bisa mulai chat baru untuk tiap permintaan. Ini menghemat token karena konten sebelumnya yang nggak relevan nggak ikut dipertimbangkan.