Proses dimana aliran karakter dikelompokkan menjadi serangkaian item leksikal, atau token, dan semua data kamus yang tersedia adalah terkait dengan item leksikal. Analisis leksikal terdiri dari tiga langkah yang terpisah: segmentasi, normalisasi dan penjelasan.