Токен (лексический анализ)

То́кен (

В прикладном программировании понятие токена и его лексема могут не различаться.

Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.

Это заготовка статьи об информационных технологиях и вычислительной технике. Помогите Википедии, дополнив её. Это примечание по возможности следует заменить более точным.

В статье не хватает ссылок на источники (см. рекомендации по поиску). Информация должна быть проверяема, иначе она может быть удалена. Вы можете отредактировать статью, добавив ссылки на авторитетные источники в виде сносок. (3 марта 2023)