Programas por ctokenizer.sf.net

CTokenizer acepta la sintaxis de C++ como entrada y genera un vector de objetos CToken, que contienen una cadena de token y un tipo de token a(n enumerado), que se puede usar para analizar la entrada.