Análisis Lexixo y Diagramas de Transición
Fases de un compilador:
Analisis Lexico: Está constituido por todas las palabras y
símbolos que lo componen. Para un lenguaje de
programación la definición también es válida.
Lo constituyen todos los elementos
individuales del lenguaje, denominados
frecuentemente en inglés tokens.
Token
Así son tokens: las palabras reservadas del
lenguaje, los símbolos que denotan los distintos
tipos de operadores, identificadores (de
variables, de funciones, de procedimientos, de
tipos, etc.), separadores de sentencias y otros.
Token
◦ Elemento léxico del lenguaje
◦ Símbolo No Terminal de las fases siguientes
Patrón
◦ Expresión regular que define el lenguaje
◦ Letra (Letra | Digito)
Lexema
◦ Secuencia de caracteres que concuerda con un patrón
◦ Numero, caracter.
Atributos
◦ Estructura de datos de cada token para almacenarse en la
TS
◦ Depende del tipo de token
◦ [ID, Lexema, Tipo, Valor, línea]
Un programa fuente es una serie de símbolos
que representan las construcciones del lenguaje
tales como variables, etiquetas, palabras
reservadas, constantes, operadores, entre otros.
El programa fuente se trata inicialmente con el
analizador léxico.
Pasos del Análisis Lexico:
Identificar la colección de tokens
Estructurar la colección de tokens
Describir el lenguaje como expresiones regulares
Ejemplo:
El análisis léxico es un análisis a
nivel de caracteres, su misión es
reconocer los componentes
léxicos o tokens, enviando al
analizador sintáctico.
Funciones:
Tratar con la tabla de símbolos
Generar tokens bajo demanda del analizador
sintáctico
Manejar el fichero fuente
Ignorar comentarios
Contabilizar posición de tokens
Preprocesar macros, constantes, includes…
No hay comentarios:
Publicar un comentario