1 / 43

Part3 词法分析

Part3 词法分析. 授课：胡静. 内容提要. 词法分析器的作用 词法分析程序的设计与实现 —— 状态图 词法分析程序的自动生成 —— 有穷自动机. 词法分析器的自动产生. LEX 工作过程. 首先，使用 LEX 语言写一个定义词法分析器的源程序 lex.l 。 然后利用 LEX 编译器将 lex.l 转换成 C 语言程序 lex.yy.c 。它包括从 lex.l 的正规表达式构造的状态转换图的表格形式以及使用该表格识别词素的标准子程序。 与 lex.l 中正规表达式相关联的动作是 C 代码段，这些动作可以直接加入到 lex.yy.c 中。

charity-trevino
Download Presentation

Part3 词法分析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Part3词法分析 授课：胡静

  2. 内容提要 • 词法分析器的作用 • 词法分析程序的设计与实现——状态图 • 词法分析程序的自动生成——有穷自动机

  3. 词法分析器的自动产生

  4. LEX工作过程 • 首先，使用LEX语言写一个定义词法分析器的源程序lex.l。 • 然后利用LEX编译器将lex.l转换成C语言程序lex.yy.c。它包括从lex.l的正规表达式构造的状态转换图的表格形式以及使用该表格识别词素的标准子程序。 • 与lex.l中正规表达式相关联的动作是C代码段，这些动作可以直接加入到lex.yy.c中。 • 最后，lex.yy.c通过C编译器生成目标程序，这个目标程序就是把输入流转换成记号序列的词法分析器。

  5. LEX工作过程

  6. LEX的实现

  7. 单个正则表达式

  8. 词法分析器

  9. 处理多样的REs • 将所有的正则表达式的NFA联合在一起，变成一个单一的有限自动机

  10. LEX二义性的处理方法 RE’s + 优先匹配原则 + 最长匹配规则 = 词法分析器的定义

  11. 词法分析器 • 输出端是Token流 • 将tokens和终态联系在一起。 • 当到达一个终态时，就将相应的token输出。 • 最长匹配 • 当到达一个终态时，要查看是否存在更进一步的转换。如果不存在，则返回当前终态对应的token • 优先级规则 • 当终态对应多个token的时候，有可能会有相同的最长匹配的token • 将这个终结状态和最高优先级的token联系起来。

  12. LEX举例

  13. LEX举例 • NFA确定化 给出状态转换表

  14. LEX程序举例

  15. 词法分析总结

  16. DFA最小化

  17. Thanks for your time! Questions & Answers

More Related