1 / 15

コンパイラ 2011 年 10 月 17 日

コンパイラ 2011 年 10 月 17 日. 酒居敬一＠Ａ４６８ ( sakai.keiichi@kochi-tech.ac.jp ) http://www.info.kochi-tech.ac.jp/k1sakai/Lecture/COMP/2011/index.html. 字句解析 (Lexical Analysis). 文字や文字の並びを、意味の有る字句として認識する。 自然言語では単語に分解することに相当する。 文法に基づき、予約語・識別子・演算子などに分解する。 識別子が関数名なのか変数名なのかは区別しない。 あくまで、単語に分解するだけである。

cadence-fidel
Download Presentation

コンパイラ 2011 年 10 月 17 日

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. コンパイラ2011年10月17日 酒居敬一＠Ａ４６８(sakai.keiichi@kochi-tech.ac.jp) http://www.info.kochi-tech.ac.jp/k1sakai/Lecture/COMP/2011/index.html

  2. 字句解析(Lexical Analysis) • 文字や文字の並びを、意味の有る字句として認識する。 • 自然言語では単語に分解することに相当する。 • 文法に基づき、予約語・識別子・演算子などに分解する。 • 識別子が関数名なのか変数名なのかは区別しない。 • あくまで、単語に分解するだけである。 • 分解されたものは、文法上の構成単位である。 • 構文解析器の要求により動作する。 • 字句の要求に対する、字句への分解と字句の出力。 • ソースプログラムからの文字の読み取り。 • ファイルからのソースプログラムの読み込み。 • 読み込んだソースプログラムのバッファリング。

  3. [条件式] 式 式 == != > >= < <= [加減演算子] [乗除演算子] + ＊ - / [数字]と[英字]は非終端記号なので、 本来はそれらも終端記号に至るまでの 定義が必要。しかし、省略されている。 前回のＢＮＦの例でも省略されている。 要素型 [返戻型] void [識別子] 英字 英字 [整数] 数字 数字 [要素型] int

  4. バッカス記法(Backus Naur Form, BNF) • ＜＞で囲まれたものを構文要素と呼ぶ。 • 例では字句を定義しているが、字句解析済みの場合もある。 • Javaのように名前に日本語文字集合が使える場合は、こんなに単純に記述できない。ＡＳＣＩＩ文字集合なら簡単。 • →の左側の要素は右側で構成される。 • ｜は「または」を意味する。 ＜数字＞→０｜１｜２｜３｜４｜５｜６｜７｜８｜９ ＜英字＞→ａ｜ｂ｜ｃ｜ｄ｜ｅ｜ｆ｜ｇ｜ｈ｜ｉ｜ｊ｜ｋ｜ｌ｜ｍ｜ｎ｜ｏ｜ｐ｜ｑ｜ｒ｜ｓ｜ｔ｜ｕ｜ｖ｜ｗ｜ｘ｜ｙ｜ｚ 　　　　　　｜Ａ｜Ｂ｜Ｃ｜Ｄ｜Ｅ｜Ｆ｜Ｇ｜Ｈ｜Ｉ｜Ｊ｜Ｋ｜Ｌ｜Ｍ｜Ｎ｜Ｏ｜Ｐ｜Ｑ｜Ｒ｜Ｓ｜Ｔ｜Ｕ｜Ｖ｜Ｗ｜Ｘ｜Ｙ｜Ｚ ＜名前＞→＜英字＞｜＜名前＞＜英字＞｜＜名前＞＜数字＞

  5. 有限オートマトン • 名前などの字句は正規表現で定義できる。つまり、正規言語で表せる。 • 入力の文字列が正規言語に含まれるかどうか？ • それを判定する仮想機械を有限状態オートマトンと呼んでいる。 • 開始状態から出発し、文字列を１文字ずつ読んでいきながら、状態遷移関数によって状態を変化させていく。最終的に最終状態に到達すれば、受理された、ということになる。

  6. 非決定性有限オートマトン(NFA) • ある状態で、ある入力に対して、複数の遷移先がある。 • 入力によらない遷移もある。 • 遷移してもしなくてもいい。ε遷移 • 正規表現からＮＦＡを作る例。 ａ （３）ａ｜ｂ ε （１）ε空列記号 ｂ （２）アルファベットの集合Ａの要素ａ （４）ａｂ ａ ａ ｂ ε （５）ａ＊ ε ａ ε ε

  7. ａ(ｂ|ｃ)＊　の例 ａ ａ ０ １ ２ ３ ｂ ε ε ａ ε １ ２ ３ ４ ε これら３つを合成する。 ε ａ ε ｂ ε ０ １ ２ ３ ４ ｃ ε

  8. 決定性有限オートマトン(DFA) • ＮＦＡではε遷移など、考えうるすべての状態遷移を考慮して字句解析するのは効率が悪い。 • ＮＦＡから非決定的な遷移を取り除いたものがＤＦＡ。 • ある状態から、入力によって遷移する先はたかだか一つ。 • ＮＦＡからＤＦＡへ変換するアルゴリズムが存在する。

  9. NFAからDFAへの変換 • 同じ状態から遷移する状態をまとめた状態集合を作成。 • εでたどれる先もまとめること。 • 状態の集合からの遷移を作成。ここでも、同じ状態からの遷移先が複数ある場合は、遷移先をまとめる。 ａ ε 0 1 2 ａ 0 1,2 ａ ε c ａ c 0 1 2 4 0 1,2 4 b b b 3 5 3,5

  10. a(b|c)*の、NFAからDFAへの変換例 ｂ 2,3,4 ｂ ａ ε ０ 1,2, 4 ｂ ｃ ｃ ａ ε ｂ ε 2,3,4 ０ １ ２ ３ ４ ｃ ｃ ε

  11. ｂ ａ ０ 1,2,3,4 ｂ ｃ 2,3,4 ｂ 詳しくは、参考文献を見ること。 「コンパイラの構成と最適化」 中田育男著　オーム社 院の講義で使う教科書なので、 図書館にある。 ａ ０ 1,2, 4 ｂ ｃ ｃ 2,3,4 ｃ

  12. 字句読み取りの例 • 簡単な浮動小数点数を定義する。 [浮動少数数点定数の構文規則] [浮動小数点定数の正規表現] 〈浮動小数点数〉→ （（ε｜ｄｄ＊）．ｄｄ＊｜ｄｄ＊．）（ε｜ｅ（ε｜＋｜－｜）ｄｄ＊）｜ｄｄ＊ｅ（ε｜＋｜－）ｄｄ＊

  13. 浮動小数点定数のNFA ε d d d ε . d ε e + d 2 3 4 5 7 8 9 1 - d ε . ε ε d d ０ 6 f d ε ε d d e + d 11 12 10 13 -

  14. 浮動小数点定数のDFA 3 d . + d d d d . d e - d 0,2 1,2, 6,10 3,5,f 4,5,f 7,8 8 9,f e d e + d - d 11,12 12 13,f d

  15. 状態数を最小にした浮動小数点定数のDFA 2 . d + d d d . e - d ０ 1 3 4 5 6 d e d

More Related