编译原理 C语言实现词法分析

一、实验目的： 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、实验预习提示 1、词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是按类来安排种别码的方式。 2、部分单词的BNF表示（可参考教材43页的状态转换图） -> ->|| |ε -> -> |ε -> + -> - -> > -> >= 3、 做词法分析器需要把对象语言的词法全部描述出来，在这我们取C语言子集，它的词法如下： （1）关键字 main if else int return void while…….. 所有的关键字都是小写。 （2）专用符号 = + - * / ＜＝ ＞ ＞＝ == ！= ； ： ， { } [ ] （ ） （3）空格和空白、制表符和换行符。 空格一般用来分隔ID、NUM、专用符号和关键字，在词法分析阶段通常被忽略。 各种单词符号的种别码，这是一种符号一个编码的设计。只供参考！ 单词符号 种别码 单词符号 种别码 main 2 [ 28 int 1 ] 29 char 3 { 30 If 4 } 31 else 5 , 32 for 6 : 33 while 7 ; 34 ID 10 > 35 NUM 20 = 37 + 22 +”,当前字符为’>’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。 5、模块结构 见附图 三、实验过程和指导： （一）准备： 1.阅读课本有关章节，明确语言的语法，写出基本保留字、标识符、常数、运算符、分隔符和程序例。 2.编制好程序。 3.准备好多组测试数据。 （二）上机调试： （三）程序要求： 程序输入/输出示例： 如源程序为C语言。输入如下一段： main() { int a,b; a = 10; b = a + 20; } 要求输出如右图。 （2，“main”） （5，“（” ） （5，“ ）” ） （5，“{ ” ） （1，“int” ） （2，“a” ） （5，“,” ） （2，“b” ） （5，“;” ） （2，“a” ） （4，“=” ） （3，“10” ） （5，“;” ） （2，“b” ） （4，“=” ） （2，“a” ） （4，“+” ） （3，“20” ） （5，“;” ） （5，“}” ） 说明： 识别保留字：if、int、for、while、do、return、break、continue； 单词种别码为1。 其他的都识别为标识符；单词种别码为2。 常数为无符号整形数；单词种别码为3。 运算符包括：+、-、*、/、=、>、=、<=、!= ；单词种别码为4。 分隔符包括：,、;、{、}、(、)； 单词种别码为5。 以上为参考，具体可自行增删。 程序思路（参考）： 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中，自文件头开始扫描源程序字符，一旦发现符合“单词”定义的源程序字符串时，将它翻译成固定长度的单词内部表示，并查填适当的信息表。 经过词法分析后，源程序字符串（源程序的外部表示）被翻译