PHP语法分析器：RE2C BISON 总结

news/2024/7/3 14:36:48 标签: php, c, token, zend, scripting, yacc

cle class="baidu_pl">

cle_content" class="article_content clearfix">

content_views" class="htmledit_views">

cal-align: baseline; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); "> 声明：本文为斯人原创࿰c;全部为作者一一分析得之࿰c;有不对的地方望赐教。
欢迎转载࿰c;转载请注明出处。
本文地址： http://imsiren.com/archives/647

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">class="aligncenter size-full wp-image-654" title="class="tags" href="/tags/PHP.html" title=php>phptoc" src="http://imsiren.com/wp-content/uploads/2012/10/class="tags" href="/tags/PHP.html" title=php>phptoc.jpg" alt="" width="511" height="95" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">class="aligncenter size-full wp-image-656" title="way" src="http://imsiren.com/wp-content/uploads/2012/10/way1.jpg" alt="" width="312" height="348" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

<code class="language-cpp">"echo" {

return T_ECHO;
 }
code>

<code class="language-cpp">接口代码：
不像其他的扫描器程序࿰c;re2c 不会生成完整的扫描器：用户必须提供一些接口代码。用户必须定义下面的宏或者是其他相应的配置。
YYCONDTYPE
	用-c 模式你可以使用-to参数用来生成一个文件：使用包含枚举类型的作为条件。每个值都会在规则集合里面作为条件来使用。
YYCTYPE
	用来维持一个输入符号。通常是 char 或者unsigned char。
YYCTXMARKER
	*YYCTYPE类型的表达式࿰c;生成的代码回溯信息的上下文会保存在 YYCTXMARKER。如果扫描器规则需要使用上下文中的一个或多个正则表达式则用户需要定义这个宏。
YYCURSOR
	*YYCTYPE类型的表达式指针指向当前输入的符号࿰c;生成的代码作为符号相匹配࿰c;在开始的地方࿰c;YYCURSOR假定指向当前token的第一个字符。结束时࿰c;YYCURSOR将会指向下一个token的第一个字符。
YYDEBUG(state,current)
	这个只有指定-d标示符的时候才会需要。调用用户定义的函数时可以非常容易的调试生成的代码。
	这个函数应该有以下签名：void YYDEBUG(int state,char current)。第一个参数接受 state ࿰c;默认值为-1第二个参数接受输入的当前位置。
YYFILL(n)
	当缓冲器需要填充的时候࿰c;生成的代码将会调用YYFILL(n)：至少提供n个字符。YYFILL(n)将会根据需要调整YYCURSOR,YYLIMIT,YYMARKER 和 YYCTXMARKER。注意在典型的程序语言当中࿰c;n等于最长的关键词的长度加一。用户可以在/*!max:re2c*/一次定义YYMAXFILL来指定最长长度。如果使用了-1࿰c;YYMAXFILL将会在/*!re2c*/之后调用一次阻塞。
YYGETCONDITION()
	如果使用了-c模式࿰c;这个定义将会在扫描器代码之前获取条件集。这个值࿰c;必须初始化为枚举YYCONDTYPE的类型。
YYGETSTATE()
	如果-f模式指定了࿰c;用户就需要定义这个宏。如果这样࿰c;扫描器在开始时为了获取保存的状态࿰c;生成的代码将会调用YYGETSTATE()࿰c;YYGETSTATE()必须返回一个带符号的整数࿰c;这个值如果是-1࿰c;告诉扫描器这是第一次执行࿰c;否则这个值等于以前YYSETSTATE(s) 保存的状态。否则࿰c;扫描器将会恢复操作之后立即调用YYFILL(n)。
YYLIMIT
	表达式的类型 *YYCTYPE 标记缓冲器的结尾（YYLIMIT(-1)是缓冲区的最后一个字符）。生成的代码将会不断的比较YYCORSUR 和 YYLIMIT 以决定 什么时候填充缓冲区。
YYSETCONDITION(c)
	这个宏用来在转换规则中设置条件࿰c;它只会在指定-c模式 和 使用转换规则时有用。
YYSETSTATE(s)
	用户只需要在指定-f模式时定义这个宏࿰c;如果是这样࿰c;生成的代码将会在YYFILL(n)之前调用YYSETSTATE(s)࿰c;YYSETSTATE的参数是一个有符号整型࿰c;被称为唯一的标示特定的YYFILL(n)实例。
YYMARKER
	类型为*YYCTYPE的表达式࿰c;生成的代码保存回溯信息到YYMARKER。一些简单的扫描器可能用不到。
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">扫描器文件结构：

<code class="language-cpp">/* #include 文件*/
/*宏定义*/
//扫描函数
int scan(char *p){
/*扫描器规则区*/
}
//执行scan扫描函数࿰c;返回token到yacc/bison中。
int yylex(){
        int token;
        char *p=YYCURSOR;//YYCURSOR是一个指针࿰c;指向我们的PHP文本内容
        while(token=scan(p)){//这里会移动指针p,一个一个判断是不是我们上面定义好的scanner...
                return token;
        }
}
int main(int argc,char**argv){
        BEGIN(INITIAL);//
        YYCURSOR=argv[1];//YYCURSOR是一个指针࿰c;指向我们的PHP文本内容,
        yyparse();
}
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">BEGIN 是定义的宏

<code class="language-cpp">#define YYCTYPE char   //输入符号的类型
#define STATE(name)     yyc##name
#define BEGIN(n)        YYSETCONDITION(STATE(n))
#define LANG_SCNG(v)    (sc_globals.v)
#define SCNG    LANG_SCNG
#define YYGETCONDITION()        SCNG(yy_state)
#define YYSETCONDITION(s)       SCNG(yy_state)=s
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">#define YYLEX yylex()

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">将扫描器返回的

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">举例：

<code class="language-cpp">scanner.l
#include "scanner.h"
#include "parse.tab.h"
int scan(char *p){
/*!re2c
     <INITIAL>"<?class="tags" href="/tags/PHP.html" title=php>php"([ \t]|{NEWLINE})? {
                BEGIN(ST_IN_SCRIPTING);
                return T_OPEN_TAG;
        }
    "echo" {

                return T_ECHO;
        }
    [0-9]+ {
                return T_LNUMBER;
        }
*/
}
int yylex(){
          int c;

//       return T_STRING;
        int token;
        char *p=YYCURSOR;
        while(token=scan(p)){
                return token;
        }
}

int main (int argc,char ** argv){
        BEGIN(INITIAL);//初始化
        YYCURSOR=argv[1];//将用户输入的字符串放到YYCURSOR
        yyparse();//yyparse() -》yylex()-》yyparse()
        return 0;
}
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">那解析器呢？

<code class="language-cpp">%{
/*
  C代码段将逐字拷贝到lex编译后产生的C源文件中
  可以定义一些全局变量࿰c;数组࿰c;函数例程等...
*/
#include
#include "scanner.h"
extern int yylex();//它在scanner.l中定义的。。
void yyerror(char *);
# define YYPARSE_PARAM tsrm_ls
# define YYLEX_PARAM tsrm_ls
%}
{定义段࿰c;也就是token定义的地方}
//这就是关键  token程序是根据这是做switch的。
%token T_OPEN_TAG
%token T_ECHO
%token T_LNUMBER
%%
{规则段}
start:
         T_OPEN_TAG{printf("start\n"); }
        |start statement
;
statement:
T_ECHO expr {printf("echo :%s\n",$3)}
;
expr:
        T_LNUMBER {$$=$1;}
%%
{用户代码段}
void yyerror(char *msg){
        printf("error:%s\n",msg);
}
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">画个图来说明一下࿰c;
class="aligncenter size-full wp-image-663" title="111" src="http://imsiren.com/wp-content/uploads/2012/10/111.jpg" alt="" width="399" height="847" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">class="aligncenter size-full wp-image-664" title="22" src="http://imsiren.com/wp-content/uploads/2012/10/22.png" alt="" width="446" height="308" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">class="aligncenter size-full wp-image-665" title="20121018144231" src="http://imsiren.com/wp-content/uploads/2012/10/20121018144231.png" alt="" width="209" height="298" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">继续

<code class="language-cpp">#define YYTRANSLATE(YYX)                                                \
  ((unsigned int) (YYX) <= YYMAXUTOK ? yytranslate[YYX] : YYUNDEFTOK)

/* YYTRANSLATE[YYLEX] -- Bison symbol number corresponding to YYLEX.  */
static const yytype_uint8 yytranslate[] =
{
       0,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,    27,     2,
      22,    23,     2,     2,    28,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,    21,
       2,    26,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,    24,     2,    25,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     2,     2,     2,     2,
       2,     2,     2,     2,     2,     2,     1,     2,     3,     4,
       5,     6,     7,     8,     9,    10,    11,    12,    13,    14,
      15,    16,    17,    18,    19,    20
};
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">c="http://imsiren.com/wp-content/uploads/2012/10/444444.png" alt="" title="444444" width="445" height="410" class="aligncenter size-full wp-image-666" style="margin: 10px auto; padding: 4px; border: 1px solid rgb(221, 221, 221); vertical-align: baseline; display: block; max-width: 610px; height: auto; background-color: rgb(255, 255, 255); clear: both; " />

<code class="language-cpp">  switch (yyn)
    {
        case 2:

/* Line 1455 of yacc.c  */
#line 30 "parse.y"
    {printf("start\n"); ;}
    break;
code>

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">就不细说了。

cal-align: baseline; line-height: 18px; color: rgb(51, 51, 51); font-family: Tahoma, Arial, Helvetica, sans-serif; text-align: left; background-color: rgb(247, 247, 247); ">Yac c译文：http://blog.chinaunix.net/space.class="tags" href="/tags/PHP.html" title=php>php?uid=20106293&do=blog&id=142118

cle>

http://www.niftyadmin.cn/n/1790427.html

PHP语法分析器：RE2C BISON 总结

相关文章

CF 331 E. Biologist

makefile中的gcc -o $@ $^是什么意思？

PHP命令执行PHP脚本,结束之前，内存会回收吗？

java常用工具包

css小知识点

PHP的json_encode分析

拐点

Elasticsearch笔记七之setting,mapping,分片查询方式