maride/php-parser
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

scanner: remove unnecessary lval.Token calls

Browse Source
This commit is contained in:
z7zmey 2018-05-27 00:55:26 +03:00
parent a28fd2e8ec
commit a9f54cba27
2 changed files with 11 additions and 25 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

17
scanner/scanner.go
View File

@ -7493,10 +7493,8 @@ yystate598:
} }
yyrule1: // [ \t\n\r]+ yyrule1: // [ \t\n\r]+
{
lval.Token(l.newToken(l.Token()))
goto yystate0 goto yystate0
}
yyrule2: // . yyrule2: // .
{ {
@ -7523,13 +7521,11 @@ yyrule2: // .
yyrule3: // \<\?php([ \t]|{NEW_LINE}) yyrule3: // \<\?php([ \t]|{NEW_LINE})
{ {
l.begin(PHP) l.begin(PHP)
lval.Token(l.newToken(l.Token())) // return T_OPEN_TAG;
goto yystate0 goto yystate0
} }
yyrule4: // \<\? yyrule4: // \<\?
{ {
l.begin(PHP) l.begin(PHP)
lval.Token(l.newToken(l.Token())) // return T_OPEN_TAG;
goto yystate0 goto yystate0
} }
yyrule5: // \<\?= yyrule5: // \<\?=
@ -7540,10 +7536,8 @@ yyrule5: // \<\?=
goto yystate0 goto yystate0
} }
yyrule6: // [ \t\n\r]+ yyrule6: // [ \t\n\r]+
{
lval.Token(l.newToken(l.Token())) // return T_WHITESPACE
goto yystate0 goto yystate0
}
yyrule7: // [;][ \t\n\r]*\?\>{NEW_LINE}? yyrule7: // [;][ \t\n\r]*\?\>{NEW_LINE}?
{ {
l.begin(INITIAL) l.begin(INITIAL)
@ -8360,14 +8354,11 @@ yyrule127: // ([/][*])|([/][*][*])
} }
c = l.Next() c = l.Next()
} }
lval.Token(l.newToken(l.Token()))
if is_doc_comment { if is_doc_comment {
l.PhpDocComment = string(l.TokenBytes(nil)) l.PhpDocComment = string(l.TokenBytes(nil))
l.addComment(l.Token()) l.addComment(l.Token())
// return T_DOC_COMMENT
} else { } else {
l.addComment(l.Token()) l.addComment(l.Token())
// return T_COMMENT
} }
goto yystate0 goto yystate0
} }
@ -8412,10 +8403,8 @@ yyrule133: // ->
goto yystate0 goto yystate0
} }
yyrule134: // [ \t\n\r]+ yyrule134: // [ \t\n\r]+
{
lval.Token(l.newToken(l.Token())) // return T_WHITESPACE;
goto yystate0 goto yystate0
}
yyrule135: // -> yyrule135: // ->
{ {
lval.Token(l.newToken(l.Token())) lval.Token(l.newToken(l.Token()))

13
scanner/scanner.l
View File

@ -60,7 +60,7 @@ NEW_LINE (\r|\n|\r\n)
%% %%
c = l.Rule0() c = l.Rule0()
<INITIAL>[ \t\n\r]+ lval.Token(l.newToken(l.Token())); <INITIAL>[ \t\n\r]+
<INITIAL>. <INITIAL>.
tb := []lex.Char{} tb := []lex.Char{}
@ -87,11 +87,11 @@ NEW_LINE (\r|\n|\r\n)
lval.Token(l.newToken(tb)) lval.Token(l.newToken(tb))
return T_INLINE_HTML return T_INLINE_HTML
<INITIAL>\<\?php([ \t]|{NEW_LINE}) l.begin(PHP);lval.Token(l.newToken(l.Token()));// return T_OPEN_TAG; <INITIAL>\<\?php([ \t]|{NEW_LINE}) l.begin(PHP);
<INITIAL>\<\? l.begin(PHP);lval.Token(l.newToken(l.Token()));// return T_OPEN_TAG; <INITIAL>\<\? l.begin(PHP);
<INITIAL>\<\?= l.begin(PHP);lval.Token(l.newToken(l.Token())); return T_ECHO; <INITIAL>\<\?= l.begin(PHP);lval.Token(l.newToken(l.Token())); return T_ECHO;
<PHP>[ \t\n\r]+ lval.Token(l.newToken(l.Token()));// return T_WHITESPACE <PHP>[ \t\n\r]+
<PHP>[;][ \t\n\r]*\?\>{NEW_LINE}? l.begin(INITIAL);lval.Token(l.newToken(l.Token())); return Rune2Class(';'); <PHP>[;][ \t\n\r]*\?\>{NEW_LINE}? l.begin(INITIAL);lval.Token(l.newToken(l.Token())); return Rune2Class(';');
<PHP>\?\>{NEW_LINE}? l.begin(INITIAL);lval.Token(l.newToken(l.Token())); return Rune2Class(';'); <PHP>\?\>{NEW_LINE}? l.begin(INITIAL);lval.Token(l.newToken(l.Token())); return Rune2Class(';');
@ -310,14 +310,11 @@ NEW_LINE (\r|\n|\r\n)
c = l.Next() c = l.Next()
} }
lval.Token(l.newToken(l.Token()))
if is_doc_comment { if is_doc_comment {
l.PhpDocComment = string(l.TokenBytes(nil)) l.PhpDocComment = string(l.TokenBytes(nil))
l.addComment(l.Token()) l.addComment(l.Token())
// return T_DOC_COMMENT
} else { } else {
l.addComment(l.Token()) l.addComment(l.Token())
// return T_COMMENT
} }
<PHP>{OPERATORS} lval.Token(l.newToken(l.Token())); return Rune2Class(rune(l.TokenBytes(nil)[0])) <PHP>{OPERATORS} lval.Token(l.newToken(l.Token())); return Rune2Class(rune(l.TokenBytes(nil)[0]))
@ -328,7 +325,7 @@ NEW_LINE (\r|\n|\r\n)
<PHP>{VAR_NAME} lval.Token(l.newToken(l.Token())); return T_STRING <PHP>{VAR_NAME} lval.Token(l.newToken(l.Token())); return T_STRING
<PHP>-> l.begin(PROPERTY);lval.Token(l.newToken(l.Token())); return T_OBJECT_OPERATOR; <PHP>-> l.begin(PROPERTY);lval.Token(l.newToken(l.Token())); return T_OBJECT_OPERATOR;
<PROPERTY>[ \t\n\r]+ lval.Token(l.newToken(l.Token())); // return T_WHITESPACE; <PROPERTY>[ \t\n\r]+
<PROPERTY>-> lval.Token(l.newToken(l.Token())); return T_OBJECT_OPERATOR; <PROPERTY>-> lval.Token(l.newToken(l.Token())); return T_OBJECT_OPERATOR;
<PROPERTY>{VAR_NAME} l.begin(PHP);lval.Token(l.newToken(l.Token())); return T_STRING; <PROPERTY>{VAR_NAME} l.begin(PHP);lval.Token(l.newToken(l.Token())); return T_STRING;
<PROPERTY>. l.ungetChars(1);l.begin(PHP) <PROPERTY>. l.ungetChars(1);l.begin(PHP)