[refactoring] scanner.Lexer.withHiddenTokens

This commit is contained in:
Vadym Slizov
2020-05-18 21:15:07 +03:00
parent 291dc7e884
commit d9a7d20e73
16 changed files with 1394 additions and 1399 deletions

View File

@@ -13,10 +13,9 @@ type Parser interface {
Parse() int
GetRootNode() ast.Vertex
GetErrors() []*errors.Error
WithTokens()
}
func NewParser(src []byte, v string) (Parser, error) {
func NewParser(src []byte, v string, withTokens bool) (Parser, error) {
var parser Parser
r, err := version.Compare(v, "7.0")
@@ -25,9 +24,9 @@ func NewParser(src []byte, v string) (Parser, error) {
}
if r == -1 {
parser = php5.NewParser(src, v)
parser = php5.NewParser(src, v, withTokens)
} else {
parser = php7.NewParser(src, v)
parser = php7.NewParser(src, v, withTokens)
}
return parser, nil

View File

@@ -10,8 +10,7 @@ import (
)
func parsePhp5(src string) ast.Vertex {
php5parser := php5.NewParser([]byte(src), "5.6")
php5parser.WithTokens()
php5parser := php5.NewParser([]byte(src), "5.6", true)
php5parser.Parse()
return php5parser.GetRootNode()

View File

@@ -27,8 +27,7 @@ abstract class Bar extends Baz
// parse
php7parser := php7.NewParser([]byte(src), "7.4")
php7parser.WithTokens()
php7parser := php7.NewParser([]byte(src), "7.4", true)
php7parser.Parse()
rootNode := php7parser.GetRootNode()
@@ -59,8 +58,7 @@ abstract class Bar extends Baz
}
func parse(src string) ast.Vertex {
php7parser := php7.NewParser([]byte(src), "7.4")
php7parser.WithTokens()
php7parser := php7.NewParser([]byte(src), "7.4", true)
php7parser.Parse()
return php7parser.GetRootNode()