small improvements
This commit is contained in:
parent
8df2e7cef1
commit
b70fb72a45
53
main.go
53
main.go
@ -1,11 +1,15 @@
|
|||||||
package main
|
package main
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"bufio"
|
||||||
|
"bytes"
|
||||||
"flag"
|
"flag"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"io/ioutil"
|
||||||
"log"
|
"log"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
|
"runtime"
|
||||||
"sync"
|
"sync"
|
||||||
|
|
||||||
"github.com/karrick/godirwalk"
|
"github.com/karrick/godirwalk"
|
||||||
@ -24,6 +28,11 @@ var profiler string
|
|||||||
var withMeta *bool
|
var withMeta *bool
|
||||||
var showResolvedNs *bool
|
var showResolvedNs *bool
|
||||||
|
|
||||||
|
type file struct {
|
||||||
|
path string
|
||||||
|
content []byte
|
||||||
|
}
|
||||||
|
|
||||||
func main() {
|
func main() {
|
||||||
usePhp5 = flag.Bool("php5", false, "parse as PHP5")
|
usePhp5 = flag.Bool("php5", false, "parse as PHP5")
|
||||||
withMeta = flag.Bool("meta", false, "show meta")
|
withMeta = flag.Bool("meta", false, "show meta")
|
||||||
@ -42,27 +51,29 @@ func main() {
|
|||||||
defer profile.Start(profile.TraceProfile, profile.ProfilePath("."), profile.NoShutdownHook).Stop()
|
defer profile.Start(profile.TraceProfile, profile.ProfilePath("."), profile.NoShutdownHook).Stop()
|
||||||
}
|
}
|
||||||
|
|
||||||
pathCh := make(chan string)
|
numCpu := runtime.NumCPU()
|
||||||
resultCh := make(chan parser.Parser)
|
|
||||||
|
fileCh := make(chan *file, numCpu)
|
||||||
|
resultCh := make(chan parser.Parser, numCpu)
|
||||||
|
|
||||||
// run 4 concurrent parserWorkers
|
// run 4 concurrent parserWorkers
|
||||||
for i := 0; i < 4; i++ {
|
for i := 0; i < numCpu; i++ {
|
||||||
go parserWorker(pathCh, resultCh)
|
go parserWorker(fileCh, resultCh)
|
||||||
}
|
}
|
||||||
|
|
||||||
// run printer goroutine
|
// run printer goroutine
|
||||||
go printer(resultCh)
|
go printer(resultCh)
|
||||||
|
|
||||||
// process files
|
// process files
|
||||||
processPath(flag.Args(), pathCh)
|
processPath(flag.Args(), fileCh)
|
||||||
|
|
||||||
// wait the all files done
|
// wait the all files done
|
||||||
wg.Wait()
|
wg.Wait()
|
||||||
close(pathCh)
|
close(fileCh)
|
||||||
close(resultCh)
|
close(resultCh)
|
||||||
}
|
}
|
||||||
|
|
||||||
func processPath(pathList []string, pathCh chan<- string) {
|
func processPath(pathList []string, fileCh chan<- *file) {
|
||||||
for _, path := range pathList {
|
for _, path := range pathList {
|
||||||
real, err := realpath.Realpath(path)
|
real, err := realpath.Realpath(path)
|
||||||
checkErr(err)
|
checkErr(err)
|
||||||
@ -72,14 +83,18 @@ func processPath(pathList []string, pathCh chan<- string) {
|
|||||||
|
|
||||||
if !s.IsDir() {
|
if !s.IsDir() {
|
||||||
wg.Add(1)
|
wg.Add(1)
|
||||||
pathCh <- real
|
content, err := ioutil.ReadFile(real)
|
||||||
|
checkErr(err)
|
||||||
|
fileCh <- &file{real, content}
|
||||||
} else {
|
} else {
|
||||||
godirwalk.Walk(real, &godirwalk.Options{
|
godirwalk.Walk(real, &godirwalk.Options{
|
||||||
Unsorted: true,
|
Unsorted: true,
|
||||||
Callback: func(osPathname string, de *godirwalk.Dirent) error {
|
Callback: func(osPathname string, de *godirwalk.Dirent) error {
|
||||||
if !de.IsDir() && filepath.Ext(osPathname) == ".php" {
|
if !de.IsDir() && filepath.Ext(osPathname) == ".php" {
|
||||||
wg.Add(1)
|
wg.Add(1)
|
||||||
pathCh <- osPathname
|
content, err := ioutil.ReadFile(osPathname)
|
||||||
|
checkErr(err)
|
||||||
|
fileCh <- &file{osPathname, content}
|
||||||
}
|
}
|
||||||
return nil
|
return nil
|
||||||
},
|
},
|
||||||
@ -91,22 +106,21 @@ func processPath(pathList []string, pathCh chan<- string) {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func parserWorker(pathCh <-chan string, result chan<- parser.Parser) {
|
func parserWorker(fileCh <-chan *file, result chan<- parser.Parser) {
|
||||||
var parserWorker parser.Parser
|
var parserWorker parser.Parser
|
||||||
|
|
||||||
for {
|
for {
|
||||||
path, ok := <-pathCh
|
f, ok := <-fileCh
|
||||||
if !ok {
|
if !ok {
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
src, err := os.Open(path)
|
src := bytes.NewReader(f.content)
|
||||||
checkErr(err)
|
|
||||||
|
|
||||||
if *usePhp5 {
|
if *usePhp5 {
|
||||||
parserWorker = php5.NewParser(src, path)
|
parserWorker = php5.NewParser(src, f.path)
|
||||||
} else {
|
} else {
|
||||||
parserWorker = php7.NewParser(src, path)
|
parserWorker = php7.NewParser(src, f.path)
|
||||||
}
|
}
|
||||||
|
|
||||||
if *withMeta {
|
if *withMeta {
|
||||||
@ -115,8 +129,6 @@ func parserWorker(pathCh <-chan string, result chan<- parser.Parser) {
|
|||||||
|
|
||||||
parserWorker.Parse()
|
parserWorker.Parse()
|
||||||
|
|
||||||
src.Close()
|
|
||||||
|
|
||||||
result <- parserWorker
|
result <- parserWorker
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@ -124,18 +136,21 @@ func parserWorker(pathCh <-chan string, result chan<- parser.Parser) {
|
|||||||
func printer(result <-chan parser.Parser) {
|
func printer(result <-chan parser.Parser) {
|
||||||
var counter int
|
var counter int
|
||||||
|
|
||||||
|
w := bufio.NewWriter(os.Stdout)
|
||||||
|
|
||||||
for {
|
for {
|
||||||
parserWorker, ok := <-result
|
parserWorker, ok := <-result
|
||||||
if !ok {
|
if !ok {
|
||||||
|
w.Flush()
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
counter++
|
counter++
|
||||||
|
|
||||||
fmt.Printf("==> [%d] %s\n", counter, parserWorker.GetPath())
|
fmt.Fprintf(w, "==> [%d] %s\n", counter, parserWorker.GetPath())
|
||||||
|
|
||||||
for _, e := range parserWorker.GetErrors() {
|
for _, e := range parserWorker.GetErrors() {
|
||||||
fmt.Println(e)
|
fmt.Fprintln(w, e)
|
||||||
}
|
}
|
||||||
|
|
||||||
var nsResolver *visitor.NamespaceResolver
|
var nsResolver *visitor.NamespaceResolver
|
||||||
|
Loading…
Reference in New Issue
Block a user