parser/reader.go at master · MJKWoolnough/parser · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
package parser

import (
	"bufio"
	"unicode/utf8"
)

type readerParser struct {
	reader   *bufio.Reader
	buf      []rune
	pos      int
	stateNum int
}

func (r *readerParser) next() rune {
	if r.pos < len(r.buf) {
		ru := r.buf[r.pos]
		r.pos++

		return ru
	}

	ru, s, err := r.reader.ReadRune()
	if err != nil {
		ru = -1
	} else if ru == utf8.RuneError && s == 1 {
		r.reader.UnreadRune()

		b, _ := r.reader.ReadByte()
		ru = rune(b)

		r.reader.ReadRune()
	}

	r.buf = append(r.buf, ru)
	r.pos++

	return ru
}

func (r *readerParser) backup() {
	if r.pos > 0 {
		r.pos--
	}
}

func (r *readerParser) get() string {
	s := string(r.buf[:r.pos])
	r.buf = r.buf[r.pos:]
	r.pos = 0
	r.stateNum++

	return s
}

func (r *readerParser) length() int {
	var l int

	for _, r := range r.buf[:r.pos] {
		if r != -1 {
			l += utf8.RuneLen(r)
		}
	}

	return l
}

func (r *readerParser) reset() {
	r.pos = 0
}

func (r *readerParser) sub() tokeniser {
	return &sub{
		tokeniser: r,
		tState:    r.stateNum,
		start:     r.pos,
	}
}

func (r *readerParser) slice(state, start int) (string, int) {
	if r.stateNum != state || start > r.pos {
		return "", -1
	}

	return string(r.buf[start:r.pos]), r.pos
}

type readerState struct {
	r        *readerParser
	stateNum int
	pos      int
}

func (r *readerParser) state() State {
	return &readerState{
		r:        r,
		stateNum: r.stateNum,
		pos:      r.pos,
	}
}

func (r *readerState) Reset() bool {
	if r.r.stateNum != r.stateNum {
		return false
	}

	r.r.pos = r.pos

	return true
}