Parle\Lexer::getToken()
从词法分析器中获取下一个标记（token）
函数名：Parle\Lexer::getToken()
适用版本：Parle 0.8.1 及以上版本
用法：
Parle\Lexer::getToken() 方法用于从词法分析器中获取下一个标记（token）。它返回一个数组，包含标记的类型和值。
语法：
public Parle\Lexer::getToken(): array
示例：
// 创建词法分析器实例
$lexer = new Parle\Lexer();
// 添加词法规则
$lexer->addSymbol('NUMBER', '[0-9]+');
$lexer->addSymbol('PLUS', '\+');
$lexer->addSymbol('MINUS', '-');
$lexer->addSymbol('MULTIPLY', '\*');
$lexer->addSymbol('DIVIDE', '/');
// 设置输入字符串
$input = '42 + 7 - 3 * 2 / 4';
// 设置输入字符串作为词法分析器的输入
$lexer->setInput($input);
// 循环获取下一个标记
while (($token = $lexer->getToken()) !== null) {
$type = $token[0];
$value = $token[1];
echo "Token Type: $type, Value: $value" . PHP_EOL;
}
输出：
Token Type: NUMBER, Value: 42
Token Type: PLUS, Value: +
Token Type: NUMBER, Value: 7
Token Type: MINUS, Value: -
Token Type: NUMBER, Value: 3
Token Type: MULTIPLY, Value: *
Token Type: NUMBER, Value: 2
Token Type: DIVIDE, Value: /
Token Type: NUMBER, Value: 4
上述示例中，我们使用 Parle\Lexer 类创建一个词法分析器，并添加了一些词法规则。然后，我们将输入字符串设置为词法分析器的输入，并使用 while 循环来获取下一个标记。每个标记都是一个包含类型和值的数组。最后，我们打印出每个标记的类型和值。
请注意，此示例仅用于演示 Parle\Lexer::getToken() 方法的用法，实际使用时需要根据具体需求设置适当的词法规则和处理逻辑。