这里为大家介绍 TiDB Parser 的原理。

作者：王军、苏立

Parser 基本原理

什么是 TiDB Parser

TiDB Parser一般是做两件事：

1. 检查关键字的正确语法和拼写
2. 将文本解析为 AST (抽象语法树)

收到 SQL 之后，Parser 在完成语法校验后将 SQL 文本转换类似上图的语法树，之后 Planner 根据语法树来做 Plan。

Parser 的基本组件

TiDB Parser 主要有两个组件：

1. Lexer: 将文本转换为 Token 序列
2. Parser: 消费 Token 序列，检查语法并构建 AST

Lexer 实际是一个词法分析的组件，主要是将一个 SQL 做分词，每个 Token 都有自己的值和Token 类型，比如下图中 “select” 就是一个关键字 Token, “a” 是标识符 Token…SQL 文本在通过 Lexer 后转化成一个 Token 序列。

Parser 持续消费 Lexer 产生的 Token 序列， 并根据 BNF 定义的语法上下文校验语法并构建语法树。

比如以上图的语法树为例，这个 select 语句为会转换为一颗以 stmtNode 为根节点，fieldList(select 字段), tableRef(from 后的表), exprNode(where 条件) 为子节点的语法树.

TiDB Parser

编写 Parser

经典的方法

1. 传统方法：Flex/BISON, JavaCC, Antlr…
2. 手工编写

TiDB 的选择

1. 手写 Parser：Lexer .go 文件

2. 解析器使用 goyacc 做语义分析

3. yacc用Go写

4. goyacc 的文档较少，推荐 Bison doc

Goyacc

1. Goyacc 从 BNF 中生成解析器代码

2. 如何使用:

3. 在 http://github.com/pingcap/parser/parser.y 中编辑 BNF 文件

4. 运行 “Make” 生成 parser.go

5. 如果想了解更多信息，推荐去看 Bison doc

BNF

1. 全名：Backus-Naur From

2. 一种描述语言的正式数学方法：

3. 一组终端符号

4. 一组非终端符号

5. 表单的一组生成规则

6. 其中LHS为非终端符号，RHS为符号序列。

7. 示例：https://github.com/pingcap/parser/blob/master/parser.y#L6520

8. 层次话图：https://pingcap.github.io/sqlgram/

TiDB Hint

1. 在旧的 TiDB(小于 2.1.3 版本) 中对优化提示进行了严格的语法检查
2. 对于我们不支持的 hint 语法类型，会报错。为了兼容一些老版本的连接数据库工具，我们对于 hint 优化提示，以前的 error 改为了 warning
3. 如果遇到类似 Hint 不支持的报错，升级到 2.1.3+ 可以解决这个问题

Parser 相关问题处理

报错信息解读

1. MySQL client 报错内容：“ERROR 1064 (42000): You hava an error in your SQL syntax;…”

2. 说明：如果有这个报错，可以明确确认是 Parser 报错

3. 语法报错 log 日志内容：“parser error” and with stack “(Parser).Parse”

Parser 报错判断

1. 查看错误消息或日志，是否有报错码 1064 等。

2. 在 MySQL 中是否可以执行： MySQL 5.7 语法

3. 判断 TiDB 是否支持，可以看 parser 文件，来确认 TiDB 已经支持的语法

4. 检查MySQL的定义

5. 当发现语法是 TiDB 支持，如果有报错，可以判断为非预期，需要修复

6. 当发现语法是 TiDB 不支持，但是 MySQL 支持，可以向我们提需求做兼容

性能

1. 判断解析器是否成为瓶颈

2. 监控中参考：tidb_session_parse_duration_seconds_bucket

3. 获取 pprof 抓取火焰图，并查看“parser”。

4. 优化

5. 使用prepare语句遍历解析器阶段

6. 简化SQL语句 (如，太多的’ ifnull() '表达式)

文中的图是用什么软件画的？

notability 手画?

当我尝试去 fix 一个问题的时候，出现了：

我修改了 parser.y 文件，并且也执行了 make ，重新生成了 parser.go，但是依然会报错：ERROR 1064

请问这种情况，我应该如何再继续排查呢？

挺好的帖子，但希望 github 上面的项目可以多一些帮助文档，看了 Quick Start Guide 就还是挺懵的。对于要自己写 AST 变化来说，希望可以多一些示例。

我需要修改pingcap/parser# parser.y
https://www.gnu.org/software/bison/manual/bison.html。
有相关例子吗

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。