Antlr4 简单入门

标签: Java

一.ANTRL 是什么

ANTLR 是用JAVA写的语言识别工具,它用来声明语言的语法,简称为“元语言”(meta-language)。

ANTLR 语法识别一般分为二个阶段:

1.词法分析阶段 (lexical analysis)

对应的分析程序叫做 lexer ,负责将符号(token)分组成符号类(token class or token type)

2.解析阶段

根据词法,构建出一棵分析树(parse tree)或叫语法树(syntax tree)
 

ANTLR 的直观印象,就像是在走迷宫,或者说是电路板更准确,最终只有一条最优路可通达开始与结束,中间的各种叉路与开关,就是我们所编写的规则,下面是我编写的一个SQL查询的简单实现,截取一部分图示:

ANTLR 官方网址 http://www.antlr.org/

ANTLR 官方 Github https://github.com/antlr/antlr4

大量语法文件例子 https://github.com/antlr/grammars-v4

二.主要应用场景

1.定制特定领域语言(DSL)

类似hibernate中的HQL,用DSL来定义要执行操作的高层语法,这种语法接近人可理解的语言,由DSL到计算机语言的翻译则通过ANTLR来做,可在ANTLR的结构语言中定义DSL命令具体要执行何种操作。

2.文本解析 可利用ANTLR解析JSON,HTML,XML,EDIFACT,或自定义的报文格式。解析出来的信息需要做什么处理也可以在结构文件中定义。

3.数学计算 加减乘除,线性方程,几何运算,微积分等等

三.ANTRL 语法

1.结构

/** Optional javadoc style comment */
grammar Name; 
options {...}
import ... ;

tokens {...}
channels {...} // lexer only
@actionName {...}

rule1 // parser and lexer rules, possibly intermingled
...
ruleN

grammar

声明语法头,类似于java类的定义

grammar  SPL;

options

选项,如语言选项,输出选项,回溯选项,记忆选项等等


options { output=AST;  language=Java; }

options { tokenVocab=MySqlLexer; }

@actionName

动作(Actions)实际上是用目标语言写成的、嵌入到规则中的代码(以花括号包裹)。它们通常直接操作输入的标号,但是他们也可以用来调用相应的外部代码。属性,到目前为止我的理解还不多,感觉像是C++中类里面的成员。常用属性或动作说明:

  • @header { package com.zetyun.aiops.antlr.test; }

    这个动作很有用,即在运行脚本后,生成的类中自动带上这个包路径,避免了手动加入的麻烦。

  • @members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}

  • @after {System.out.println("after matching rule; before finally");}

rule

这是核心,表示规则,以 “:” 开始, “;” 结束, 多规则以 "|" 分隔。

ID : [a-zA-Z0-9|'_']+ ;    //数字 
STR:'\'' ('\'\'' | ~('\''))* '\''; 
WS: [ \t\n\r]+ -> skip ; // 系统级规则 ,即忽略换行与空格

sqlStatement
    : ddlStatement 
    | dmlStatement     | transactionStatement
    | replicationStatement     | preparedStatement
    | administrationStatement     | utilityStatement
    ;

2.注释

  • 单行、多行、javadoc风格
  • javadoc风格只能在开头使用
/** 
 * This grammar is an example illustrating the three kinds
 * of comments.
 */
grammar T;

/* a multi-line
  comment
*/

/** This rule matches a declarator for my language */

decl : ID ; // match a variable name

3.标识符

  • 符号(Token)名大写开头
  • 解析规则(Parser rule)名小写开头,后面可以跟字母、数字、下划线
ID, LPAREN, RIGHT_CURLY // token names
expr, simpleDeclarator, d2, header_file // rule names

四.遍历模式

1、Listener (观察者模式,通过结点监听,触发处理方法)

  • 程序员不需要显示定义遍历语法树的顺序,实现简单
  • 缺点,不能显示控制遍历语法树的顺序
  • 动作代码与文法产生式解耦,利于文法产生式的重用
  • 没有返回值,需要使用map、栈等结构在节点间传值

2、Visitor (访问者模式,主动遍历)

  • 程序员可以显示定义遍历语法树的顺序
  • 不需要与antlr遍历类ParseTreeWalker一起使用,直接对tree操作
  • 动作代码与文法产生式解耦,利于文法产生式的重用
  • visitor方法可以直接返回值,返回值的类型必须一致,不需要使用map这种节点间传值方式,效率高

五.示例

计算器之四则运算(官方例子照抄)

1、新建g4文件,如Math.g4

grammar Math;

@header{package com.zetyun.aiops.core.math;} 

prog : stat+;

stat: expr NEWLINE          # printExpr
    | ID '=' expr NEWLINE   # assign
    | NEWLINE               # blank
    ;

expr:  expr op=('*'|'/') expr   # MulDiv
| expr op=('+'|'-') expr        # AddSub
| INT                           # int
| ID                            # id
| '(' expr ')'                  # parens
;

MUL : '*' ; // assigns token name to '*' used above in grammar
DIV : '/' ;
ADD : '+' ;
SUB : '-' ;
ID : [a-zA-Z]+ ;
INT : [0-9]+ ;
NEWLINE:'\r'? '\n' ;
WS : [ \t]+ -> skip;

2、运行Math.g4文件,生成.java文件

如果没有安装eclipse antlr插件的话,根据如下指示操作即可:

help -> Eclipse Marketplace -> 搜索 Antlr -> 选中合适版本,安装即可。

3、编写测试文件,检验语法,验证结果等


import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.tree.ParseTree;

import com.zetyun.aiops.core.math.MathLexer;
import com.zetyun.aiops.core.math.MathParser;

public class Math {


    public static void main(String[] args) {


         CharStream input = CharStreams.fromString("12*2+12\r\n");
         MathLexer lexer=new MathLexer(input);
         CommonTokenStream tokens = new CommonTokenStream(lexer);
         MathParser parser = new MathParser(tokens);
         ParseTree tree = parser.prog(); // parse
         MathVisitorTest vt=new MathVisitorTest();
         vt.visit(tree);

    }

}

4、语法树分析

  • 1) 下载antlr4运行包,这里我选择的版本是 antlr-4.7-complete.jar

    http://www.antlr.org/download.html

  • 2) 新建运行脚本 antlr4.bat 和 grun.bat,放置于任意目录,如 E:/tools/antlr4

    antlr4.bat 内容:

    java org.antlr.v4.Tool %*
    

    grun.bat 内容:

    java org.antlr.v4.gui.TestRig %*
    

    注:antlr依赖于java,如果java环境变量没有设置,请先行设置好。

  • 3) 设置antlr4的系统环境变量(classpath 和 path)

    classpath:

    path (.bat所在目录) :

    4) 选择要分析的g4文件,运行命令生成相关java文件与token文件

D:\workspace\AntlrTest\test\math> antlr4 Math.g4

  • 5) 编译java文件
D:\workspace\AntlrTest\test\math>javac ./*.java

  • 6) 分析语法树

输入grun命令回车,在命令行输入你要测试的语法,再回车,按Ctrl+z 后回车。

D:\workspace\AntlrTest\test\math>grun Math expr -gui

D:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui
(2+3)*5-25/5
^Z

执行完命令后,会出现GUI窗口:

通过语法树,我们可以直观的知道语法是否正确,以便随时调整。

版权声明:本文为tianshan2010原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tianshan2010/article/details/106010184

智能推荐

PoolThreadCache

缓存构成   PoolThreadCache的缓存由三部分构成:tiny、small 和 normal。 tiny   缓存数据大小区间为[16B, 496B]数据,数组长度为32,根据数据大小计算索引的办法:数据大小除以16,如下代码所示: small   缓存数据大小区间为[512B, 4KB]数据,数组长度为4,根据数据大小计算索引的办法:数据大小除以512,然后log2得到指数,如下代码所...

Intellij IDEA 搭建Spring Boot项目(一)

Intellij IDEA 搭建Spring Boot项目 标签(空格分隔): SpringBoot JAVA后台 第一步 选择File –> New –> Project –>Spring Initialer –> 点击Next  第二步 自己修改 Group 和 Artif...

CentOS学习之路1-wget下载安装配置

参考1: https://blog.csdn.net/zhaoyanjun6/article/details/79108129 参考2: http://www.souvc.com/?p=1569 CentOS学习之路1-wget下载安装配置 1.wget的安装与基本使用 安装wget yum 安装软件 默认安装保存在/var/cache/yum ,用于所有用户使用。 帮助命令 基本用法 例子:下载...

深入浅出Spring的IOC容器,对Spring的IOC容器源码进行深入理解

文章目录 DispatcherServlet整体继承图 入口:DispatcherServlet.init() HttpServletBean.init() FrameworkServlet.initServletBean() 首先大家,去看Spring的源码入口,第一个就是DispatcherServlet DispatcherServlet整体继承图 入口:DispatcherServlet....

laravel框架的课堂知识点概总

1. MVC 1.1 概念理解 MVC全名是Model View Controller,是模型(model)-视图(view)-控制器(controller)的缩写,一种软件设计典范,用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑 MVC 是一种使用 MVC(Model View Controller ...

猜你喜欢

Unity人物角色动画系统学习总结

使用动画系统控制人物行走、转向、翻墙、滑行、拾取木头 混合树用来混合多个动画 MatchTarget用来匹配翻墙贴合墙上的某一点,人物以此为支点翻墙跳跃 IK动画类似于MatchTarget,控制两只手上的两个点来指定手的旋转和位置,使得拾取木头时更逼真 创建AnimatorController: 首先创建一个混合树,然后双击 可以看到该混合树有五种状态机,分别是Idle、WalkForward、...

Composer 安装 ThinkPHP6 问题

Composer 安装 ThinkPHP6 问题 先说说问题 一.运行环境要求 二.配置 参考: ThinkPHP6.0完全开发手册 先说说问题 执行ThinkPHP6的安装命令 遇到问题汇总如下: 看提示是要更新版本,执行命令更新。 更新之后,再次安装ThinkPHP,之后遇到如下问题。 尝试了很多方法,依然不能解决。其中包括使用https://packagist.phpcomposer.com...

Spring Boot 整合JDBC

今天主要讲解一下SpringBoot如何整合JDBC,没啥理论好说的,直接上代码,看项目整体结构 看一下对应的pom.xml 定义User.java 定义数据源配置,这里使用druid,所以需要写一个配置类 上面指定druid的属性配置,和用户登录的账号信息以及对应的过滤规则: 下面定义数据访问接口和对应的实现: 数据访问层很简单,直接注入JdbcTemplate模板即可,下面再看对应的servi...

html鼠标悬停显示样式

1.显示小手:     在style中添加cursor:pointer 实现鼠标悬停变成小手样式     实例:         其他参数: cursor语法: cursor : auto | crosshair | default | hand | move | help | wait | tex...

Yupoo(又拍网)的系统架构

Yupoo!(又拍网) 是目前国内最大的图片服务提供商,整个网站构建于大量的开源软件之上。以下为其使用到的开源软件信息: 操作系统:CentOS、MacOSX、Ubuntu 服务器:Apache、Nginx、Squid 数据库:MySQLmochiweb、MySQLdb 服务器监控:Cacti、Nagios、 开发语言:PHP、Python、Erlang、Java、Lua 分布式计算:Hadoop...