添加链接 注册    登录
link管理
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
谈吐大方的木瓜  ·  加缪《局外人》“番外篇” ...·  7 月前    · 
茫然的煎饼  ·  SDK manager ooops, ...·  9 月前    · 
单身的皮带  ·  震后文物是否受损？西安两所博物馆（院）开展安 ...·  10 月前    · 
安静的茄子  ·  王 者 同 人 资 源_哔哩哔哩_bilibili·  11 月前    · 
强悍的领结  ·  Search·  1 年前    · 
link管理  ›  查询语法介绍和相关示例_日志服务(SLS)-阿里云帮助中心
阿里 语法分析
https://help.aliyun.com/zh/sls/user-guide/query-syntax/
伤情的热水瓶
1 月前

日志服务 Project支持使用查询语句对存储在Logstore中的日志进行筛选。筛选结果可独立使用，也可以用于分析语句，进行更复杂的分析处理。本文介绍查询语句的语法结构，以及应用场景和具体示例。

基础语法

查询语句和分析语句以 | 分割。其格式为： 

查询语句|分析语句

查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是基于查询结果或全量数据进行的。

重要

  • 查询语句中建议不超过30个条件。

  • 分析语句中无需填写FROM子句和WHERE子句，默认分析当前Logstore中的数据。分析语句不支持使用offset，不区分大小写，末尾无需加分号。

语句类型

说明

查询语句

查询条件，可以为关键词、数值、数值范围、空格、星号（*）等。

如果为空格或星号（*），表示无过滤条件。

分析语句

对查询结果或全量数据进行计算和统计。日志服务支持的分析函数和语法，请参见：

查询和分析语句示例： 

* | SELECT status, count(*) AS PV GROUP BY status
说明

本文中涉及的查询示例的原始日志请参见 调试 。

查询语句编写思路

image

查询语句的编写流程可分为以下三步：

步骤一：确定查询方式

重要

  • 如需对 Logstore 中的日志进行查询，则必须首先创建索引。如需要对某个字段进行分析（SELECT语句），则必须创建字段索引。创建字段索引和全文索引的步骤，请参见 字段索引 。

  • 不同的索引配置，会产生不同的查询和分析结果，如果同时创建了全文索引和字段索引，以字段索引的配置为准。

根据 索引类型 的不同， 日志服务 Project查询可分为全文查询和字段查询。全文查询和字段查询区别如下：

  • 如果只创建 全文索引 ，则只能使用全文查询。

  • 如果已创建 字段索引 ，则按以下规则查询：

    • double 、 long 类型：只能根据字段查询语法进行查询。

    • text 类型：如您知晓关键词属于某个已创建索引的text类型字段，建议使用字段查询语法。如果不确定关键词的具体字段，请使用全文查询语法。

      • 如果没有创建全文索引，全文查询语法仅在字段索引是text类型的字段中查询。

      • 如果已创建全文索引，全文查询语法会从所有text类型索引中查询。

全文查询

全文查询不针对具体的字段进行查询，其查询语法为： keywords1 [ [ and | or | not ] keywords2 ] ... 。

keywords1 是需要查询的关键词，可以使用 * 、 ？ 进行模糊匹配，也可以结合运算符如 and 、 or 等联合其他查询条件一起查询。

  • 示例1

    如果您希望查询关键词为 GET 相关的日志。则查询语法： GET 。

  • 示例2

    如果您查询关键词为 GET 或 POST 相关的日志。则查询语法： GET or POST 。

字段查询

字段查询对应的字段类型包含 text 、 long 、 double 和 json ，且针对具体的字段进行查询，其查询语法为：

indexname1 [ : | > | >= | < | <= | = | in ] keyword1 [ [ and | or | not ] indexname2 ... ]

重要

  • indexname1 是需要查询的字段名，当字段名、表名等专有名词中存在特殊字符（空格、中文等）、语法关键词（ and 、 or 等）等内容时，则需要使用 "" （双引号）包裹。在查询中使用引号，请参见 如何在查询和分析语句中使用引号 。

  • 字段索引涉及 long 、 double 类型，可以使用比较运算符 > 、 >= 、 < 、 <= 、 = 、 in 。

  • 示例1

    如果您希望查询 request_method 为 GET 相关的日志，则查询语法为： request_method: GET 。

  • 示例2

    如果您希望查询 request_time_msec 大于 50 相关的日志，则查询语法为 request_time_msec>50 （该字段索引类型为 double ）。

  • 示例3

    如果您希望查询 request_method 为 GET 且 request_time_msec 大于 50 相关的日志。则查询语法为： request_method: GET and request_time_msec>50 。

步骤二：确定字段类型

编写查询语句时需要考虑字段类型的特点，合理使用运算符，快速、精准地锁定目标日志。

字段类型

字段类型

说明

可用运算符

text类型

字符串类型的字段。开启全文索引后，日志服务默认将整条日志（除 __time__ 以外所有字段）设置为 text 类型。

and 、 or 、 not 、 () 、 : 、 "" 、 \ 、 * 、 ? 。

long和double类型

只有设置字段的数据类型为 long 或 double 后，才能通过数值范围查询该字段的值。

  • 如果字段的数据类型不被设置为 double 、 long 或者查询时数值范围的语法错误，那么日志服务会按照全文查询方式进行查询，这样查询到的结果可能与您期望的结果不同。

    例如字段 owner_id 不是 double 、 long 类型，则执行查询语句 owner_id>100 时，会返回同时包含 owner_id 、 > （非分词符）、 100 这三个词的日志。

  • 如果将字段的类型从 text 类型改成 double 、 long 类型，则只支持等号 = 查询。如果需要使用范围查询、大于号（>）、小于号（<）等运算符，必须 重建索引 。

and 、 or 、 not 、 () 、 > 、 >= 、 < 、 <= 、 = 、 in 。

JSON类型

针对JSON对象中的字段，您可根据其值，将数据类型设置为 long 、 double 或 text ，并开启统计功能。

根据JSON对象中的字段的类型使用不同的运算符。

运算符

重要

  • in运算符只能小写，其他运算符不区分大小写。

  • 日志服务保留以下运算符的使用权，如果您需要使用以下运算符作为查询关键字，请使用 "" （双引号）包裹： sort 、 asc 、 desc 、 group by 、 avg 、 sum 、 min 、 max 和 limit 。

  • 运算符的优先级由高到低排序如下所示：

    1. 冒号（:）

    2. 双引号（""）

    3. 圆括号（）

    4. and、not

    5. or

运算符

说明

:

用于字段查询（Key:Value），例如 request_method:GET 。

如果字段名称或者字段值内有空格、冒号（:）、连字符（-）等特殊字符，请使用双引号（""）包裹字段名称或者字段值，例如 "file info":apsara 。

and

and 运算符。例如 request_method:GET and status:200 。

如果多个关键词之间没有语法关键词，默认为 and 关系，例如 GET 200 cn-shanghai 等同于 GET and 200 and cn-shanghai 。

or

or 运算符。例如 request_method:GET or status:200 。

not

not 运算符。例如 request_method:GET not status:200 、 not status:200 。

( )

用于提高括号内查询条件的优先级。例如 (request_method:GET or request_method:POST) and status:200 。

""

使用 "" （双引号）包裹一个语法关键词，可以将该语法关键词转换成普通字符。在字段查询中 "" 内的所有词被当成一个整体。

  • 当字段名或字段值中存在特殊字符（空格、中文、 : 、 - 等）、语法关键词（ and 、 or 等）等内容时，需要使用 "" 包裹。例如 "and" 表示查询包含and的日志，此处的and不代表运算符。

  • 日志服务保留以下运算符的使用权，如果您需要使用以下运算符作为查询关键字，请使用 "" 包裹： sort 、 asc 、 desc 、 group by 、 avg 、 sum 、 min 、 max 和 limit 。

  • 通过数据加工或者Logtail插件处理的日志，其tag中的key会被转换成普通key，即查询时需使用 "" 包裹字段名，例如 "__tag__:__client_ip__":192.0.2.1 ，此处的 __tag__:__client_ip__ 为日志服务保留字段，表示日志所在主机的IP地址。更多信息，请参见 保留字段 。

\

转义符号，用于转义 "" （双引号），转义后的双引号表示符号本身。例如日志内容为 instance_id:nginx"01" ，您可以使用 instance_id:nginx\"01\" 进行查询。

*

通配符查询，匹配零个、单个、多个字符。例如 host:www*com 。

说明

日志服务会在所有日志中为您查询到符合条件的100个词，返回包含这100个词并满足查询条件的所有日志。

?

通配符查询，匹配单个字符。例如 host:aliyund?c 。

>

查询某字段值大于某数值的日志。例如 request_time>100 。

>=

查询某字段值大于或等于某数值的日志。例如 request_time>=100 。

<

查询某字段值小于某数值的日志。例如 request_time<100 。

<=

查询某字段值小于或等于某数值的日志。例如 request_time<=100 。

=

查询某字段值等于某数值的日志。针对double、long类型的字段， = 和 : 作用相同。例如 request_time=100 等同于 request_time:100 。

in

查询某字段值处于某数值范围内的日志，中括号表示闭区间，小括号表示开区间，两个数字之间使用空格分隔。例如 request_time in [100 200] 或 request_time in (100 200] 。

重要

in只能为小写字母。

__source__

查询某个日志源的日志，支持通配符。例如 __source__:192.0.2.* 。

重要

日志服务中的 __source__ 为保留字段，可缩写为 source 。如果您自定义的字段中存在 source 字段，则会与日志服务保留字段 source 冲突，此时您需要使用 Source 、 SOURCE 等词查询自定义的字段。

__tag__

通过元数据信息查询日志。例如 __tag__:__receive_time__:1609837139 。

__topic__

查询某日志主题下的日志。例如 __topic__:nginx_access_log 。

步骤三：确定匹配模式

您可根据掌握的关键词信息及实际业务场景的需要灵活控制使用精准查询还是模糊查询。若无法找到想要的日志，可参见文档进行排查： 查询不到日志的排查思路 。

查询方式

说明

示例

精确查询

使用完整的词进行查询。

日志服务查询采用的是分词法，精确查询时并不能完全匹配关键词。例如查询语句为 abc def ，查询结果将包含所有 abc 和 def 的日志，无法完全匹配目标短语。如果您要完全匹配短语 abc def ，可以使用短语查询或者Like语法。更多信息，请参见 短语查询 、 如何精准查询日志 。

  • host:example.com 表示查询 host 字段值包含 example.com 的日志。

  • PUT and cn-shanghai 表示查询同时包含关键字 PUT 和 cn-shanghai 的日志。

  • * | Select * where http_user_agent like '%like Gecko%' 表示查询 http_user_agent 字段值中包含短语 like Gecko 的日志。

  • #"redo_index/1" 表示查询包含短语 redo_index/1 的日志。

模糊查询

在查询语句中指定一个64个字符以内的词，在词的中间或者末尾加上模糊查询关键字，即星号（*）或问号（?），日志服务会在所有日志中为您查询到符合条件的100个词，返回包含这100个词并满足查询条件的所有日志。指定的词越精确，查询结果越精确。

重要

  • 星号（*）或问号（?）不能用在词的开头。

  • long数据类型和double数据类型不支持使用星号（*）或问号（?）进行模糊查询。您可以使用数值范围进行模糊查询，例如status in [200 299]。

模糊查询是一种采样查询，查询机制如下所示：

  • 当您开启字段索引，且指定某个字段进行查询时，日志服务从该字段的索引数据中随机采样，返回部分结果并不是全量扫描底层数据。

  • 当您开启全文索引，且没有指定某个字段进行查询时，日志服务从全文索引数据中随机采样，返回部分结果并不是全量扫描底层数据。

  • request_time>60 and request_method:Ge* 表示查询 request_time 字段值大于 60 且 request_method 字段值以 Ge 开头的日志。

  • addr* 表示在所有日志中查找以 addr 开头的100个词，并返回包含这些词的日志。

  • host:www.yl* 表示在所有日志中查找 host 字段值以 www.yl 开头的100个词，并返回包含这些词的日志。

更多信息，请参见 如何模糊查询日志？ 。

查询语句示例

同一条查询语句，针对不同的日志内容和索引配置时，会有不同的查询结果。本文基于如下日志样例和索引介绍查询语句示例。

日志样例

本文以Nginx访问日志为例，介绍常见的查询语句。

日志样例

索引配置

在查询日志前，请确保已配置索引。更多信息，请参见 创建索引 。检查索引配置的步骤，如下所示：

  1. 在Logstore的 查询/分析 页面，选择 查询分析属性 > 属性 。 image

  2. 在打开的查询分析页面，查看是否已配置字段索引。 索引

普通查询示例

查询需求

查询语句

调试

查询GET请求成功（状态码为200~299）的日志。 

request_method:GET and status in [200 299]

调试

查询来自非杭州地域的GET请求的日志。 

request_method:GET not region:cn-hangzhou

无

查询GET请求或POST请求的日志。 

request_method:GET or request_method:POST

调试

查询非GET请求的日志。 

not request_method:GET

调试

查询GET请求或POST请求成功的日志。 

(request_method:GET or request_method:POST) and status in [200 299]

调试

查询GET请求或POST请求失败的日志。 

(request_method:GET or request_method:POST) not status in [200 299]

调试

查询GET请求成功（状态码为200~299）且请求时间小于60秒的日志。 

request_method:GET and status in [200 299] not request_time>=60

调试

查询请求时间为60秒的日志。 

request_time:60

调试 

request_time=60

调试

查询请求时间大于等于60秒，并且小于200秒的日志。 

request_time>=60 and request_time<200

调试 

request_time in [60 200)

调试

查询 request_time 字段值为空或非法数字的日志。 

request_time:* not request_time > -10000000000
说明

request_time:* 用于判断 request_time 字段是否存在。此处的星号（*）不代表模糊查询。

调试

查询包含 request_time 字段且字段值为数字的日志。 

request_time > -1000000000

调试

查询包含 and 的日志。 

"and"
说明

此处的 and 为普通字符串，不代表运算符。

调试

查询 request method 字段值是 PUT 的日志。 

"request method":PUT
重要

字段名 request method 中存在空格，在查询时需使用双引号（""）包裹。

无

查询日志主题为HTTPS或HTTP的日志。 

__topic__:HTTPS or __topic__:HTTP

无

查询采集于 192.0.2.1 主机的日志。 

__tag__:__client_ip__:192.0.2.1

此处的 __tag__:__client_ip__ 为日志服务保留字段，表示日志所在主机的IP地址。更多信息，请参见 保留字段 。

重要

通过数据加工或者Logtail插件处理的日志，其tag中的key会被转换成普通key，即查询时需使用双引号（""）包裹字段名，例如 "__tag__:__client_ip__":192.0.2.1 。

无

查询包含 192.168.XX.XX 的日志。 

* | select * from log where key like '192.168.%.%'

更多信息，请参见 通过SQL的like语法进行精确的模糊查询 。

无

查询 remote_user 字段值不为空的日志。 

not remote_user:""

调试

查询 remote_user 字段值为空的日志。 

remote_user:""

调试

查询 remote_user 字段值不为 null 的日志。 

not remote_user:"null"

调试

查询不存在 remote_user 字段的日志。 

not remote_user:*

调试

查询存在 remote_user 字段的日志。 

remote_user:*

调试

查询 城市 字段值不为 上海 的日志。 

not 城市:上海
说明

当您要查询中文字符串时，您需要在配置索引时，打开 包含中文 开关。更多信息，请参见 创建索引 。

无

进阶查询示例

  • 模糊查询

    查询需求

    查询语句

    调试

    查询包含以 cn 开头的词的日志。 

    cn*

    调试

    查询 region 字段值是以 cn 开头的日志。 

    region:cn*

    无

    查询 region 字段值包含 cn* 的日志。 

    region:"cn*"
    说明

    此处的 cn* 为一个独立词。例如：

    • 如果日志内容为 region:cn*,en ，分词符为半角逗号（,），则该日志内容被拆分为 region 、 cn* 和 en ，您可以通过上述语句查询到该日志。

    • 如果日志内容为 region:cn*hangzhou ，则 cn*hangzhou 为一个整体，您执行上述语句无法查询到该日志。

    无

    查询包含以mozi开头，以la结尾，中间还有一个字符的词的日志。 

    mozi?la

    调试

    查询包含以mo开头，以la结尾，中间包含零个、单个或多个字符的词的日志。 

    mo*la

    调试

    查询包含以moz开头的词和以sa开头的词的日志。 

    moz* and sa*

    调试

    查询 region 字段值以hai结尾的所有日志。

    目前使用查询语句无法查询到对应的日志，您可以使用SQL分析中的Like语法进行查询。更多信息，请参见 通过SQL的like语法进行精确的模糊查询 。 

    * | select * from log where region like '%hai'

    无

  • 基于分词符的查询

    日志服务会根据分词符，将日志内容拆分成多个词。日志服务默认配置的分词符为 , '";=()[]{}?@&<>/:\n\t\r 。如果设置 分词符 为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。如何设置分词符，请参见 创建索引 。

    例如 http_user_agent 字段值为 Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/192.0.2.0 Safari/537.2 。

    • 设置 分词符 为空时，该字段值将被当成一个整体，则您使用 http_user_agent:Chrome 查询语句进行查询时，无法查询到日志。

    • 设置 分词符 为 , '";=()[]{}?@&<>/:\n\t\r 后，该字段值为拆分为 Mozilla 、 5.0 、 Windows 、 NT 、 6.1 、 AppleWebKit 、 537.2 、 KHTML 、 like 、 Gecko 、 Chrome 、 192.0.2.0 、 Safari 、 537.2 。您可以使用 http_user_agent:Chrome 等查询语句进行查询。

    重要

    当查询关键字中包含分词符时，您可以使用短语查询或者Like语法。例如：

    • 短语查询： #"redo_index/1" 。更多信息，请参见 短语查询 。

    • Like语法： * | select * from log where key like 'redo_index/1' 。

    查询需求

    查询语句

    调试

    查询 http_user_agent 字段值中包含 Chrome 的日志。 

    http_user_agent:Chrome

    调试

    查询 http_user_agent 字段值中包含 Linux 和 Chrome 的日志。 

    http_user_agent:Linux and http_user_agent:Chrome

    调试 

    http_user_agent:"Linux Chrome"

    调试

    查询 http_user_agent 字段值中包含 Firefox 或 Chrome 的日志。 

    http_user_agent:Firefox or http_user_agent:Chrome

    调试

    查询 request_uri 字段值包含 /request/path-2 的日志。 

    request_uri:/request/path-2

    调试

    查询 request_uri 字段值以 /request 开头，但不包含 /file-0 的日志。 

    request_uri:/request* not request_uri:/file-0

    调试

    完全匹配包含短语 redo_index/1 的日志。

    • #"redo_index/1"

    • * | select * from log where key like 'redo_index/1'

    说明

    通过短语查询或者Like语法，可完全匹配目标短语。使用普通的精确查询，将匹配 redo_index 、 1 等词。

    无

特殊场景查询示例

  • 在查询语句中

    使用 "" （双引号）包裹一个语法关键词，可以将该语法关键词转换成普通字符。在字段查询中 "" 内的所有词被当成一个整体。

    • 当字段名或字段值中存在特殊字符（空格、中文、 : 、 - 等）、语法关键词（ and 、 or 等）等内容时，需要使用 "" 包裹。例如 "and" 表示查询包含and的日志，此处的and不代表运算符。

    • 日志服务保留以下运算符的使用权，如果您需要使用以下运算符作为查询关键字，请使用 "" 包裹： sort 、 asc 、 desc 、 group by 、 avg 、 sum 、 min 、 max 和 limit 。

    • 通过数据加工或者Logtail插件处理的日志，其tag中的key会被转换成普通key，即查询时需使用 "" 包裹字段名，例如 "__tag__:__client_ip__":192.0.2.1 ，此处的 __tag__:__client_ip__ 为日志服务保留字段，表示日志所在主机的IP地址。更多信息，请参见 保留字段 。

    查询需求

    查询语句

    查询 request method 字段值中包含 PUT 的日志。字段名 request method 中存在空格。 

    "request method":PUT

    查询采集于 192.0.2.1 主机的日志。 

    "__tag__:__client_ip__":192.0.2.1

  • 在分析语句中

    • 当字段名、表名等专有名词中存在特殊字符（空格、中文、 : 、 - 等）、语法关键词（ and 、 or 等）等内容时，需要使用 "" 包裹。

    • 表示字符串的字符必须使用 '' （单引号）包裹。无符号包裹或被 "" （双引号）包裹的字符表示字段名或列名。例如： 'status' 表示字符串status， status 或 "status" 表示日志字段status。

    查询需求

    查询语句

    查询包含 192.168.XX.XX 的日志。 

    * | select * from log where key like '192.168.%.%'

    在查询中使用引号， 如何在查询和分析语句中使用引号？

相关文档

上一篇: 开启SQL独享版 下一篇: 短语查询 移动端监控数据报表 添加过滤器筛选仪表盘中的统计图表 写入处理器概述 SPL与SQL的使用场景对照 云安全中心 云产品日志概述 SPL概述
 
推荐文章
谈吐大方的木瓜  ·  加缪《局外人》“番外篇” 话剧《误会》将于明年1月首演_文艺范_澎湃新闻-The Paper
7 月前
茫然的煎饼  ·  SDK manager ooops, failed to get configuration file from the server - Jetson Xavier NX - NVIDIA Deve
9 月前
单身的皮带  ·  震后文物是否受损？西安两所博物馆（院）开展安全检查工作 - 西部网（陕西新闻网）
10 月前
安静的茄子  ·  王 者 同 人 资 源_哔哩哔哩_bilibili
11 月前
强悍的领结  ·  Search
1 年前
Link管理   ·   51好读   ·   Sov5搜索   ·   小百科
link管理 - 链接快照平台