添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
Elasticsearch 使用 Log4j 2 进行日志记录。 Log4j 2 可以使用 log4j2.properties 文件进行配置。 Elasticsearch公开了三个属性, ${sys:es.logs.base_path} ${sys:es.logs.cluster_name} 以及 ${sys:es.logs.node_name} ,可以在配置文件中引用这些属性来确定日志文件的位置。 属性 ${sys:es.logs.base_path} 将解析为日志目录, ${sys:es.logs.cluster_name} 将解析为集群名称(在默认配置中用作日志文件名的前缀),而 ${sys:es.logs.node_name} 将解析为节点名称(如果明确设置了节点名称)。 比如,如果日志目录( path.logs )是 /var/log/elasticsearch ,集群名称是 production ,那么 ${sys:es.logs.base_path} 就会解析为 /var/log/elasticsearch ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log 将解析为 /var/log/elasticsearch/production.log
######## Server JSON ############################
appender.rolling.type = RollingFile 
appender.rolling.name = rolling
appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.json 
appender.rolling.layout.type = ESJsonLayout 
appender.rolling.layout.type_name = server 
appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.json.gz 
appender.rolling.policies.type = Policies
appender.rolling.policies.time.type = TimeBasedTriggeringPolicy 
appender.rolling.policies.time.interval = 1 
appender.rolling.policies.time.modulate = true 
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy 
appender.rolling.policies.size.size = 256MB 
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.fileIndex = nomax
appender.rolling.strategy.action.type = Delete 
appender.rolling.strategy.action.basepath = ${sys:es.logs.base_path}
appender.rolling.strategy.action.condition.type = IfFileName 
appender.rolling.strategy.action.condition.glob = ${sys:es.logs.cluster_name}-* 
appender.rolling.strategy.action.condition.nested_condition.type = IfAccumulatedFileSize 
appender.rolling.strategy.action.condition.nested_condition.exceeds = 2GB 
################################################
######## Server -  old style pattern ###########
appender.rolling_old.type = RollingFile
appender.rolling_old.name = rolling_old
appender.rolling_old.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.log 
appender.rolling_old.layout.type = PatternLayout
appender.rolling_old.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n
appender.rolling_old.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.old_log.gz

Log4j 的配置解析会被任何无关的 空白(whitespace) 混淆;如果你在这个页面上复制和粘贴任何 Log4j 设置,或者输入任何 Log4j 配置,一定要移除(trim)任何前后空白。

注意,你可以在 appender.rolling.filePattern 中使用 .zip 取代 .gz ,以使用 zip 格式压缩滚动的日志。如果你把 .gz 扩展名移除,则日志在滚动时不会被压缩。

如果要将日志文件保留指定的一段时间,可以使用带有删除操作的滚动策略。

appender.rolling.strategy.type = DefaultRolloverStrategy 
appender.rolling.strategy.action.type = Delete 
appender.rolling.strategy.action.basepath = ${sys:es.logs.base_path} 
appender.rolling.strategy.action.condition.type = IfFileName 
appender.rolling.strategy.action.condition.glob = ${sys:es.logs.cluster_name}-* 
appender.rolling.strategy.action.condition.nested_condition.type = IfLastModified 
appender.rolling.strategy.action.condition.nested_condition.age = 7D 
只要将多个配置文件命名为 log4j2.properties ,就可以加载多个配置文件(在这种情况下它们将被合并),并将 Elasticsearch 配置目录作为根目录;这对公开附加日志的插件很有用。 日志(logger) 部分包含 java 包及相对应的日志级别。 附加器(appender) 部分包含日志的目的地。 关于如何定制日志记录和所有支持的附加器的详细信息可以在 Log4j 文档 中找到。 配置日志级别 (configuring logging levels)

有四种配置日志级别的方法,每种方法都有与之相对应的使用场景。

通过命令行: -E <name of logging hierarchy>=<level> (比如, -E logger.org.elasticsearch.discovery=debug ). 当你临时调试单个节点上的问题(例如,启动或开发过程中的问题)时,这是最合适的。 通过 elasticsearch.yml : <name of logging hierarchy>: <level> (比如, logger.org.elasticsearch.discovery: debug ). 当你临时调试一个问题,但没有通过命令行(例如,通过服务)启动 Elasticsearch 时,或者你希望在更持久的基础上调整日志级别时,这是最合适的。

通过 集群设置 :

PUT /_cluster/settings
  "transient": {
    "<name of logging hierarchy>": "<level>"
PUT /_cluster/settings
  "transient": {
    "logger.org.elasticsearch.discovery": "DEBUG"

当你需要动态地调整正在运行的集群上的日志级别时,这是最合适的。

通过 log4j2.properties:

logger.<unique_identifier>.name = <name of logging hierarchy>
logger.<unique_identifier>.level = <level>
logger.discovery.name = org.elasticsearch.discovery
logger.discovery.level = debug

当你需要对日志进行细粒度控制时,这是最合适的(例如,你想要将日志发送到另一个文件,或者以不同的方式管理日志;这是一个罕见的用例)。

除了常规日志之外,Elasticsearch 还允许你开启记录 弃用的操作(deprecated action) 的日志。 例如,这允许你尽早确定将来是否需要迁移某些功能。 默认情况下,在 WARN 级别启用弃用日志记录,在该级别会发出所有弃用日志消息。
logger.deprecation.level = warn

这将在日志目录中创建一个每日滚动的弃用日志文件。请定期检查该文件,尤其是当你打算升级到新的主要版本时。

默认的日志记录配置已将弃用日志的滚动策略设置为在 1 GB 后滚动和压缩,并最多保留五个日志文件(四个滚动日志和一个活动的日志)。

你可以在config/log4j2.properties 文件中禁用它,方法是将弃用日志级别设置为error,如下所示:

logger.deprecation.name = org.elasticsearch.deprecation
logger.deprecation.level = error

如果X-Opaque-Id被用作 HTTP 头,你可以确定是什么触发了弃用的功能。用户 ID 包含在弃用 JSON 日志的X-Opaque-ID字段中。

"type": "deprecation", "timestamp": "2019-08-30T12:07:07,126+02:00", "level": "WARN", "component": "o.e.d.r.a.a.i.RestCreateIndexAction", "cluster.name": "distribution_run", "node.name": "node-0", "message": "[types removal] Using include_type_name in create index requests is deprecated. The parameter will be removed in the next major version.", "x-opaque-id": "MY_USER_ID", "cluster.uuid": "Aq-c-PAeQiK3tfBYtig9Bw", "node.id": "D7fUYfnfTLa2D7y-xw6tZg" JSON 日志格式 为了更容易解析 Elasticsearch 日志,日志现在已经以 JSON 格式打印。 这是由 Log4J 布局属性appender.rolling.layout.type = ESJsonLayout配置的。 此布局要求设置type_name属性,该属性用于在解析时区分日志流。

appender.rolling.layout.type = ESJsonLayout
appender.rolling.layout.type_name = server
每行包含一个 JSON 文档,其属性在 ESJsonLayout 中配置。 有关更多详细信息,请参见此类
javadoc。 然而,如果一个 JSON 文档包含一个异常,它将被打印成多行。 第一行将包含常规属性,随后的行将包含格式化为 JSON 数组的栈跟踪信息。
appender.rolling.type = RollingFile
appender.rolling.name = rolling
appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.log
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %.-10000m%n
appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.log.gz