连接数管理 - 实时数仓Hologres

连接和Query管理概述

Hologres兼容PostgreSQL，可以通过查询pg_stat_activity视图信息来查看实例连接信息，以达到分析实例连接状态和诊断运行SQL的目的。具体涉及的操作内容如下所示：

查询实例的默认最大连接数：不同的实例规格对应不同的默认连接数，通过命令查询当前实例规格的最大连接数。
HoloWeb可视化管理连接：通过HoloWeb可视化查看活跃连接，并进行管理如Kill等操作。
通过SQL查询连接信息：通过查询实例、DB的连接数、每个连接状态以及终止空闲连接，更好的管理实例。
释放连接：通过SQL函数，释放指定连接资源。
管理员预留连接：用于在连接数达到最大时对连接进行管理操作。
单个用户连接数限制：为单个用户设置连接数上限，以防止某个用户占用过多连接造成资源浪费。
自动释放空闲连接（Beta）：开启自动释放空闲连接功能自动释放长期不使用连接。
连接数使用最佳实践：使用Hologres连接数的最佳实践建议。

查询pg_stat_activity视图信息

pg_stat_activity是一个非常有用的视图，可以分析排查当前运行的SQL任务以及一些异常问题。您可以执行如下命令查看实例连接和Query的运行信息。

select * from pg_stat_activity ;

pg_stat_activity视图的参数说明如下所示。

字段	描述
datid	Hologres后端连接到的数据库的OID。
datname	Hologres后端连接到的数据库的名称。
pid	Hologres后端的进程ID。
usesysid	登录到Hologres后端的用户OID。
usename	当前连接的用户名。
application_name	客户端的应用类型。其中常见的应用类型如下：阿里云Flink（VVR版）： `{client_version}_ververica-connector-hologres` 。开源Flink： `{client_version}_hologres-connector-flink` 。 DataWorks数据集成离线同步读取Hologres： `datax_{jobId}` 。 DataWorks数据集成离线同步写入Hologres： `{client_version}_datax_{jobId}` 。 DataWorks数据集成实时同步： `{client_version}_streamx_{jobId}` 。 HoloWeb： `holoweb` 。其余应用建议业务上在连接Hologres时连接串上显式指定 `application_name` 。
client_addr	客户端的IP地址。显示的IP地址可能是被解析过的，不保证一定是源端IP。
client_hostname	客户端的主机名。
client_port	客户端的端口。
backend_start	后台进程开始的时间。
xact_start	该进程的当前事务被启动的时间。如果没有活动事务，则为空。如果当前查询是该进程的第一个事务，这一列等于 query_start 。
query_start	当前活动查询开始的时间，如果当前连接状态不是active，取值为上一个查询开始的时间。
state_change	连接的状态（state）上一次被改变的时间。
wait_event_type	后端正在等待的事件类型，如果不存在则为NULL。可能的取值有： LWLock：后端正在等待一个轻量级锁。 Lock：后端正在等待一个重量级锁。 `wait_event` 将标识等待的锁的类型。 BufferPin：服务器进程正在等待访问一个数据缓冲区，而此时没有其他进程正在检查该缓冲区。 Activity：服务器进程处于闲置状态。被用于在其主处理循环中等待活动的系统进程。 Extension：服务器进程正在一个扩展模块中等待活动。 Client：服务器进程正在等待来自用户应用的某种查询，并且该服务器预期某种与其内部处理无关的事情发生。 PC：服务器进程正在等待来自服务器中另一个进程的某种活动。 Timeout：服务器进程正在等待一次超时发生。 IO：服务器进程正在等待一次IO完成。
wait_event	如果后端当前正在等待，则是等待事件的名称，否则为 NULL。
state	表示连接的状态。常见的状态如下： active：活跃。 idle：空闲。 idle in transaction：长事务中的空闲状态。 idle in transaction（Aborted）：已失败事务中的空闲状态。 \N: 状态为空，表示非用户连接的进程，一般属于系统后台的维护进程，可以忽略。
backend_xid	Hologres后端的顶层事务标识符。
backend_xmin	当前后端的xmin范围。
query	后端最近执行的查询。如果 state 为 `active` ，将会显示当前正在执行的查询。在所有其他状态下，显示上一个被执行的查询。
backend_type	当前后端的类型。可能的类型为autovacuum launcher、autovacuum worker、logical replication launcher、logical replication worker、parallel worker、background writer、client backend、checkpointer、startup、walreceiver、walsender以及 walwriter。除此之外还包括后端的执行组件，例如PQE等。

使用说明

仅超级管理员（Superuser）可以看到所有连接信息，普通用户只能看到自己的连接信息。
SQL查询结果中， holo_admin 账号为系统账号，用于后台进程管理，会定期释放，无需特别关注。

查询实例的默认最大连接数

不同的实例规格对应不同的默认连接数，您可以通过以下命令查询当前实例规格的最大连接数。命令执行完成后显示结果为单个FrontEnd节点的连接数，总连接数需要乘实例的FrontEnd节点数，不同实例的Frontend节点数请参见实例规格概述。

查询当前实例的最大连接数，Hologres V1.3.23及以上版本支持。
```
select instance_max_connections();
```
查询单个FrontEnd（FE）节点的最大连接数。实例总连接数即为FE数量乘以单个节点的最大连接数。
```
show max_connections;
```

HoloWeb可视化管理连接

您可以通过HoloWeb可视化查看活跃连接并进行管理。

登录HoloWeb控制台，详情请参见连接HoloWeb 。
单击顶部导航栏的 诊断与优化 。
在左侧导航栏单击 活跃连接管理 。

进入 活跃连接管理 页面，配置好参数，可查看实例的连接以及相关信息。

参数	说明
实例名	Hologres实例名称。
数据库	Hologres数据库名称，可选择指定数据库，不选择则默认展示全部数据库。
Database	连接的数据库名称。
User Name	连接的用户账号。
Client Address	客户端IP地址，但不一定是真实的IP，可能是经过路由转发的出口IP。
Application Name	连接的应用名称。
State	连接的状态，常见的状态如下。 active：活跃。 idle：空闲。 idle in transaction：长事务中的空闲状态。 idle in transaction（Aborted）：已失败事务中的空闲状态。
Query Start	Query开始时间。
Query	执行的Query。
PID	Query的pid。
操作	Kill：不符合预期的连接可直接Kill或者批量删除。详情：单击可以看到详细的连接信息。

SELECT  datname::TEXT
        ,COUNT(1) AS COUNT
FROM    pg_stat_activity
WHERE   backend_type = 'client backend'
AND     application_name != 'hologres'
AND     usename != 'holo_admin'
GROUP BY datname::TEXT;

SELECT  datname
        ,COUNT(1) AS COUNT
FROM    pg_stat_activity
WHERE   backend_type = 'client backend'
AND     application_name != 'hologres'
AND     usename != 'holo_admin'
GROUP BY datname;

```
select * from pg_stat_activity where backend_type = 'client backend' and state = '<statename>';
```
```
select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';
```
```
select * from hologres.hg_connections;
```

select * from pg_stat_activity where backend_type = 'client backend' and state = 'idle';

select pg_cancel_backend(<pid>);     -- cancel该连接上的query
select pg_terminate_backend(<pid>);  --杀掉对应的后台连接进程
--批量终止后台IDLE连接进程，释放连接
SELECT pg_terminate_backend(pid)
        ,query
        ,datname
        ,usename
        ,application_name
        ,client_addr
        ,client_port
        ,backend_start
        ,state
FROM    pg_stat_activity
WHERE   length(query) > 0
AND     pid != pg_backend_pid()
AND     backend_type = 'client backend'
AND     state = 'idle'
AND     application_name != 'hologres'
AND     usename != 'holo_admin'
AND     query not like '%pg_cancel_backend%';

ALTER ROLE "云账号ID" CONNECTION LIMIT <number>;

参数	说明
云账号ID	需要限制的账号ID，如果为RAM用户，需要在账号UID前加p4_。更多关于账号的说明，请参见账号概述。
number	限制的连接数个数。

```
ALTER ROLE "p4_283813xxxx" CONNECTION LIMIT 1; 
```

SELECT rolname, rolconnlimit
FROM pg_roles
WHERE rolconnlimit <> -1;

       rolname | rolconnlimit 
---------------+--------------
 p4_283813xxxx |      1
(1 row)

-- 连接在10分钟没有执行sql的情况，会自动断开，单位为毫秒。
SET idle_session_timeout = 600000;

-- 连接在10分钟没有执行sql的情况，会自动断开，单位为毫秒。
ALTER DATABASE  <db_name> SET idle_session_timeout = 600000;

连接和Query管理概述

查询pg_stat_activity视图信息

使用说明

查询实例的默认最大连接数

HoloWeb可视化管理连接

通过SQL查询连接信息

释放连接

管理员预留连接

单个用户连接数限制

自动释放空闲连接（Beta）

连接数使用最佳实践

常见报错