[PostgreSQL] Visibility Map을 이용한 Index Only Scan 동작 방식 분석

OLTP 시스템 튜닝에 있어서 가장 중요하고도 어려운 숙제는 싱글 블록 IO (인덱스를 이용한 테이블 액세스시 발생하는 디스크 Random IO)를 얼마만큼 최소화 할 수 있는지 입니다.

일반적인 디스크 환경에서 싱글 블록 IO의 성능은 대략 초당 100블록 정도입니다. 따라서, 만일 1,000건의 레코드에 대한 테이블 액세스 시에 모두 디스크 IO가 발생한다면 해당 쿼리의 성능은 10초 정도가 소요됩니다. 이는 온라인 시스템에 있어서는 참을 수 없을 만큼 답답한 속도입니다.

따라서, 이런 문제를 해결하기 위한 다양한 방법이 존재합니다. KEEP 버퍼를 이용해서 테이블, 인덱스 블록들을 메모리에 상주시킴으로써 디스크 IO를 최대한 제거하거나, 인덱스 클러스터링 팩터를 향상시키기 위해 테이블을 인덱스 칼럼 순으로 재 생성하거나, IOT, 클러스터 인덱스 등의 시도 또한 싱글 블록 IO를 효과적으로 처리하기 위한 튜닝 방법의 일환이라고 할 수 있습니다.

그리고 쿼리의 조건절 및 SELECT 절에 사용되는 칼럼의 수가 상대적으로 적다면, 해당 칼럼들을 이용한 결합 인덱스로 생성함으로써 테이블 액세스를 제거하는 방법 또한 존재합니다. 이러한 용도의 인덱스를 Covered Index(또는 Covering Index)라고 하며 해당 인덱스를 이용한 액세스 방법을 Index Only Scan이라고 합니다.

Note
싱글 블록 IO 지연으로 발생하는 성능 이슈들은 SSD를 도입하면 자연스럽게 해결됩니다. 최근에 발표된 EMC DSSD D5의 스펙을 보면 10M IOPS, 최대 100 microsecond latency, 144 TB 용량을 지원합니다. 기존의 HDD의 랜덤 IO latency가 0.01초(대략 초당 100블록)인 것과 비교해보면 EMC D5의 랜덤 IO latency는 0.0001초 (대략 초당 10,000블록)이므로 수치상으로만 보면 100배가 빨라집니다. 아직까지는 가격이라는 진입장벽이 존재합니다만, ROI와 TCO등을 고려했을 때는 SSD 도입이 나쁘지 않은 선택일 수 있습니다. 이런 것을 보면 튜닝 방식도 유행과 같이 돌고 도는 것 같습니다. 초기의 리소스 증설에 의한 튜닝에서 애플리케이션/쿼리 튜닝으로 변모했다가, 데이터 량의 증가와 사용자 요구 수준의 향상으로 인해 다시금 리소스 증설 또는 어플라이언스의 도입 등을 통한 튜닝으로 변화하는 추세인 것 같습니다. 이런 맥락에서 보면 쿼리 튜닝만을 무기로 갖고 있는 튜너들의 입지는 점차로 좁아질 수 밖에 없습니다. 이를 극복하기 위해서는 다양한 DBMS를 다룰 수 있는 능력과 전체적인 아키텍처와 동작원리의 이해를 통한 거시적인 관점의 튜닝을 할 수 있는 능력을 배양해야만 할 것 같습니다. (사설이 너무 길어졌습니다.:))

 

1. Index Only Scan의 특이점


PostgreSQL의 경우, Covered Index를 생성하더라도 항상 Index Only Scan을 수행하는 것은 아닙니다. (일반적인 제약사항은 논외로 하고, 조건절 및 SELECT절 칼럼이 모두 인덱스에 포함된 경우라 할지라도) 그 이유는 인덱스 리프 블록내에 저장된 레코드들은 MVCC를 위한 정보가 존재하지 않기 때문입니다. 즉, 인덱스 리프 블록에 저장된 레코드들에 대한 조회 가능 여부는 테이블 액세스 후에 해당 레코드의 XMIN/XMAX 정보를 확인해야만 합니다. 하지만 이렇다면 애써 생성한 Covered Index를 활용할 수도 없을 뿐 아니라 성능 이슈를 해결하기도 힘듭니다. 이러한 구조적인 한계점을 보완하기 위해 PostgreSQL은 Visibility Map이라는 아키텍처를 제공합니다.

 

2. Visibility Map 이란?


Visibility Map은 테이블 page당 두개의 Bit를 가지고 있습니다.

  • 1번째 Bit는 해당 Page가 모든 트랜잭션에 ‘Visible’ 한지의 판단하는 용도입니다. 1로 설정되었다면, 해당 Page 내의 모든 레코드는 모든 트랜잭션에서 볼 수 있는 상태입니다. 0이라면 해당 페이지 내에는 변경된 레코드가 존재한다는 의미입니다. 이는 오라클의 Dirty 블록이라고 이해하시면 됩니다.
  • 2번째 Bit는 9.6부터 추가된 Bit로써 모든 레코드가 ‘Frozen’ 상태인지를 판단하는 용도입니다. 1로 설정되었다면, 해당 Page 내의 모든 레코드는 Frozen 상태이므로 Anti-Wraparound를 위한 베큠 대상에서 제외됩니다. 이는 배큠 성능 향상을 위해 9.6에서 도입된 기능입니다.

그렇다면 PostgreSQL은 어떻게 Visibility Map을 이용해서 Index Only Scan을 처리할까요?

 

3. Visibility Map을 이용한 Index Only Scan 동작 방식


테이블의 어떠한 블록에도 변경사항이 없다면, MVCC 체크를 위해 테이블 레코드를 액세스할 필요가 없습니다. 이러한 경우에는 인덱스만을 이용한 Index Only Scan으로 동작합니다. 즉, Visibility Map내의 1번째 Bit를 체크한 후, 모두 1 (True) 이라면 Index Only Scan을 수행하고 그렇지 않다면 테이블 액세스가 필요하다는 의미입니다.

 

4. pg_visiblity extension 및 explain을 이용한 테스트 수행


pg_visibility extension은 visibility map의 내용을 확인할 수 있는 기능을 제공합니다. 그리고 explain의 BUFFERS 옵션을 이용하면 쿼리 수행 시에 사용된 IO 블록 수를 확인할 수 있습니다. 이를 이용해서 다음과 같은 테스트를 수행합니다.

4-1. pg_visibility 익스텐션 설치 및 테이블/인덱스 생성

-- 익스텐션 설치
create extension pg_visibility; 

-- 테이블 생성 및 데이터 입력
create table s1 (c1 integer, c2 integer, c3 integer, dummy char(10));
insert into s1 select generate_series(1,1000000), generate_series(1,1000000), generate_series(1,1000000), 'dummy';

-- c1,c2,c3 칼럼을 구성된 인덱스 생성
create index s1_idx01 on s1 (c1, c2, c3);

4.2 Visibility Map 확인

-- 현재 S1 테이블은 Vacuum 수행 전이므로 all_visible=true인 블록이 0개임
-- 즉, Index Only Scan을 수행할 수 없는 상태임
select * from pg_visibility_map_summary('s1');
 all_visible | all_frozen
-------------+------------
           0 |          0

4.3 테스트를 위해 seq_scan=off 설정

set enable_seqscan=off;

4.4 테스트 쿼리 수행

-- 현재 모든 블록의 all_visible=false이므로
-- 조건절 및 SELECT 절 칼럼이 모두 인덱스에 포함되어 있지만 Index Only Scan으로 처리되지 않음
explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 1 and 10000
and c1 <> 0;
                                                        QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
 Bitmap Heap Scan on s1  (cost=131.67..6494.54 rows=4975 width=12) (actual time=0.678..2.445 rows=10000 loops=1)
   Recheck Cond: ((c1 >= 1) AND (c1 <= 10000))    Heap Blocks: exact=64    Buffers: shared hit=105    ->  Bitmap Index Scan on s1_idx01  (cost=0.00..130.43 rows=5000 width=0) (actual time=0.663..0.663 rows=10000 loops=1)
         Index Cond: ((c1 >= 1) AND (c1 <= 10000))
         Buffers: shared hit=41
 Planning time: 0.137 ms
 Execution time: 3.457 ms

4.5 베큠 수행 후 Visibility Map 확인

-- 베큠 수행
vacuum s1;

-- 배큠 수행 후 all_visible=true인 블록이 6,370개로 변경됨
-- 즉, 모든 블록이 all_visible=true로 변경됨
select * from pg_visibility_map_summary('s1');
 all_visible | all_frozen
-------------+------------
        6370 |       6370

4.6 쿼리 수행

-- Index Only Scan으로 수행됨
explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 1 and 10000
and c1 <> 0;
                                                         QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------
 Index Only Scan using s1_idx01 on s1  (cost=0.42..398.04 rows=10383 width=12) (actual time=0.011..1.662 rows=10000 loops=1)
   Index Cond: ((c1 >= 1) AND (c1 <= 10000))
   Heap Fetches: 0
   Buffers: shared hit=42
 Planning time: 0.098 ms
 Execution time: 2.543 ms

4.7 S1 테이블 업데이트 수행 후 Visibility Map 확인

-- S1 테이블 변경
update s1 set c2=0 where c1 between 1 and 6000; 

-- 현재 Visibility Map 확인
-- 확인 결과, 0~38번 블록까지는 all_visible=false이고 그 이후는 true임 

 select * from pg_visibility('s1');

 blkno | all_visible | all_frozen | pd_all_visible
-------+-------------+------------+----------------
     0 | f           | f          | f
     1 | f           | f          | f
     2 | f           | f          | f
...
    38 | f           | f          | f   ---------------> 38번 블록까지 f
    39 | t           | t          | t    --------------> 39번 블록부터 t
    40 | t           | t          | t
    41 | t           | t          | t

4.8 쿼리 수행

-- 현재 상태에서 기존 쿼리를 수행하면 다시 테이블을 액세스함
explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 1 and 10000
and c1 <> 0;
                                                        QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
 Bitmap Heap Scan on s1  (cost=245.02..7134.34 rows=9424 width=12) (actual time=1.352..3.422 rows=10000 loops=1)
   Recheck Cond: ((c1 >= 1) AND (c1 <= 10000))    Heap Blocks: exact=103    Buffers: shared hit=190    ->  Bitmap Index Scan on s1_idx01  (cost=0.00..242.67 rows=9424 width=0) (actual time=1.231..1.231 rows=16000 loops=1)
         Index Cond: ((c1 >= 1) AND (c1 <= 10000))
         Buffers: shared hit=87
 Planning time: 0.110 ms
 Execution time: 4.329 ms

-- all_visible=true인 블록들을 조회할 때도 테이블 액세스가 발생함
-- 이를 통해, 쿼리 실행계획은 블록 레벨이 아닌 전체 레벨에서 관리됨을 확인
explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 20001 and 30000
and c1 <> 0;
                                                        QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
 Bitmap Heap Scan on s1  (cost=244.44..7135.40 rows=9367 width=12) (actual time=0.609..2.533 rows=10000 loops=1)
   Recheck Cond: ((c1 >= 20001) AND (c1 <= 30000))    Heap Blocks: exact=65    Buffers: shared hit=106    ->  Bitmap Index Scan on s1_idx01  (cost=0.00..242.10 rows=9367 width=0) (actual time=0.594..0.594 rows=10000 loops=1)
         Index Cond: ((c1 >= 20001) AND (c1 <= 30000))
         Buffers: shared hit=41
 Planning time: 0.078 ms
 Execution time: 3.466 ms

4.9 베큠 수행 후 Visibility Map 확인

-- 다시 베큠 수행
vacuum s1;

-- 다시 모든 블록의 all_visible=true로 변경된 것을 확인
 select * from pg_visibility('s1');

 blkno | all_visible | all_frozen | pd_all_visible
-------+-------------+------------+----------------
     0 | t           | t          | t
     1 | t           | t          | t
     2 | t           | t          | t
     3 | t           | t          | t
     4 | t           | t          | t
     5 | t           | t          | t

4.10 쿼리 수행

-- Index Only Scan으로 수행됨
-- 하지만, UPDATE로 인한 인덱스 블록 증가로 인해 IO 블록 수가 증가함
-- 기존 42->88블록으로 증가 

explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 1 and 10000
and c1 <> 0;
                                                         QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------
 Index Only Scan using s1_idx01 on s1  (cost=0.42..359.21 rows=9368 width=12) (actual time=0.013..1.674 rows=10000 loops=1)
   Index Cond: ((c1 >= 1) AND (c1 <= 10000))
   Heap Fetches: 0
   Buffers: shared hit=88
 Planning time: 0.132 ms
 Execution time: 2.566 ms

-- UPDATE와 관련없는 블록들에 대해서는 기존과 같이 42블록만을 Index Only Scan으로 수행됨
explain (BUFFERS TRUE, analyze)
select c1, c2, c3 from s1
where c1 between 20001 and 30000
and c1 <> 0;
                                                         QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------
 Index Only Scan using s1_idx01 on s1  (cost=0.42..357.92 rows=9311 width=12) (actual time=0.016..1.561 rows=10000 loops=1)
   Index Cond: ((c1 >= 20001) AND (c1 <= 30000))
   Heap Fetches: 0
   Buffers: shared hit=42
 Planning time: 0.077 ms
 Execution time: 2.640 ms

 

5. 테스트 요약


상기 테스트를 요약하면 다음과 같습니다. (세부 내용은 표-1 참조)

  1. Index Only Scan은 Visibility Map을 참고해서 수행된다.
  2. Index Only Scan은 테이블 내의 변경된 블록 1개라도 있으면 동작하지 않는다.
  3. 만일, 테이블 내의 변경된 블록이 있은 경우에는 Vacuum을 수행해야만 한다.
  4. 단, Vacuum 수행 시에 이전에 수행되고 있던 트랜잭션이 없어야 한다. (만일, 있다면 Visibility Map은 true로 변경되지 않는다)

이와 더불어, 인덱스 칼럼에 변경작업이 수행된 경우에는 PostgreSQL의 구조적인 특징으로 인해 IO 블록 수가 증가하게 됩니다. (표-1에서 42->88블록으로 증가한 부분 참조) 이 부분에 대해서는 별도 포스팅하도록 하겠습니다.

표-1. Index Only Scan 테스트 요약표

pg1

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s