環境

• Windows11(22H2)
• Windws Server 2022 Standard(21H2)

いずれもDebian11で動かしているVirtual Box上の仮想マシンです。

新バージョンのPostgreSQLインストール

今回私は14.7を選択しました（15はスキーマの取り扱いが変わるのでまたの機会に）。いずれのプラットフォームでもこちらから入手できます。

ダウンロード

ダウンロードリンク PostgreSQLのWindows インストーラ、Linux ディストリビューション・パッケージ、ソースアーカイブ等のサイトへのリンク集です。

www.postgresql.jp

この後の作業で新旧両方のDBを並行稼働させますから、新DBのポート番号は旧DBと異なるポート番号を指定しましょう。

pg_hba.conの編集

移行元・移行先ともpg_hba.confのMETHODを全てtrustに変更します。変更前にオリジナルのバックアップを忘れないようにしましょう。あと、サービスの再起動もお忘れなく。

作業用ディレクトリ作成

旧DBの内容を取り出し保存する先を作成します。今回私はCドライブ直下にworkというフォルダを作りEveryoneフルコントロールとしました。

pg_upgrade実行

ここまでの準備だけで引っ越し作業をまるっと行ってくれるpg_upgrade.exeという非常に便利なツールがあります。

あとはこれを実行するだけです。

pg_upgrade

www.postgresql.jp

公式ドキュメントでは上記のように記述されていますが、コマンドプロンプトを管理者として実行し、下記要領でユーザー名を指定して実行すればうまくいきました。

pg_upgrade -U postgres -d 旧データベースクラスタのパス -D 新データベースクラスタのパス -b 旧データベースbinディレクトリのパス -B 新データベースbinディレクトリのパス

その際、先ほど作成した作業用ディレクトリへ移動してから実行します。私の環境ではこんな感じです。

cd C:\work
"C:\Program Files\PostgreSQL\14\bin\pg_upgrade.exe" -U postgres -d "C:\Program Files\PostgreSQL\9.6\data" -D "C:\Program Files\PostgreSQL\14\data" -b "C:\Program Files\PostgreSQL\9.6\bin" -B "C:\Program Files\PostgreSQL\14\bin"

ターンッ（Enterキー）

整合性チェックを実行しています。
-----------------------------
Checking cluster versions                                   ok
Checking database user is the install user                  ok
Checking database connection settings                       ok
Checking for prepared transactions                          ok
Checking for system-defined composite types in user tables  ok
Checking for reg* data types in user tables                 ok
Checking for contrib/isn with bigint-passing mismatch       ok
Checking for user-defined encoding conversions              ok
Checking for user-defined postfix operators                 ok
Checking for incompatible polymorphic functions             ok
Checking for tables WITH OIDS                               ok
Checking for invalid "sql_identifier" user columns          ok
Checking for invalid "unknown" user columns                 ok
Creating dump of global objects                             ok
Creating dump of database schemas
                                                            ok
Checking for presence of required libraries                 ok
Checking database user is the install user                  ok
Checking for prepared transactions                          ok
Checking for new cluster tablespace directories             ok

この後pg_upgradeが失敗した場合は、続ける前に新しいクラスタを
initdbで再作成する必要があります。

アップグレードを実行しています。
------------------
Analyzing all rows in the new cluster                       ok
Freezing all rows in the new cluster                        ok
Deleting files from new pg_xact                             ok
Copying old pg_clog to new server                           ok
Setting oldest XID for new cluster                          ok
Setting next transaction ID and epoch for new cluster       ok
Deleting files from new pg_multixact/offsets                ok
Copying old pg_multixact/offsets to new server              ok
Deleting files from new pg_multixact/members                ok
Copying old pg_multixact/members to new server              ok
Setting next multixact ID and offset for new cluster        ok
Resetting WAL archives                                      ok
Setting frozenxid and minmxid counters in new cluster       ok
Restoring global objects in the new cluster                 ok
Restoring database schemas in the new cluster
                                                            ok
ユーザーリレーションのファイルをコピーしています
                                                            ok
Setting next OID for new cluster                            ok
Sync data directory to disk                                 ok
Creating script to delete old cluster                       ok
Checking for hash indexes                                   ok
Checking for extension updates                              notice

環境にALTER EXTENSIONコマンドで更新すべき機能拡張があります。以下のファイル
    update_extensions.sql
を、psqlを使用してデータベースのスーパーユーザーとして実行することで、これらの機能拡張
が更新されます。


アップグレードが完了しました
----------------
オプティマイザーの統計情報は、pg_upgrade では転送されません。
新サーバーを起動した後、以下のコマンドを実行することを検討してください:
    C:/Program Files/PostgreSQL/14/bin/vacuumdb -U postgres --all --analyze-in-stages

このスクリプトを実行すると、旧クラスタのデータファイル delete_old_cluster.batが削除されます:


c:\work>

後はupdate_extensions.sqlとvacuumdbの実行だけですが、これらを実行する前に新DBのpostgresql.confを編集してポートを5432へ戻しておきます。このタイミングでpg_hba.confを修正しても問題ありませんが、他から繋ぎに来られる可能性があるのであれば後回しにしましょう。

update_extensions.sql実行

ここまでの作業でサービスは停止していますので、ポートを変更したらサービスを起動します。update_extensions.sqlの中身は「ALTER EXTENSION “adminpack” UPDATE;」だけですのでpostgresでログインして直接実行しても構いません。

vacuumdb実行

後はvacuumdbの実行です（DB名を***で伏せています）。

c:\work>"C:/Program Files/PostgreSQL/14/bin/vacuumdb" -U postgres --all --analyze-in-stages
vacuumdb: データベース"***"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"postgres"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"template1"の処理中です: 最適化のための情報を最小限生成します(1対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"postgres"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"template1"の処理中です: 最適化のための情報を複数生成します(10対象)
vacuumdb: データベース"***"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"***"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"***"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"***"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"***"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"postgres"の処理中です: 最適化のための情報をデフォルト数(全て)生成します
vacuumdb: データベース"template1"の処理中です: 最適化のための情報をデフォルト数(全て)生成します

c:\work>

この作業は旧DBのデータベースクラスタ削除を含んでいます。「このスクリプトを実行すると、旧クラスタのデータファイル delete_old_cluster.batが削除されます:」の日本語は微妙で「このスクリプトを実行すると、delete_old_cluster.batが旧クラスタのデータファイルを削除します:」と書きたかったのでしょうね。

後は動作確認を済ませて終了です！

WSL2インストール

PowerShellを起動しコマンド一発です。拍子抜けするほど簡単でした。

wsl --install

このコマンドですとUbuntuがインストールされます。Ubuntuで良い場合はこれでOKなのですが、私はPostgreSQLを慣れた環境で使いたかったのでRHEL系を探してみました。

wsl --list -o

利用可能な一覧が表示されます。

OracleLinux8.5で作ることにしました。

wsl --install -d OracleLinux_8_5

インストールが始まり少し待つと別ウインドウでOracleLinuxが表示されます。ユーザー名とパスワードを入力するとインストール完了です。なんとも簡単です。

要るものを最初に入れる

後の作業で必要になるものや自分が使いやすいエディタを忘れないうちに入れておきます。キャプチャは取っていませんがdnf updateもやっておきましょう。この記事を作ったときはやり忘れていました（あはっ）。

sudo dnf install epel-release

sudo dnf install nano htop neofetch

neofetchは完全に個人的な趣味ですw

最初にやること（systemdを使えるようにする）

WSL環境ではsystemctlを使おうとすると「System has not been booted with systemd as init system (PID 1).」とお𠮟りを受けます。そのまんまで「systemdがPID1じゃない」ということなのですが、これを恒久的に解消するための作業を最初に行います。出でよ、ジェニー！

wget https://github.com/arkane-systems/genie/releases/download/v1.36/genie-1.36-1.fc33.x86_64.rpm

sudo dnf install genie-1.36-1.fc33.x86_64.rpm

ここでpsコマンドを使って状況を見てみましょう。

では、genieを初期化→開始します。

genie -i

ちょっと時間がかかるので気長に待ちましょう。

そして・・・

genie -s

再度psコマンドを実行してみましょう。

これでめでたくsystemctlを使えるようになったのですが、このままではwslを再起動するとまた元に戻ってしまいますので対処します。

nano ~/.bashrc

ここの末尾へ追記します。

if [ "`ps -eo pid,lstart,cmd | grep systemd | grep -v -e grep -e systemd- | sort -n -k2 | awk 'NR==1 { print $1 }'`" != "1" ]; then
  genie -s
fi

こんなふうにしておきます。

と、ここまで来て「WSLの再起動ってどうするんだろ？」と思ったら一度wslを落としてしまうんですね。PowerShellに戻って実行してください。

wsl --shutdown

これで再度WSLを起動させればOKです。genie -iのときと同じように「！」がいっぱい表示されます。

これで何を意識しなくてもsystemctlを使えるようになりました。先人たちの記事がとても参考になりました。感謝！です。

PostgreSQL15のインストール

以前の記事ではソースコードからコンパイルしました(PostgeSQL10)。

コピペ対応！PostgreSQLをソースコードからインストールする

今日は私が愛用するデータベース、PostgreSQLをソースコードからインストールしていこうと思います。インストーラーがある時代になぜソースコードからと思われるかもしれませんが、makeしているときの画面がカッコイイからです（単純）注意事項...

sandambara.com

2020.08.12

今回は最新バージョンの15をdnfでインストールしていきます。そのままだと15が入ってくれないので準備を行います。

sudo dnf install https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm

sudo dnf -qy module disable postgresql

sudo dnf install postgresql15-server

これでPostgreSQL15のインストールが終わりました。折角なので設定もしてしまいましょう。

sudo -i -u postgres
/usr/pgsql-15/bin/initdb -D /var/lib/pgsql/15/data

実ははじめWSLをUbuntuで組んだのですが、Ubuntuのポスグレではinitdbが見当たらなくて焦りました。Ubuntuは先日10年サポートの発表もあったので、使い勝手が揃っていると嬉しいですね。

さて、環境変数を設定しましょう。

nano ~/.bash_profile

末尾に加筆します。

export PATH=/usr/pgsql-15/bin/:$PATH
export LD_LIBRARY_PATH=/usr/pgsql-15/lib/:$LD_LIBRARY_PATH
export PGDATA=/var/lib/pgsql/15/data

読み込みなおして完了です。

source ~postgres/.bash_profile

コマンドが通ることを確認しておきましょう！

nano $PGDATA/pg_hba.conf
nano $PGDATA/postgresql.conf
pg_ctl start

Apacheのインストール

ここは普通にdnf installだけで行えます。セキュリティ対策については触れておりませんのでご注意ください。

sudo dnf install httpd
sudo systemctl enable httpd
sudo systemctl start httpd

PHP8のインストール

Apache同様セキュリティ対策には触れていませんのでご注意ください。

まずremiリポジトリを追加します。

sudo dnf install https://rpms.remirepo.net/enterprise/remi-release-8.rpm

デフォルトのバージョンがいくつか見てみます。

sudo dnf module list php

PHP8を入れられるようになりましたので進めます。DBアクセスにはPDOを使いたいので一緒に入れましょう。

sudo dnf module install php:8.0
sudo dnf install php-pdo php-pgsql

動作テスト

テストファイルを作ります。

sudo nano /var/www/html/index.php

ここへ

<?php
phpinfo();

Apacheを再起動してブラウザでlocalhost/index.phpへアクセスしてみましょう。

sudo systemctl restart httpd

DBに適当なテーブルを作ってPDOもぜひ試してみてください。最後までご覧くださって有難うございました！

まだまだ「和暦表示は必須」という仕様も多いですよね。やり方は色々あると思いますが、なるべく分かりやすい方法で実現したいと思います。

【和暦管理テーブル】
create table warekimaster(
     id int not null          -- 主キー
    ,wareki text not null     -- 元号
    ,diff int not null        -- 西暦(yyyy)との年数差
    ,startymd date not null   -- その元号はいつから
    ,endymd date not null     -- いつまで
    ,constraint pk_warekimaster primary key(id));

「西暦のyyyyから和暦との年数差を引く」という考え方でマスタを作ります。diff列（西暦(yyyy)と和暦の年数差）は無くても良いですが、あった方がSQLがスッキリします。

続いてデータ投入です。今回は昭和から令和までを変換対象とします。

insert into warekimaster(id, wareki, diff, startymd, endymd)
values(1, '昭和', 1925, '1926-12-25', '1989-1-7');

insert into warekimaster(id, wareki, diff, startymd, endymd)
values(2, '平成', 1988, '1989-1-8', '2019-4-30');

-- 令和のendymdは適当に入れておく
insert into warekimaster(id, wareki, diff, startymd, endymd)
values(3, '令和', 2018, '2019-5-1', '2099-12-31');

sandambara=> select * from warekimaster order by id;
 id | wareki | diff |  startymd  |   endymd   
----+--------+------+------------+------------
  1 | 昭和   | 1925 | 1926-12-25 | 1989-01-07
  2 | 平成   | 1988 | 1989-01-08 | 2019-04-30
  3 | 令和   | 2018 | 2019-05-01 | 2099-12-31
(3 rows)

例えば今日の日付を和暦に変換する場合はこうです。

select
    wareki || (to_char(now(), 'yyyy')::int - diff)::text || '年' || 
    to_char(now(), 'mm') || '月' || 
    to_char(now(), 'dd') || '日'
from
    warekimaster
where
    now() >= startymd and now() <= endymd;

「1年」を「元年」と出力させるのはcaseを使えば良いですし、selectをまるっとfunctionにすればスマートですよね。折角なのでfunctionにしてみましょう！

create or replace function wareki(date) returns text as $$
declare
    returnstring text;
begin

    select
        case
            when to_char($1, 'yyyy')::int - diff = 1 then wareki || '元年'
            else wareki || (to_char($1, 'yyyy')::int - diff)::text || '年'
        end ||
        to_char($1, 'mm') || '月' ||
        to_char($1, 'dd') || '日'
    into
        returnstring
    from
        warekimaster
    where
        $1 >= startymd and $1 <= endymd;

    return returnstring;

end $$ language plpgsql;

では、早速実行してみましょう。

sandambara=> select wareki('2019-06-13');
      wareki      
------------------
 令和元年06月13日
(1 row)

sandambara=> select wareki('2021-06-13');
     wareki      
-----------------
 令和3年06月13日
(1 row)

この手法は例えば消費税率の切り替えなどにも応用できます。お役に立てば幸いです！

Oracle Linuxをインストールしてみた

新年あけましておめでとうございます。本年も不肖sandambaraをどうぞ宜しくお願い申し上げます。さて、2020年は色々あった年でしたが、師走にIT界隈へ衝撃をもたらすあるニュースが飛び込んできました。CentOS Project shi...

sandambara.com

2021.01.04

Oracle LinuxにPostgreSQLをインストールしてみた

前回の記事でOracle Linuxの仮想マシンを作成しました。今日はそちらにPostgreSQLをインストールしてみようと思います。検証環境Debian10(buster)にインストールしたVirtual BoxへOracle Linux...

sandambara.com

2021.01.08

今回は折角なのでOracle Databaseもインストールしてみようと思います。エディションは無償で利用できるOracle Database 18c Express Edition（XE）です。

Oracle Database Express Edition | Oracle 日本

Oracle Database Express Edition（XE）は、世界をリードするデータベースを無償で開発、デプロイ、および配布できるエディションです。

www.oracle.com

検証環境

Debian10上に構築したVirtual Boxの仮想マシン（Oracle Linux 7.9)へインストールします。

Oracle Database本体のダウンロード

手順はOracleのクイック・スタートにある通りですが、まずは媒体をダウンロードします。

Oracle Database Express Editionクイック・スタート | Oracle 日本

www.oracle.com

コマンドはこちらです。

wget https://download.oracle.com/otn-pub/otn_software/db-express/oracle-database-xe-18c-1.0-1.x86_64.rpm

preinstall用ファイルのダウンロード

preinstallってよく分からないですよね。Windowsでインストールするときの前提条件チェックのようなものでしょうか。

curl -o oracle-database-preinstall-18c-1.0-1.el7.x86_64.rpm https://yum.oracle.com/repo/OracleLinux/OL7/latest/x86_64/getPackage/oracle-database-preinstall-18c-1.0-1.el7.x86_64.rpm

インストール開始

では、インストール開始です。

yum -y localinstall oracle-database*18c*

続いて実行するコマンドはこちらです。時間かかります。

/etc/init.d/oracle-xe-18c configure

開始後直ぐにパスワードの設定が始まり、そのままセットアップが続きます。順調に終われば良いのですが私は謎エラーで死にました。

「使おうとしたポート先に使ってる奴がおるからね」とのお叱りですが、lsofで調べても反応がありません。ググってみるとhostsに加筆する必要がありようで、加筆する内容はサーバーのIPアドレス、FQDN、ホスト名の3つです。

sudo nano /etc/hosts

【変更前】
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

【変更後】
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.1 srv005.sandambara.com srv005

この後リトライします。

/etc/init.d/oracle-xe-18c configure

今度は順調に進んでおります。仮想ディスクのせいか止まっているのかと思うほど遅かったです。

Oracleの起動・停止

こちらが参考になります。

インストレーション・ガイド

データベースの起動および停止は、手動で行うか、システムの停止と起動後に自動的に行うように設定するか、またはEnterprise Managerを使用して行うように設定できます。

docs.oracle.com

今回の検証環境はOracle Linux 7.9ですが、リンク先にあるsystemctlからはじまるコマンドではダメで、/etc/init.d/oracle-xe-18c start(stop・restart)が有効でした。知見が無く原因不明ですので、もしアドバイス頂けると大変有難いです。

PATHを通す

以下の情報を加筆します。

nano ~/.bash_profile

export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=$ORACLE_BASE/product/18c/dbhomeXE
export NLS_LANG=Japanese_Japan.AL32UTF8

PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin

Ctrl+X → y → Enterで保存して終了

# 環境変数読みなおし
source ~/.bash_profile

DBにログインしてみる

Oracle 12cから採用されているマルチテナント・アーキテクチャ。私は11gまでしか触ったことが無かったので初体験です。

CDB（DBのガワ？）にログインするとき
sqlplus sys/インストール時に入力したパスワード@//localhost:1521/XE as sysdba

PDB（DBそのもの）にログインするとき
sqlplus sys/インストール時に入力したパスワード@//localhost:1521/XEPDB1 as sysdba

今回はダイレクトにPDBへログインしてみました。

「orclとはいつの時代のパスワードだよ」って感じですよね（笑）とりあえずオラクルといえばこれです。

以上です！

検証環境

Debian10(buster)にインストールしたVirtual BoxへOracle Linux 7.9の仮想マシンを作成しています。詳しくは前回の記事を参照してください。

Oracle Linuxをインストールしてみた

新年あけましておめでとうございます。本年も不肖sandambaraをどうぞ宜しくお願い申し上げます。さて、2020年は色々あった年でしたが、師走にIT界隈へ衝撃をもたらすあるニュースが飛び込んできました。CentOS Project shi...

sandambara.com

2021.01.04

Oracle Linuxを起動する

CentOSを使っている方がOracle Linuxの起動画面を見ると、きっと「ああ、CentOSだ」と感じるでしょう。

PostgreSQLインストール

こちらの記事のコマンドを総なめし、CentOSと同じようにハンドリングできることを確認します。

コピペ対応！PostgreSQLをソースコードからインストールする

今日は私が愛用するデータベース、PostgreSQLをソースコードからインストールしていこうと思います。インストーラーがある時代になぜソースコードからと思われるかもしれませんが、makeしているときの画面がカッコイイからです（単純）注意事項...

sandambara.com

2020.08.12

全く問題なく起動しました。折角なのでこちらも試してみます。

コピペ対応！PostgreSQLを暗号化して安全に使う NEC Transparent Data Encryption for PostgreSQL(OSS)

「データを安全に格納すること」はデータベースの使命の一つですが、「安全に」という言葉には二通りの意味があると思っています。一つは「データを壊さないこと」、もう一つは「セキュアにデータを保管すること」で、今回は後者に特化した内容の記事となりま...

sandambara.com

2020.08.16

まとめ

CentOSで試したことは一通り同じように動作しました。CentOSの方針変更は個人的に残念に思いますが、結果として引き出しが増えたので一安心です！

セキュアにデータを保管する

たとえばユーザーやロールでアクセス権限を管理することや、DBへの接続元を制限することも「セキュアにデータを保管する」ために用いられる手法です。しかし、これらだけでは万全と言えず、データあるいはデータベース自体を暗号化することも昨今珍しくはありません。

透過的暗号化

実はPostgreSQLにはpgcryptoという暗号化モジュールが提供されているのですが、これがあまり使い勝手がよくないのです。

--暗号化
pgp_sym_encrypt()

--復号
pgp_sym_decrypt()

余談ですが「復号化」という言葉は誤りで、正しくは「復号」です。

pgcryptoは上記の関数を使ってSQL単位で暗号化・複合を行うため、アプリケーションの大幅な改修が必要になり、可読性も良くありません。これに対し「透過的暗号化」という手法は暗号化を特別意識することなくSQLを発行できるのがポイントで、暗号化の単位はデータベースとなります。

今回ご紹介するTransparent Data Encryption for PostgreSQL（以下、TDE for PG）はこの透過的暗号化機能を提供するものです。

Transparent Data Encryption for PostgreSQL : PostgreSQL | NEC

「Transparent Data Encryption for PostgreSQL」をご紹介します。

jpn.nec.com

サポート無しにはなりますが、有償版だけでなくOSSとして無償版を提供されたNECの決断には敬意と感謝しかありません。

TDE for PG のシステム要件

現在TDE for PG の最新バージョンはV1.2で、OSはRHEL系LinuxとWindowsに対応しています。

Transparent Data Encryption for PostgreSQL : PostgreSQL | NEC

「Transparent Data Encryption for PostgreSQL」をご紹介します。

jpn.nec.com

前回の記事でCentOS 8にインストールしたPostgreSQLのバージョンが10だった理由は、TDE for PG が11・12には未対応だからです。CentOSも正式に対応がアナウンスされているのは7系となります。

この辺りがサポートの無いものを自己責任で利用するリスクでもあるのですが、後続バージョンへの正式対応が強く望まれるところです！

TDE for PG のダウンロード

下準備は前回の記事で出来ていますので、TDE for PG をダウンロードしましょう。

wget https://github.com/nec-postgres/tdeforpg/releases/download/v1.2.1.0/tde_for_pg10-fe-1.2.1-0.el7.x86_64.rpm

ホームディレクトリに保存されていることを確認します。

[postgres@centos ~]$ ls -l
合計 24536
drwxrwxr-x. 7 postgres postgres     4096  8月 10 15:35 postgresql-10.13
-rw-rw-r--. 1 postgres postgres 24973924  5月 12 06:24 postgresql-10.13.tar.gz
-rw-rw-r--. 1 postgres postgres   142348  7月 11  2018 tde_for_pg10-fe-1.2.1-0.el7.x86_64.rpm

TDE for PG インストール

sudo rpm -ivh tde_for_pg10-fe-1.2.1-0.el7.x86_64.rpm

これは直ぐに終わります。

Verifying...                          ################################# [100%]
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:tde_for_pg10-fe-1.2.1-0.el7      ################################# [100%]
INFO: Transparent Data Encryption for PostgreSQL 10
      was installed successfully.
HINT: To complete validation of transparent data encryption feature,
      please refer to "/opt/nec/tdeforpg10-fe/INSTALL-NOTE.TXT"

環境変数設定

TDE for PG の設定に必要な環境変数を設定します。ここを間違えると後の作業で必ず詰みますので慎重に行いましょう。

export PGHOME='/usr/local/pgsql'         # PostgreDQLインストールディレクトリ
export TDEHOME='/opt/nec/tdeforpg10-fe'  # TDE for PGインストールディレクトリ
export PGPORT='5432'                     # PostgreSQLの接続ポート
export PGDATA='/usr/local/pgsql/data'    # データベースクラスタ
export PGDATABASE='sandambara';          # TDE for PG を有効化したいデータベース
export PGPASSWORD='postgres'             # スーパーユーザーのパスワード

pgcrypto のインストール

TDE for PG はpgcryptoを利用しています。前回の記事ではpgcryptoを仕込んでいませんのでここでインストールします。

sudo su -
cd /home/postgres/postgresql-10.13/contrib/pgcrypto
make && make install
exit

リンク作成

マニュアルに従いリンクを作成します。ここのパス記述を誤ると後の作業でエラーになる場合がありますので慎重に作業しましょう。

sudo ln -s $PGHOME/lib/pgcrypto.so /usr/lib64/libpgcrypto.so
sudo ln -s $TDEHOME/SOURCES/data_encryption/10/data_encryption10.so.1.2.1.0 /usr/lib64/data_encryption.so

postgresql.conf 変更

DB起動時に読み込むライブラリを指定します。コメントを解除して下記のパスを記入してください。

nano $PGDATA/postgresql.conf

shared_preload_libraries = '/usr/local/pgsql/lib/pgcrypto.so'           # (change requires restart)

保存して終了したらpostgresql.confを読み込ませるためにDBを再起動します。

pg_ctl restart

正常にDBが起動しないときはpostgresql.confのshared_preload_librariesの値をもう一度見直しましょう。

暗号化したいデータベースを作成する

透過的暗号化はデータベース単位で暗号化を行いますので、ログインし暗号化したいデータベース（先ほど環境変数で指定したデータベース）を作成します。成功したら作成したデータベースへログインしましょう。

psql postgres postgres 

create database sandambara;
\c sandambara postgres

pgcrypto 作成

作成したデータベースでpgcryptoを使えるようにします。

create extension pgcrypto;

このようになっていればOKです。

select * from pg_available_extensions;


   name   | default_version | installed_version |           comment            
----------+-----------------+-------------------+------------------------------
 plpgsql  | 1.0             | 1.0               | PL/pgSQL procedural language
 pgcrypto | 1.3             | 1.3               | cryptographic functions
(2 rows)

-- 確認出来たらDBを抜けます
\q

TDE for PG のセットアップ

TDE for PG を有効化します。

cd $TDEHOME/SOURCES
sudo sh bin/cipher_setup.sh $PGHOME

設定は対話形式で行います。

Transparent data encryption feature setup script
Please select from the setup menu below
Transparent data encryption feature setup menu
1: activate  the transparent data encryption feature
2: inactivate the transparent data encryption feature
select menu [1 - 2] > 1
Please enter database server port to connect : 5432   # PostgreSQLの接続ポート
Please enter database user name to connect : postgres # スーパーユーザー 
Please enter password for authentication :            # スーパーユーザーのパスワード
Please enter database name to connect : sandambara    # TDE for PG を有効化したいデータベース
CREATE LANGUAGE

TDE for PG が有効化されました。

TDE for PG の設定

有効化された TDE for PG の設定を行います。

sudo sh bin/cipher_key_regist.sh $PGHOME

=== Database connection information ===
Please enter database server port to connect : 5432    # PostgreSQLの接続ポート
Please enter database user name to connect : postgres  # スーパーユーザー
Please enter password for authentication :             # スーパーユーザーのパスワード
Please enter database name to connect : sandambara     # 対象のデータベース
=== Regist new cipher key ===
Please enter the new cipher key :                      # 暗号鍵
Please retype the new cipher key :                     # 暗号鍵再入力
Please enter the algorithm for new cipher key : aes    # 暗号化方式

Are you sure to register new cipher key(y/n) : y       # 確認

暗号化アルゴリズムと暗号鍵の強度についてはマニュアルp.6にある通り、aes-16,24,32byteとblowfish56byteから選べます。

強度が上がればパフォーマンスがトレードオフとなりますので、お使いの環境や実現したい環境に応じて適切なものを選んでください。

設定作業は以上です。

使ってみよう！ TDE for PG

それでは早速使ってみましょう！テスト用のテーブルを作ります。

追記　TDE for PG有効化後はログイン時に「–no-readline」を付けてください。付与せずログインすると.psql_historyに認証情報がプレーンテキストで残ってしまいます。

-- データベース sandambara にユーザー postgres でログインする
psql sandambara postgres --no-readline

-- テスト用にテーブルを作る
sandambara=# create table test(logtext encrypt_text);
CREATE TABLE

-- データを入れてみる
insert into test(logtext) values('hoge');
ERROR:  TDE-E0016 could not encrypt data, because key was not set[01]
LINE 1: insert into test(logtext) values('hoge');

怒られました。暗号化列となるlogtext（encrypt_text型）に値を入れようとしたのですが鍵が無いと言われています。TDE for PG Free Editionでは暗号化したい列のデータ型にencrypt_textもしくはencrypt_byteaを指定できます。ちなみに有償版ではこれらに加えて下記の3つが利用可能です。

• encrypt_numeric
• encrypt_integer
• encrypt_timestamp

会計情報などを格納するデータベースではかなり魅力的ですね。

では、鍵を入力して再挑戦です。

sandambara=# select cipher_key_disable_log();
 cipher_key_disable_log 
------------------------
 t
(1 row)

sandambara=# select pgtde_begin_session('暗号鍵');
 pgtde_begin_session 
---------------------
 t
(1 row)

sandambara=# select cipher_key_enable_log();
 cipher_key_enable_log 
-----------------------
 t
(1 row)

insert into test(logtext) values('hoge');
INSERT 0 1

sandambara=# select * from test;
 logtext 
---------
 hoge
(1 row)

• cipher_key_disable_log()　　　でログ出力を無効化
• pgtde_begin_session(‘暗号鍵’) で暗号鍵を入力
• cipher_key_enable_log()　　　でログ出力を有効に戻す
• SQL実行

このような流れになっており、いずれのコマンドも省略することはできません。

作業が終わってDBを抜けるときは

select pgtde_end_session();

このようになります。

sandambara=# select pgtde_end_session();
 pgtde_end_session 
-------------------
 t
(1 row)

暗号化セッションを抜けると再度アクセスするにはcipher_key_disable_log()からやり直しが必要です。試してみましょう。

sandambara=# select * from test;
ERROR:  TDE-E0017 could not decrypt data, because key was not set[01]

暗号鍵が無いため中身を見ることができなくなっていますね。

ちなみに encrypt_*** 以外のデータ型列には従来通り何をせずともそのままアクセスが可能ですし、平文で保存されている列をalter tableでencrypt_textに変換することも（その逆も）可能です。

注意点は大量にデータ型変換を行うと作業中はDBのパフォーマンスが低下すること、archive_mode = on の場合は大量にwalのアーカイブが生成されることの2点です。作業のタイミングやストレージの残量には気を付けておきましょう。

今回の記事では暗号化がどのようなものか身をもってご経験頂けたのではないでしょうか？とても安心感を得られますよね。

マニュアルにも記載されていますが「鍵をどのように管理するか」は慎重に検討が必要ですし、DBが暗号化されても「クライアント～サーバー間の通信が平文のまま」では大きなリスクとなります。セキュリティーの問題は落としどころが難しいと思いますが、少しでも「安全・安心」に近寄れるようにしたいものです。

NECさま、後続バージョンへの対応、どうかよろしくお願い致します！

注意事項

以下、完全に自己流ですので、参照される際は自己責任でお願い致します。また、誤り・思い違いと思われる点はご指摘頂けると嬉しいです。

CentOSを準備する

実環境を使うのはなにかと大変なので、今回私はVirtualBoxを利用しCentOS8の仮想マシンを準備しました。インストールに利用したイメージはCentOS-8.2.2004-x86_64-dvd1.isoです。

インストーラーではminimalインストールを選択し、ネットワーク設定を済ませておきます。インストールが始まったらユーザーpostgresを作成し「管理者にする」を選択しておきましょう。

OSのアップデートと下準備

インストールが終わりユーザーpostgresでログインしたら、私はいつも一番にエディタ「nano」をインストールします。クセが無く使いやすいと思いますので、使ったことが無い方は是非試してみてください。

sudo yum -y install nano

次にシステム時刻を同期できるように仕込みます。これをやらずにVirtualBoxでスナップショットから仮想マシンを復元すると、システム時刻がスナップショット作成時まで戻ってしまうので注意が必要です。

sudo yum -y install chrony

CentOS8ではntpdがサポートされなくなりました。chronyがインストール出来たら/etc/chrony.confを修正します。

sudo nano /etc/chrony.conf

#下記をコメントアウト
#pool 2.centos.pool.ntp.org iburst

#これを加筆
pool ntp.nict.jp iburst

#自環境に合わせ外へ出られるネットワークを指定
#allow 192.168.0.0/16
allow 192.168.0.0/24

ここまで出来たらchronyを再起動します。

sudo systemctl enable --now chronyd

続いてシステムをアップデートします。

sudo yum -y update

次に以降の作業で必要になるものをインストールしていきます。

sudo yum -y install gcc
sudo yum -y install bison
sudo yum -y install zlib zlib-devel
sudo yum -y install readline-devel
sudo yum -y install make
sudo yum -y install openssl-devel
sudo yum -y install wget
sudo yum -y install tar

ソースコードのダウンロード→解凍

PostgreSQLのソースコードをダウンロードします。今回入手するのはPostgreSQL10.13です。なぜ11でも12でもないのかは次回の記事でお話しします。

wget https://ftp.postgresql.org/pub/source/v10.13/postgresql-10.13.tar.gz

ホームディレクトリに保存されているはずですので確認しましょう。こんな感じです。

ls
postgresql-10.13.tar.gz

ダウンロードしたファイルを解凍します。

tar zxvf postgresql-10.13.tar.gz

configureからinstallまで

では、一気に参りましょう。一気にといってもコマンドの実行は一つずつでお願います！

cd postgresql-10.13

./configure --with-openssl

make

make check

sudo make install

見どころは何といってもmakeとmake checkの実行中です。じゃんじゃんコンソールが流れていく様をたっぷり堪能してください！

必要なディレクトリの作成

#データベースクラスタ
sudo mkdir /usr/local/pgsql/data

#walアーカイブ先
sudo mkdir /usr/local/pgsql/archivelogs

#それぞれユーザーpostgresに所有権を与えます
sudo chown postgres:postgres /usr/local/pgsql/data
sudo chown postgres:postgres /usr/local/pgsql/archivelogs

データベースクラスタ初期化

/usr/local/pgsql/bin/initdb --no-locale --encoding=utf-8 -D /usr/local/pgsql/data

フルパスで記述し実行します。

--no-locale

こちらはデータベースの照合（ソート）順序で、この場合は文字コード順でのソートを指定しています。-Dでデータベースクラスタに先ほど作成したディレクトリを指定しています。

次にログの保存場所を作成します。ここでいうログはトランザクションログ（wal）ではなく、一般的ないわゆるアプリケーションのログです。

sudo mkdir /usr/local/pgsql/data/log
sudo chown postgres:postgres /usr/local/pgsql/data/log

オンラインバックアップ作成時の手数が少なくなるので私はデータベースクラスタ内にログを保存するのですが、initdbを実行する時はデータベースクラスタに指定したディレクトリがカラである必要があるため、initdb実行後にこの作業を行います。

環境変数設定

特にコメントの必要はありませんね。

nano ~postgres/.bash_profile

#以下を加筆します
export PATH=/usr/local/pgsql/bin:$PATH
export MANPATH=/usr/local/pgsql/share/man:$PATH
export LD_LIBRARY_PATH=/usr/local/pgsql/lib:$LD_LIBRARY_PATH
export PGDATA=/usr/local/pgsql/data

保存してエディタを抜けたらこちらをお忘れなく！

source ~postgres/.bash_profile

postgresql.confの編集

archive_modeをonにして稼働させるのに必要な最小限の設定です。メモリ使用量の指定などはここでは触れません。元々行頭が#になっている項目は#を削除しアンコメントします。

nano $PGDATA/postgresql.conf

listen_addresses = '*'                  # アスタリスクに変更
archive_mode = on                       # onに変更
archive_command = 'cp %p /usr/local/pgsql/archivelogs/%f'     # アーカイブログ保存先を指定
log_destination = 'stderr'              # 標準エラー出力
logging_collector = on                  # onに変更
log_directory = '/usr/local/pgsql/data/log'                   # ログ保存先を指定

pg_hba.confの編集

DBに接続するホスト、認証方式を指定します。ご自身の環境に合わせて編集しましょう。下記の例ではIPv4とIPv6の認証をtrustからmd5に変更しています。

nano $PGDATA/pg_hba.conf

-------------------------------------------------------------------------------------
# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
host    all             all             192.168.0.0/24          md5
# IPv6 local connections:
host    all             all             ::1/128                 md5
# Allow replication connections from localhost, by a user with the
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
-------------------------------------------------------------------------------------

DB起動

pg_ctl start

正常に起動しエラーが無いことを確認します。起動できな買った場合はpostgresql.confとpg_hba.confの内容をもう一度見直してみましょう。

ログの内容も確認します。

ls -l $PGDATA/log

ここにpostgresql-yyyy-mm-dd_hh24miss.logというファイルが生成されていますので、その中を確認します。

cat $PGDATA/log/postgresql-yyyy-mm-dd_hh24miss.log

もしログ自体が存在しないときはpostgresql.confで指定したlog_directoryの内容を確認します。

DBが起動できたらスーパーユーザーのパスワードを設定しましょう。

psql postgres postgres
alter user postgres password'hoge';
\q

続いて再度pg_hba.confを編集し、先ほどtrustのままにしておいたlocalもmd5に変更します。

nano $PGDATA/pg_hba.conf

# "local" is for Unix domain socket connections only
local   all             all                                     md5

保存してエディタを終了したらDBを再起動し.confをもう一度読み込ませます。

pg_ctl restart

これでパスワード無しでDBに入ることは出来なくなりました。試してみましょう。

psql postgres postgres

いかがだったでしょうか。同じ結果が得られるのであれば簡単な方が良いことも多いですが、「ならでは」の満足感が得られることと思います。皆さんも是非挑戦してみてください！

今回はadd_monthsを自作します

前回の記事でOracleにあってPostgreSQLに無い関数「last_day」をファンクションで作成しました。今回は月の加減に利用する「add_months」を作ってみたいと思います。

PostgreSQLで月を加減するには？

PostgreSQLには「interval」という、月だけでなく年・日の加減にも利用できる関数があります。

今日の1年後
select now()::date + interval '1year';
今日の1か月後
select now()::date + interval '1month';
明日
select now()::date + interval '1day';

これはこれで慣れるとどうということ無いのですが、DB移行案件や「使い慣れた関数はそのまま使いたい」という状況もあります。海外旅行に醤油を持参するのと同じです（謎）

add_monthsを作ってみる

それでは早速作ってみましょう！

create or replace function add_months(in date, in int) returns date as $$

	select ($1 + ($2::text || ' month')::interval)::date;

$$ language sql;

非常にシンプルですね。

sandambara=# create or replace function add_months(in date, in int) returns date as $$
sandambara$#
sandambara$#         select ($1 + ($2::text || ' month')::interval)::date;
sandambara$#
sandambara$# $$ language sql;
CREATE FUNCTION

使ってみます。

sandambara=# select add_months('2020-07-14', 1);
 add_months
------------
 2020-08-14
(1 row)

sandambara=# select add_months('2020-07-14', -1);
 add_months
------------
 2020-06-14
(1 row)

月末日付に対して加減を行うときは戻り値も月末日付になります。

sandambara=# select add_months('2020-01-31', 1);
 add_months
------------
 2020-02-29
(1 row)

このファンクションのポイントはintervalの使い方です。日頃SQLでintervalを使っていると「interval $2::text || ‘month’」とか「$1 + (interval ‘$2 month’)」と書きたくなりますが、前者はsyntaxエラーで後者は誤演算となります。

sandambara=# -- これはおこられる
sandambara=# create or replace function add_months(in date, in int) returns date as $$
sandambara$#
sandambara$#         select ($1 + (interval $2::text || 'month'))::date;
sandambara$#
sandambara$# $$ language sql;
ERROR:  syntax error at or near "$2"
LINE 3:  select ($1 + (interval $2::text || 'month'))::date;
                                ^

sandambara=# -- これは常に2か月プラスされる
sandambara=# create or replace function add_months(in date, in int) returns date as $$
sandambara$#
sandambara$#         select ($1 + (interval '$2 month'))::date;
sandambara$#
sandambara$# $$ language sql;
CREATE FUNCTION

sandambara=# select add_months('2020-07-14', 1);
 add_months
------------
 2020-09-14
(1 row)

sandambara=# select add_months('2020-07-14', -1);
 add_months
------------
 2020-09-14
(1 row)

Oracle移行組の方、是非お試しください！

OracleからPostgreSQLに移行を決めたとき

私は元々Oracleを触っていたのですが、PostgreSQLに移行を検討したとき、同じRDBMSとはいえ「方言の違い」に悩まされました。例えば現在時刻を取得するにしても

Oracle
SELECT SYSDATE FROM DUAL;

に対し

PostgreSQL
SELECT now();

このように使用する関数が異なる場合があるからです（それよりFROM句が無くても良いことが衝撃でした）。

last_dayが無いなら作ってしまおう

しかし、これはSYSDATEをnow()に変えれば実現できますが「そもそもそんなものは無い」という関数も存在しました。その中で私が良く使っていたものの一つに「last_day」があります。いわずと知れた「その月の最終日を取得する」ための関数です。

PostgreSQLにも日付を操作する関数は勿論ありますが、こんなときはファンクションを自前で作成してしまえば良いと思います。DB丸ごと移行するとなれば、僅かな違いでも要修正箇所が膨大な量になるからです。

余談ですがPostgreSQLでOracleのストアドプロシージャにあたるものはファンクションになり、必ず戻り値を付けねばなりません（戻り値不要のファンクションではreturns voidとなります）。

ファンクション作成

create or replace function last_day(in date) returns date as $$
	select (((to_char(($1 + interval '1month'), 'yyyy-mm')) || '-01')::date - interval '1day')::date;
$$ language sql;

やっていることは簡単です。月末を求めたい日付を引数で渡し、1か月加算してyyyy-mmの文字列にした後’-01’を付与。日付に戻して1日引いたものを返却します。2020年7月12日を引数で渡した場合はこんな感じです。

2020-07-12（引数）
2020-08-12（1か月足す）
2020-08   （yyyy-mmの文字列にする）
2020-08-01（-01を付与して日付に戻す）
2020-07-31（1日引いた値が戻り値）

実行してみます。

sandambara=# select last_day('2020-07-12');
  last_day
------------
 2020-07-31
(1 行)

ストアドやファンクションはドカッとまとまった処理をやらせるだけでなく、こんな風に「あったらいいな」を叶えてくれる便利な機能です。無い機能に落胆せず、あなたの色に染めていきましょう！

-- テストデータ投入
INSERT INTO testtable VALUES(1, '2020-01-01', 'りんご', 1000);
INSERT INTO testtable VALUES(2, '2020-01-01', 'りんご', 2000);
INSERT INTO testtable VALUES(3, '2020-01-01', 'バナナ', 3000);
INSERT INTO testtable VALUES(4, '2020-02-02', 'りんご', 1000);
INSERT INTO testtable VALUES(5, '2020-03-03', 'りんご', 5000);
INSERT INTO testtable VALUES(6, '2020-03-03', 'みかん', 1000);
INSERT INTO testtable VALUES(7, '2020-03-03', 'バナナ', 3000);
INSERT INTO testtable VALUES(8, '2020-04-03', 'いちご', 4000);
INSERT INTO testtable VALUES(9, '2020-04-04', 'りんご', 1000);
INSERT INTO testtable VALUES(10,'2020-04-01', 'バナナ', 1000);

この実行結果がこちらです。

sandambara=> -- テストデータ投入
sandambara=> INSERT INTO testtable VALUES(1, '2020-01-01', 'りんご', 1000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(2, '2020-01-01', 'みかん', 2000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(3, '2020-01-01', 'バナナ', 3000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(4, '2020-02-02', 'りんご', 1000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(5, '2020-03-03', 'りんご', 5000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(6, '2020-03-03', 'みかん', 1000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(7, '2020-03-03', 'バナナ', 3000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(8, '2020-04-03', 'いちご', 4000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(9, '2020-04-04', 'りんご', 1000);
INSERT 0 1
sandambara=> INSERT INTO testtable VALUES(10,'2020-04-01', 'バナナ', 1000);
INSERT 0 1

普通ですね（笑）

「ちゃんとトランザクションかけろ」という意見はあるかもしれませんが、だからと言ってこのSQLが悪い訳ではありません。でも、もっとスマートな方法があります。こちらのSQLをご覧ください。

-- 上記はこのように書ける
INSERT INTO testtable VALUES
(1, '2020-01-01', 'りんご', 1000),
(2, '2020-01-01', 'りんご', 2000),
(3, '2020-01-01', 'バナナ', 3000),
(4, '2020-02-02', 'りんご', 1000),
(5, '2020-03-03', 'りんご', 5000),
(6, '2020-03-03', 'みかん', 1000),
(7, '2020-03-03', 'バナナ', 3000),
(8, '2020-04-03', 'いちご', 4000),
(9, '2020-04-04', 'りんご', 1000),
(10,'2020-04-01', 'バナナ', 1000);

実行結果はこちらです。

sandambara=> INSERT INTO testtable VALUES
sandambara-> (1, '2020-01-01', 'りんご', 1000),
sandambara-> (2, '2020-01-01', 'りんご', 2000),
sandambara-> (3, '2020-01-01', 'バナナ', 3000),
sandambara-> (4, '2020-02-02', 'りんご', 1000),
sandambara-> (5, '2020-03-03', 'りんご', 5000),
sandambara-> (6, '2020-03-03', 'みかん', 1000),
sandambara-> (7, '2020-03-03', 'バナナ', 3000),
sandambara-> (8, '2020-04-03', 'いちご', 4000),
sandambara-> (9, '2020-04-04', 'りんご', 1000),
sandambara-> (10,'2020-04-01', 'バナナ', 1000);
INSERT 0 10

1つのSQLで実行できました。「ちりも積もれば」ではありませんが、こういう細かなテクニックは後々効いてきますのでぜひマスターしておきましょう！