DBサーバの空きメモリサイズの見方(Oracle Database on Linux)

JPOUG Advent Calendar 2015 の5日目のエントリーです。
昨日は [twitter:@discus_hamburg] さんの Mac De Oracle: OTHER_XMLの中身 でした。

Linux で Oracle Database を使っている場合の”実質的な”空きメモリサイズの算出方法を紹介します。
絵は 「シンプルでシステマチックなLinux性能分析方法」 @ db tech showcase 東京 2014 - ablog で使った資料から抜粋しています。

RHEL/Oracle Linux 5

空きメモリサイズ = /proc/meminfo の MemTotal - (
        vmstat の used (= free の used（-/+ buffers/cache)) … カーネル + プロセス
        + ipcs -um の pages resident * 4KB(ページサイズ、HugePages使用時は2MB) … System V IPC 共有メモリ
        + df -k の tmpfs の Used … tmpfs/ramfs (MEMORY_TARGET使用時)
    )

RHEL/Oracle Linux 6

空きメモリサイズ = /proc/meminfo の MemFree + Active(file) + Inactive(file) 

RHEL/Oracle Linux 7

空きメモリサイズ = /proc/meminfo の MemFree + Active(file) + Inactive(file) 

6と同じです。

free コマンドに追加された Available フィールド

Linux kernel 3.14 から /proc/meminfo に MemAvailable というフィールドが追加され、freeコマンドにもAvailableというフィールドが追加されています。RHEL7 や 6.6 にもバックポートされています(RHEL6.6 では互換性に配慮してデフォルトでは disable)。
これはスワップアウト*1なしでメモリ割当できるサイズで、めちゃざっくりでは以下の計算式になります。

MemAvailable = ( MemFree -
 wmark_
low ) + Active(file) + Inactive(file) + SReclaimable
# wmark_low 以外は /proc/meminfo のフィールド
# SReclaimable は回収可能なスラブキャッシュ
# wmark_low = vm.min_free_kbytes + ( vm.min_free_kbytes / 4 )

wmark_low については vm.min_free_kbytes からの wmark_{min|low|high} 算出式 - ablog をご覧ください。
以下は Linux kernel の git repository から /proc/meminfo に MemAvailable が追加された際の変更内容からの抜粋です。

/proc/meminfo: provide estimated available memory
Many load balancing and workload placing programs check /proc/meminfo to estimate how much free memory is available. They generally do this by adding up "free" and "cached", which was fine ten years ago, but is pretty much guaranteed to be wrong today.

It is wrong because Cached includes memory that is not freeable as page cache, for example shared memory segments, tmpfs, and ramfs, and it does not include reclaimable slab memory, which can take up a large fraction of system memory on mostly idle systems with lots of files.

Currently, the amount of memory that is available for a new workload, without pushing the system into swap, can be estimated from MemFree, Active(file), Inactive(file), and SReclaimable, as well as the "low"
watermarks from /proc/zoneinfo.

However, this may change in the future, and user space really should not be expected to know kernel internals to come up with an estimate for the amount of free memory.

It is more convenient to provide such an estimate in /proc/meminfo. If things change in the future, we only have to change it in one place.

Signed-off-by: Rik van Riel
Reported-by: Erik Mouw
Acked-by: Johannes Weiner
Signed-off-by: Andrew Morton
Signed-off-by: Linus Torvalds

2 files changed, 46 insertions, 0 deletions
diff --git a/Documentation/filesystems/proc.txt b/Documentation/filesystems/proc.txt
index 22d89aa3..8533f5f 100644
--- a/Documentation/filesystems/proc.txt
+++ b/Documentation/filesystems/proc.txt
@@ -767,6 +767,7 @@ The "Locked" indicates whether the mapping is locked in memory or not.
 
 MemTotal:     16344972 kB
 MemFree:      13634064 kB
+MemAvailable: 14836172 kB
 Buffers:          3656 kB
 Cached:        1195708 kB
 SwapCached:          0 kB
@@ -799,6 +800,14 @@ AnonHugePages:   49152 kB
     MemTotal: Total usable ram (i.e. physical ram minus a few reserved
               bits and the kernel binary code)
      MemFree: The sum of LowFree+HighFree
+MemAvailable: An estimate of how much memory is available for starting new
+              applications, without swapping. Calculated from MemFree,
+              SReclaimable, the size of the file LRU lists, and the low
+              watermarks in each zone.
+              The estimate takes into account that the system needs some
+              page cache to function well, and that not all reclaimable
+              slab will be reclaimable, due to items being in use. The
+              impact of those factors will vary from system to system.
      Buffers: Relatively temporary storage for raw disk blocks
               shouldn't get tremendously large (20MB or so)
       Cached: in-memory cache for files read from the disk (the
diff --git a/fs/proc/meminfo.c b/fs/proc/meminfo.c
index a77d2b2..24270ec 100644
--- a/fs/proc/meminfo.c
+++ b/fs/proc/meminfo.c
@@ -26,7 +26,11 @@ static int meminfo_proc_show(struct seq_file *m, void *v)
 	unsigned long committed;
 	struct vmalloc_info vmi;
 	long cached;
+	long available;
+	unsigned long pagecache;
+	unsigned long wmark_low = 0;
 	unsigned long pages[NR_LRU_LISTS];
+	struct zone *zone;
 	int lru;
 
 /*
@@ -47,12 +51,44 @@ static int meminfo_proc_show(struct seq_file *m, void *v)
 	for (lru = LRU_BASE; lru < NR_LRU_LISTS; lru++)
 		pages[lru] = global_page_state(NR_LRU_BASE + lru);
 
+	for_each_zone(zone)
+		wmark_low += zone->watermark[WMARK_LOW];
+
+	/*
+	 * Estimate the amount of memory available for userspace allocations,
+	 * without causing swapping.
+	 *
+	 * Free memory cannot be taken below the low watermark, before the
+	 * system starts swapping.
+	 */
+	available = i.freeram - wmark_low;
+
+	/*
+	 * Not all the page cache can be freed, otherwise the system will
+	 * start swapping. Assume at least half of the page cache, or the
+	 * low watermark worth of cache, needs to stay.
+	 */
+	pagecache = pages[LRU_ACTIVE_FILE] + pages[LRU_INACTIVE_FILE];
+	pagecache -= min(pagecache / 2, wmark_low);
+	available += pagecache;
+
+	/*
+	 * Part of the reclaimable swap consists of items that are in use,
+	 * and cannot be freed. Cap this estimate at the low watermark.
+	 */
+	available += global_page_state(NR_SLAB_RECLAIMABLE) -
+		     min(global_page_state(NR_SLAB_RECLAIMABLE) / 2, wmark_low);
+
+	if (available < 0)
+		available = 0;
+
 	/*
 	 * Tagged format, for easy grepping and expansion.
 	 */
 	seq_printf(m,
 		"MemTotal:       %8lu kB\n"
 		"MemFree:        %8lu kB\n"
+		"MemAvailable:   %8lu kB\n"
 		"Buffers:        %8lu kB\n"
 		"Cached:         %8lu kB\n"
 		"SwapCached:     %8lu kB\n"
@@ -105,6 +141,7 @@ static int meminfo_proc_show(struct seq_file *m, void *v)
 		,
 		K(i.totalram),
 		K(i.freeram),
+		K(available),
 		K(i.bufferram),
 		K(cached),
 		K(total_swapcache_pages()),

http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=34e431b0ae398fc54ea69ff85ec700722c9da773

さらに詳しく知りたい方はのぴぴさんの以下のエントリをご覧ください。

• 【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
• 【RHEL/CentOS】RHEL6.6にMemAbailableがバックポートされている件 - のぴぴのメモ

明日6日目は [twitter:@s4r_agent] さん(ブログはコチラ)です。

関連

JPOUG Advent Calendar

• 2012年 Oracle Database や OS の性能統計情報と財務諸表の共通点 - ablog
• 2013年 Linux で I/Oサイズを調べる方法 - ablog
• 2014年 fulltime.sh by Craig Shallahamer で DB CPU の内訳を調べる - ablog

メモリ関連

• vm.min_free_kbytes からの wmark_{min|low|high} 算出式 - ablog
• /proc/meminfo の Inactive は利用可能なメモリ領域ではない - ablog
• "ipcs -um"で共有メモリがスワップアウトされているか確認する - ablog
• Linux のページテーブルのサイズの見方と見積式 - ablog
• Linux のページ回収まわりのカーネルパラメータ - ablog
• Oracle Database on Linux で SGA(共有メモリ) のスワップアウトを防ぐ方法 - ablog
• Linux で共有メモリはなぜ cached に計上されるのか？ - ablog
• RHEL6.4(kernel 2.6.32-303)以降の vm.swappiness=0 と OOM Killer の関係 - ablog
• "Reducing Memory Access Latency" が素晴らしすぎる - ablog
• Linux のページ回収まわりのカーネルパラメータ - ablog
• HugePages は free コマンドで見ると used に計上される - ablog
• HugePage は free コマンドで見ると used に計上される（2） - ablog
• http://d.hatena.ne.jp/yohei-a/20141213/1418441860
• hugepage-shm.c をコンパイルして実行してみる - ablog

その他

• Red Hat Enterprise Linux のリリースとカーネルのバージョンの対応を調べるページ - ablog
• Oracle Linux のディストリビューションとカーネルバージョンを調べる方法 - ablog

参考

• 【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
• 【RHEL/CentOS】RHEL6.6にMemAbailableがバックポートされている件 - のぴぴのメモ
• 第７回「 sosreport ノススメ」が掲載されました。: 熊猫さくらのブログ
• mrwk update: freeの出力が大幅改善された話
• Backport "MemAvailable" field to /proc/meminfo in Red Hat Enterprise Linux 6. - Red Hat Customer Portal
• LKML: Rik van Riel: [RFC PATCH v2 -mm] provide estimated available memory in /proc/meminfo

*1:正確にはページアウト