Wu Fengguang <fengguang.wu@xxxxxxxxx> writes: > Chris, what's in your /proc/slabinfo? Hi. Sorry for the slow reply. The exact machine from which I previously extracted that /proc/memstat has unfortunately had swap turned off by a colleague while I was away, presumably because its behaviour because too bad. However, here is info from another member of the cluster, this time with 5GB of buffers and 2GB of swap in use, i.e. the same general problem: # cat /proc/meminfo MemTotal: 33084008 kB MemFree: 2291464 kB Buffers: 4908468 kB Cached: 16056 kB SwapCached: 1427480 kB Active: 22885508 kB Inactive: 5719520 kB Active(anon): 20466488 kB Inactive(anon): 3215888 kB Active(file): 2419020 kB Inactive(file): 2503632 kB Unevictable: 10688 kB Mlocked: 10688 kB SwapTotal: 25165816 kB SwapFree: 22798248 kB Dirty: 2616 kB Writeback: 0 kB AnonPages: 23410296 kB Mapped: 6324 kB Shmem: 56 kB Slab: 692296 kB SReclaimable: 189032 kB SUnreclaim: 503264 kB KernelStack: 4568 kB PageTables: 65588 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 41707820 kB Committed_AS: 34859884 kB VmallocTotal: 34359738367 kB VmallocUsed: 147616 kB VmallocChunk: 34342399496 kB HardwareCorrupted: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 5888 kB DirectMap2M: 2156544 kB DirectMap1G: 31457280 kB # cat /proc/slabinfo slabinfo - version: 2.1 # name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail> kmalloc_dma-512 32 32 512 32 4 : tunables 0 0 0 : slabdata 1 1 0 nf_conntrack_expect 312 312 208 39 2 : tunables 0 0 0 : slabdata 8 8 0 nf_conntrack 240 240 272 30 2 : tunables 0 0 0 : slabdata 8 8 0 dm_raid1_read_record 0 0 1064 30 8 : tunables 0 0 0 : slabdata 0 0 0 dm_crypt_io 240 260 152 26 1 : tunables 0 0 0 : slabdata 10 10 0 kcopyd_job 0 0 368 22 2 : tunables 0 0 0 : slabdata 0 0 0 dm_uevent 0 0 2608 12 8 : tunables 0 0 0 : slabdata 0 0 0 dm_rq_target_io 0 0 376 21 2 : tunables 0 0 0 : slabdata 0 0 0 cfq_queue 0 0 168 24 1 : tunables 0 0 0 : slabdata 0 0 0 bsg_cmd 0 0 312 26 2 : tunables 0 0 0 : slabdata 0 0 0 mqueue_inode_cache 36 36 896 36 8 : tunables 0 0 0 : slabdata 1 1 0 udf_inode_cache 0 0 640 25 4 : tunables 0 0 0 : slabdata 0 0 0 fuse_request 0 0 632 25 4 : tunables 0 0 0 : slabdata 0 0 0 fuse_inode 0 0 704 23 4 : tunables 0 0 0 : slabdata 0 0 0 ntfs_big_inode_cache 0 0 832 39 8 : tunables 0 0 0 : slabdata 0 0 0 ntfs_inode_cache 0 0 264 31 2 : tunables 0 0 0 : slabdata 0 0 0 isofs_inode_cache 0 0 616 26 4 : tunables 0 0 0 : slabdata 0 0 0 fat_inode_cache 0 0 648 25 4 : tunables 0 0 0 : slabdata 0 0 0 fat_cache 0 0 40 102 1 : tunables 0 0 0 : slabdata 0 0 0 hugetlbfs_inode_cache 28 28 584 28 4 : tunables 0 0 0 : slabdata 1 1 0 squashfs_inode_cache 0 0 640 25 4 : tunables 0 0 0 : slabdata 0 0 0 journal_handle 1360 1360 24 170 1 : tunables 0 0 0 : slabdata 8 8 0 journal_head 288 288 112 36 1 : tunables 0 0 0 : slabdata 8 8 0 revoke_table 512 512 16 256 1 : tunables 0 0 0 : slabdata 2 2 0 revoke_record 1024 1024 32 128 1 : tunables 0 0 0 : slabdata 8 8 0 ext4_inode_cache 0 0 896 36 8 : tunables 0 0 0 : slabdata 0 0 0 ext4_free_block_extents 0 0 56 73 1 : tunables 0 0 0 : slabdata 0 0 0 ext4_alloc_context 0 0 144 28 1 : tunables 0 0 0 : slabdata 0 0 0 ext4_prealloc_space 0 0 104 39 1 : tunables 0 0 0 : slabdata 0 0 0 ext4_system_zone 0 0 40 102 1 : tunables 0 0 0 : slabdata 0 0 0 ext2_inode_cache 0 0 752 21 4 : tunables 0 0 0 : slabdata 0 0 0 ext3_inode_cache 2371 2457 768 21 4 : tunables 0 0 0 : slabdata 117 117 0 ext3_xattr 0 0 88 46 1 : tunables 0 0 0 : slabdata 0 0 0 configfs_dir_cache 0 0 88 46 1 : tunables 0 0 0 : slabdata 0 0 0 kioctx 0 0 320 25 2 : tunables 0 0 0 : slabdata 0 0 0 inotify_inode_mark_entry 36 36 112 36 1 : tunables 0 0 0 : slabdata 1 1 0 posix_timers_cache 224 224 144 28 1 : tunables 0 0 0 : slabdata 8 8 0 kvm_vcpu 38 45 10256 3 8 : tunables 0 0 0 : slabdata 15 15 0 kvm_rmap_desc 19408 21828 40 102 1 : tunables 0 0 0 : slabdata 214 214 0 kvm_pte_chain 14514 28543 56 73 1 : tunables 0 0 0 : slabdata 391 391 0 UDP-Lite 0 0 768 21 4 : tunables 0 0 0 : slabdata 0 0 0 ip_dst_cache 221 231 384 21 2 : tunables 0 0 0 : slabdata 11 11 0 UDP 168 168 768 21 4 : tunables 0 0 0 : slabdata 8 8 0 tw_sock_TCP 256 256 256 32 2 : tunables 0 0 0 : slabdata 8 8 0 TCP 191 220 1472 22 8 : tunables 0 0 0 : slabdata 10 10 0 blkdev_queue 178 210 2128 15 8 : tunables 0 0 0 : slabdata 14 14 0 blkdev_requests 608 816 336 24 2 : tunables 0 0 0 : slabdata 34 34 0 fsnotify_event 0 0 104 39 1 : tunables 0 0 0 : slabdata 0 0 0 sock_inode_cache 250 300 640 25 4 : tunables 0 0 0 : slabdata 12 12 0 file_lock_cache 176 176 184 22 1 : tunables 0 0 0 : slabdata 8 8 0 shmem_inode_cache 1617 1827 776 21 4 : tunables 0 0 0 : slabdata 87 87 0 Acpi-ParseExt 1692 1736 72 56 1 : tunables 0 0 0 : slabdata 31 31 0 proc_inode_cache 1182 1326 616 26 4 : tunables 0 0 0 : slabdata 51 51 0 sigqueue 200 200 160 25 1 : tunables 0 0 0 : slabdata 8 8 0 radix_tree_node 65891 69542 560 29 4 : tunables 0 0 0 : slabdata 2398 2398 0 bdev_cache 312 312 832 39 8 : tunables 0 0 0 : slabdata 8 8 0 sysfs_dir_cache 21585 22287 80 51 1 : tunables 0 0 0 : slabdata 437 437 0 inode_cache 2903 2996 568 28 4 : tunables 0 0 0 : slabdata 107 107 0 dentry 8532 8631 192 21 1 : tunables 0 0 0 : slabdata 411 411 0 buffer_head 1227688 1296648 112 36 1 : tunables 0 0 0 : slabdata 36018 36018 0 vm_area_struct 18494 19389 176 23 1 : tunables 0 0 0 : slabdata 843 843 0 files_cache 236 322 704 23 4 : tunables 0 0 0 : slabdata 14 14 0 signal_cache 606 702 832 39 8 : tunables 0 0 0 : slabdata 18 18 0 sighand_cache 415 480 2112 15 8 : tunables 0 0 0 : slabdata 32 32 0 task_struct 671 840 1616 20 8 : tunables 0 0 0 : slabdata 42 42 0 anon_vma 1511 1920 32 128 1 : tunables 0 0 0 : slabdata 15 15 0 shared_policy_node 255 255 48 85 1 : tunables 0 0 0 : slabdata 3 3 0 numa_policy 19205 20910 24 170 1 : tunables 0 0 0 : slabdata 123 123 0 idr_layer_cache 373 390 544 30 4 : tunables 0 0 0 : slabdata 13 13 0 kmalloc-8192 36 36 8192 4 8 : tunables 0 0 0 : slabdata 9 9 0 kmalloc-4096 2284 2592 4096 8 8 : tunables 0 0 0 : slabdata 324 324 0 kmalloc-2048 750 896 2048 16 8 : tunables 0 0 0 : slabdata 56 56 0 kmalloc-1024 4025 4320 1024 32 8 : tunables 0 0 0 : slabdata 135 135 0 kmalloc-512 1358 1760 512 32 4 : tunables 0 0 0 : slabdata 55 55 0 kmalloc-256 1402 1952 256 32 2 : tunables 0 0 0 : slabdata 61 61 0 kmalloc-128 8625 9280 128 32 1 : tunables 0 0 0 : slabdata 290 290 0 kmalloc-64 7030122 7455232 64 64 1 : tunables 0 0 0 : slabdata 116488 116488 0 kmalloc-32 18603 19712 32 128 1 : tunables 0 0 0 : slabdata 154 154 0 kmalloc-16 8895 9728 16 256 1 : tunables 0 0 0 : slabdata 38 38 0 kmalloc-8 9047 10752 8 512 1 : tunables 0 0 0 : slabdata 21 21 0 kmalloc-192 5130 9135 192 21 1 : tunables 0 0 0 : slabdata 435 435 0 kmalloc-96 1905 2940 96 42 1 : tunables 0 0 0 : slabdata 70 70 0 kmem_cache_node 196 256 64 64 1 : tunables 0 0 0 : slabdata 4 4 0 # cat /proc/buddyinfo Node 0, zone DMA 2 0 2 2 2 2 2 1 2 2 2 Node 0, zone DMA32 61877 10368 111 10 2 3 1 0 0 0 0 Node 0, zone Normal 2036 0 14 12 6 3 3 0 1 0 0 Node 1, zone Normal 483348 15 2 3 7 1 3 1 0 0 0 Best wishes, Chris. -- To unsubscribe, send a message with 'unsubscribe linux-mm' in the body to majordomo@xxxxxxxxxx For more info on Linux MM, see: http://www.linux-mm.org/ . Don't email: <a href=mailto:"dont@xxxxxxxxx";> email@xxxxxxxxx </a>