R: repeated out of shared memory error - not related to max_locks_per_transaction

"Alfonso Moscato" <alfonso.moscato@xxxxxxxxxxx> · Mon, 30 Jul 2018 11:09:33 +0200

I’ve not given up. I’m just collecting more data to better understand the root cause.
I was suggested to thorough investigate extensions.
Just to recap, I started with (I am including here only relevant data, you can find the complete configuration in the first email) max_locks_per_transaction at 384, 92GB of RAM, 23Gb of shared buffers, and
"plpgsql"
"mysql_fdw"
"multicorn" (ldap access)
"pg_cron"
 "tds_fdw"
 "pg_stat_statements"
Since then, I removed tds_fdw and pg_stat_statements, and I stopped all the queries using mysql_fdw. Multicorn refreshes a materialized view every 30 minutes, and so I don’t think it could be responsible of a continuous increase, minute after minute.
We are working to install pgagent and remove pg_cron too.
Then, I’ve been collecting shared memory usage every minute.
I see a constant increase of shared memory, more or less 200k every minute. When all users stop it decreases and sometimes it stops, but then it restarts without a clear reason. 
AFTER removing pg_stat_statements and increasing max_locks_per_transaction to 512 we haven’t experienced anymore “out of shared memory” messages.
I don’t know if I’ve just postponed the moment they will start, or if something is really changed (I’m inclined to not be too optimist, as the increase continues)
As for now we are at 

lun 30 lug 2018, 11.07.01, CEST | Shmem:          20255156 kB

You can see here shared memory increase during last Friday morning:
ven 27 lug 2018, 10.50.01, CEST | Shmem:          19767352 kB
ven 27 lug 2018, 10.49.01, CEST | Shmem:          19767136 kB
ven 27 lug 2018, 10.48.01, CEST | Shmem:          19766320 kB
ven 27 lug 2018, 10.47.01, CEST | Shmem:          19766208 kB
ven 27 lug 2018, 10.46.01, CEST | Shmem:          19765952 kB
ven 27 lug 2018, 10.45.01, CEST | Shmem:          19765792 kB
ven 27 lug 2018, 10.44.01, CEST | Shmem:          19765616 kB
ven 27 lug 2018, 10.43.01, CEST | Shmem:          19765480 kB
ven 27 lug 2018, 10.42.01, CEST | Shmem:          19765408 kB
ven 27 lug 2018, 10.41.01, CEST | Shmem:          19765232 kB
ven 27 lug 2018, 10.40.01, CEST | Shmem:          19765072 kB
ven 27 lug 2018, 10.39.01, CEST | Shmem:          19764920 kB
ven 27 lug 2018, 10.38.01, CEST | Shmem:          19764768 kB
ven 27 lug 2018, 10.37.01, CEST | Shmem:          19764576 kB
ven 27 lug 2018, 10.36.01, CEST | Shmem:          19764520 kB
ven 27 lug 2018, 10.35.01, CEST | Shmem:          19764312 kB
ven 27 lug 2018, 10.34.01, CEST | Shmem:          19764112 kB
ven 27 lug 2018, 10.33.01, CEST | Shmem:          19763984 kB
ven 27 lug 2018, 10.32.01, CEST | Shmem:          19763976 kB
ven 27 lug 2018, 10.31.01, CEST | Shmem:          19763976 kB
ven 27 lug 2018, 10.30.01, CEST | Shmem:          19763560 kB
ven 27 lug 2018, 10.29.01, CEST | Shmem:          19763424 kB
ven 27 lug 2018, 10.28.01, CEST | Shmem:          19763224 kB
ven 27 lug 2018, 10.27.01, CEST | Shmem:          19763144 kB
ven 27 lug 2018, 10.26.01, CEST | Shmem:          19763080 kB
ven 27 lug 2018, 10.25.01, CEST | Shmem:          19762920 kB
ven 27 lug 2018, 10.24.01, CEST | Shmem:          19762776 kB
ven 27 lug 2018, 10.23.02, CEST | Shmem:          19762648 kB
ven 27 lug 2018, 10.22.02, CEST | Shmem:          19762296 kB
ven 27 lug 2018, 10.21.01, CEST | Shmem:          19762056 kB
ven 27 lug 2018, 10.20.01, CEST | Shmem:          19761848 kB
ven 27 lug 2018, 10.19.01, CEST | Shmem:          19761576 kB
ven 27 lug 2018, 10.18.01, CEST | Shmem:          19761488 kB
ven 27 lug 2018, 10.17.01, CEST | Shmem:          19761408 kB
ven 27 lug 2018, 10.16.01, CEST | Shmem:          19761900 kB
ven 27 lug 2018, 10.15.01, CEST | Shmem:          19761680 kB
ven 27 lug 2018, 10.14.01, CEST | Shmem:          19760544 kB
ven 27 lug 2018, 10.13.01, CEST | Shmem:          19760472 kB
ven 27 lug 2018, 10.12.01, CEST | Shmem:          19760336 kB
ven 27 lug 2018, 10.11.01, CEST | Shmem:          19760240 kB
ven 27 lug 2018, 10.10.01, CEST | Shmem:          19760168 kB
ven 27 lug 2018, 10.09.01, CEST | Shmem:          19760024 kB
ven 27 lug 2018, 10.08.01, CEST | Shmem:          19759232 kB
ven 27 lug 2018, 10.07.01, CEST | Shmem:          19759096 kB
ven 27 lug 2018, 10.06.01, CEST | Shmem:          19758848 kB
ven 27 lug 2018, 10.05.01, CEST | Shmem:          19758664 kB
ven 27 lug 2018, 10.04.01, CEST | Shmem:          19758528 kB
ven 27 lug 2018, 10.03.01, CEST | Shmem:          19758328 kB
ven 27 lug 2018, 10.02.01, CEST | Shmem:          19758040 kB
ven 27 lug 2018, 10.01.01, CEST | Shmem:          19757840 kB
ven 27 lug 2018, 10.00.01, CEST | Shmem:          19757696 kB
ven 27 lug 2018, 09.59.01, CEST | Shmem:          19757656 kB
ven 27 lug 2018, 09.58.01, CEST | Shmem:          19757488 kB
ven 27 lug 2018, 09.57.01, CEST | Shmem:          19757376 kB
ven 27 lug 2018, 09.56.01, CEST | Shmem:          19757240 kB
ven 27 lug 2018, 09.55.01, CEST | Shmem:          19757184 kB
ven 27 lug 2018, 09.54.01, CEST | Shmem:          19757152 kB
ven 27 lug 2018, 09.53.01, CEST | Shmem:          19746856 kB
ven 27 lug 2018, 09.52.01, CEST | Shmem:          19740408 kB
ven 27 lug 2018, 09.51.01, CEST | Shmem:          19739976 kB
ven 27 lug 2018, 09.50.01, CEST | Shmem:          19739848 kB
ven 27 lug 2018, 09.49.01, CEST | Shmem:          19739584 kB
ven 27 lug 2018, 09.48.01, CEST | Shmem:          19739480 kB
ven 27 lug 2018, 09.47.01, CEST | Shmem:          19739344 kB
ven 27 lug 2018, 09.46.01, CEST | Shmem:          19739152 kB
ven 27 lug 2018, 09.45.01, CEST | Shmem:          19739096 kB
ven 27 lug 2018, 09.44.01, CEST | Shmem:          19739072 kB
ven 27 lug 2018, 09.43.01, CEST | Shmem:          19739000 kB
ven 27 lug 2018, 09.42.01, CEST | Shmem:          19738920 kB
ven 27 lug 2018, 09.41.01, CEST | Shmem:          19738792 kB
ven 27 lug 2018, 09.40.01, CEST | Shmem:          19738600 kB
ven 27 lug 2018, 09.39.01, CEST | Shmem:          19738464 kB
ven 27 lug 2018, 09.38.01, CEST | Shmem:          19738384 kB
ven 27 lug 2018, 09.37.01, CEST | Shmem:          19738136 kB
ven 27 lug 2018, 09.36.01, CEST | Shmem:          19738008 kB
ven 27 lug 2018, 09.35.01, CEST | Shmem:          19737872 kB
ven 27 lug 2018, 09.34.01, CEST | Shmem:          19737824 kB
ven 27 lug 2018, 09.33.01, CEST | Shmem:          19737728 kB
ven 27 lug 2018, 09.32.01, CEST | Shmem:          19737600 kB
ven 27 lug 2018, 09.31.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.30.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.29.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.28.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.27.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.26.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.25.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.24.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.23.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.22.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.21.01, CEST | Shmem:          19732200 kB
ven 27 lug 2018, 09.20.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.19.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.18.02, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.17.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.16.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.15.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.14.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.13.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.12.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.11.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.10.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.09.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.08.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.07.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.06.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.05.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.04.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.03.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.02.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.01.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 09.00.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.59.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.58.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.57.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.56.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.55.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.54.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.53.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.52.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.51.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.50.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.49.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.48.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.47.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.46.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.45.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.44.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.43.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.42.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.41.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.40.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.39.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.38.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.37.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.36.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.35.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.34.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.33.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.32.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.31.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.30.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.29.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.28.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.27.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.26.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.25.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.24.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.23.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.22.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.21.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.20.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.19.01, CEST | Shmem:          19724008 kB
ven 27 lug 2018, 08.18.01, CEST | Shmem:          19724008 kB

Regards
Alfonso

Da: David Morton <david.morton@xxxxxxxxx> 
Inviato: lunedì 30 luglio 2018 04:32
A: Alfonso Moscato (Merqurio) <alfonso.moscato@xxxxxxxxxxx>; Rui DeSousa <rui@xxxxxxxxxxxxx>
Cc: Tom Lane <tgl@xxxxxxxxxxxxx>; pgsql-admin@xxxxxxxxxxxxxxxxxxxx
Oggetto: Re: repeated out of shared memory error - not related to max_locks_per_transaction

This thread went cold very quickly … we are experiencing the exact same symptoms on one of our test systems. Was a solution found or are the investigations / work ongoing ?

We are happy to provide any information that may be useful for our case. 

David Morton
Senior Platform Engineer

MOB +64 21 544 503 EMAIL david.morton@xxxxxxxxx 

   EROAD
Level 3, 260 Oteha Valley Road, Albany, Auckland, New Zealand
PO Box 305 394, Triton Plaza, North Shore 0757, Auckland, NZ

TEL +64 9 927 4700 TOLL FREE 0800 4 EROAD
www.eroad.co.nz - Twitter - LinkedIn

This message is for the named person's use only. It may contain confidential, privileged, private or proprietary information. No confidentiality is waived or lost by any mistransmission. If you receive this message in error, please immediately delete it and all copies of it from your system, destroy hard copies of it and notify the sender. You must not, directly or indirectly, use, disclose, distribute, print or copy any part of this message if you are not the intended recipient. EROAD Limited reserves the right to monitor all e-mail communications through its networks. Any views expressed in this message are those of the individual sender, except where the message states otherwise and the sender is authorised to state them to be the views of EROAD Limited. To the maximum extent permitted by law, EROAD Limited is not liable (including in negligence) for viruses or other defects or for changes made to this email or to any attachments. Before opening or using attachments, please check them for viruses and other defects. 