On Sat, 2007-04-14 at 23:23 -0500, Matt Domsch wrote: > At about 11pm CDT, I noticed db1 stopped responding to pgsql database > connections to either the mirrormanager database or the FAS database. > One can start to connect to it: > > psql -h db1 -d mirrormanager -U mirroradmin -W > Password for user mirroradmin: > > > but it just hangs at this point. Other apps trying to access it are > also hanging. > > I don't have access to db1, nor do I know enough about pgsql to feel > comfortable digging. Hopefully someone who has both access and skill > can take a look? > I've just restarted the postgres server. It looks to me as though koji might have been the culprit. Some output of ps prior to restarting postgres is attached. After restarting the db, FASv1 was available. packagedb and packagedb-devel were runnable (but this could be because they were not running when the db was restarted and the autostart script started them fresh.) mirrormanager was down until I restarted the script on publictest7. koji was down and is still down. If someone who knows koji could restart it, that would be great. -Toshio
10828 ? S 1:08 /usr/bin/postmaster -p 5432 -D /var/lib/pgsql/data 10831 ? S 180:10 postgres: stats buffer process 10832 ? S 140:04 postgres: stats collector process 31373 ? S 0:00 postgres: apache fassession 10.8.34.83 idle 31374 ? S 0:00 postgres: apache fassession 10.8.34.83 idle 5536 ? S 0:00 postgres: apache fedorausers 10.8.34.83 idle 15890 ? S 0:00 postgres: apache fedorausers 10.8.34.50 idle in transaction 22085 ? S 97:30 postgres: koji koji 10.8.34.98 idle in transaction 22349 ? S 89:26 postgres: koji koji 10.8.34.98 idle in transaction 22365 ? S 89:46 postgres: koji koji 10.8.34.98 idle in transaction 23009 ? R 73:47 postgres: koji koji 10.8.34.98 UPDATE 23355 ? S 60:28 postgres: koji koji 10.8.34.98 UPDATE 23431 ? R 59:05 postgres: koji koji 10.8.34.98 UPDATE 24008 ? S 42:30 postgres: koji koji 10.8.34.98 idle in transaction 24031 ? S 41:58 postgres: koji koji 10.8.34.98 idle in transaction 24032 ? S 42:09 postgres: koji koji 10.8.34.98 idle in transaction 24033 ? S 41:29 postgres: koji koji 10.8.34.98 idle in transaction 24193 ? S 34:53 postgres: koji koji 10.8.34.98 idle in transaction 24291 ? R 32:40 postgres: koji koji 10.8.34.98 UPDATE 24429 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle in transaction 24430 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle in transaction 24431 ? S 0:00 postgres: apache fassession 10.8.34.97 idle 24432 ? S 0:00 postgres: apache fassession 10.8.34.97 idle 24434 ? S 0:00 postgres: apache fedorausers 10.8.34.97 idle 24435 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle 24439 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 VACUUM waiting 24446 ? S 0:00 su - postgres /var/lib/pgsql/save-db /var/lib/pgsql/backups/db-backup.new 24512 ? S 0:00 postgres: postgres mirrormanager [local] LOCK TABLE waiting 24513 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 VACUUM waiting 24524 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24525 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24526 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24529 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24535 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting 24568 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24569 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24570 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24591 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24614 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting 24627 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24628 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24643 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24644 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24645 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24658 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24659 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24664 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting 24665 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24670 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24673 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting 24680 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24681 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24682 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24686 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24689 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24696 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24744 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24745 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24748 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24749 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24750 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24755 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24756 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24762 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24763 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24764 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24767 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24768 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24769 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24774 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24812 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24813 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24814 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24815 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting 24816 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24817 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24819 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24821 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24822 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting 24830 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24831 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24836 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24844 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24850 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24851 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24852 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24855 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24856 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting 24864 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24868 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24869 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24870 ? S 0:00 postgres: apache fedorausers 10.8.34.200 startup waiting 24873 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 24878 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24881 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24882 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24883 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24887 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24888 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24889 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24890 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24891 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24896 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 24897 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24899 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24901 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24902 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24908 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24909 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24919 ? S 0:00 su - postgres /var/lib/pgsql/save-db /var/lib/pgsql/backups/db-backup.new 24953 ? S 0:00 postgres: postgres template1 [local] startup waiting 24955 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24956 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24969 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24972 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24973 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24974 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 24977 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 24978 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25007 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25017 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25018 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting 25019 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25020 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 25021 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25023 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25024 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25025 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25034 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25035 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25040 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 25041 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 25052 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25053 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25054 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25059 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting 25061 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 25069 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25070 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25075 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting 25076 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25079 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25089 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25090 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25091 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25097 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25149 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25152 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25158 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25164 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25165 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25166 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25172 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25173 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25179 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting 25212 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25213 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25214 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting 25215 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25216 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting 25218 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25219 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25220 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25221 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting 25230 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting 25282 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25283 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting 25343 pts/0 S 0:00 grep post
Attachment:
signature.asc
Description: This is a digitally signed message part
