| Hi all, A customer's database has started whining about a busted block: postgresql-8.4-main.log:2012-10-02 18:51:33 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614 postgresql-8.4-main.log:2012-10-02 18:56:52 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614 postgresql-8.4-main.log:2012-10-02 21:06:18 EST ERROR: invalid memory alloc request size 18446744073709551610 postgresql-8.4-main.log:2012-10-03 00:31:12 EST ERROR: invalid memory alloc request size 18446744073709551610 postgresql-8.4-main.log:2012-10-03 06:19:18 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614 postgresql-8.4-main.log:2012-10-03 07:00:01 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614 A bit scary! We're looking in to what's up and I'd love some help... I've attached a hex dump of the block in question using instructions I dug up from the mailing list http://archives.postgresql.org/pgsql-general/2005-11/msg01145.php Tom's diagnosis of that particular block isn't perfectly applicable in this case because there're a few non-zero bytes in the first page of my broken block. I'd love some hints at what the problem might be (should we be doing a mem test, throwing out the raid controller, ugprading the kernel, etc). I'm super concerned that the cause of this problem might be transmitted by WAL as well… is that possible? Cheers, --Royce dd bs=8k skip=41201 count=1 if=base/807305056/950827614.64 | od -x 0000000 0000 0000 0000 0000 0000 0000 0000 0000 * 0007000 4645 2049 4150 5452 0000 0001 005c 0000 0007020 eba6 dde7 0000 0000 88af 37e2 0000 0000 0007040 0001 0000 0000 0000 0022 0000 0000 0000 0007060 448e 1bf2 0000 0000 480b 1ed8 90fe 45a8 0007100 8e98 288e b5c1 ab3c 888f 37e2 0000 0000 0007120 0080 0000 0080 0000 3d87 e5b3 0000 0000 0007140 0000 0000 0000 0000 0000 0000 0000 0000 * 0010000 ffff 00c8 aa96 000e 06b6 0000 0000 0000 0010020 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0010040 01c1 0000 0000 0000 c7ab 0571 0000 0000 0010060 a1a7 0000 0080 a0f1 0027 000f 0903 7f20 0010100 007d 0000 0000 0000 87fd 76cd 0000 0000 0010120 7210 111c 6d14 1795 ddb2 0003 0613 ff00 0010140 2bff 8c00 0b23 0006 0000 0000 aa96 000e 0010160 010d 0000 0000 0000 b3ea 68d0 60c1 0001 0010200 0007 0000 fd68 0000 01c1 0000 0000 0000 0010220 c7ab 0571 0000 0000 a1a4 0000 0080 a0f1 0010240 0026 000f 0903 7f20 007d 0000 0000 0000 0010260 87fc 76cd 0000 0000 720e 111c 6d13 1795 0010300 ddb2 0003 0613 ff00 a8ff f006 0f23 0006 0010320 ffff 06a4 aa96 000e 04ae 0000 0000 0000 0010340 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0010360 01c1 0000 0000 0000 c7ab 0571 0000 0000 0010400 a1a1 0000 0080 a0f1 0025 000f 0903 7f20 0010420 007d 0000 0000 0000 87fb 76cd 0000 0000 0010440 71e6 111c 6cff 1795 ddb2 0003 060f ff00 0010460 2fff 0f04 0006 ffff 044c 0000 aa96 000e 0010500 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0010520 0007 0000 fd68 0000 01c1 0000 0000 0000 0010540 c7ab 0571 0000 0000 a19e 0000 0080 a0f1 0010560 0024 000f 0903 7f20 007d 0000 0000 0000 0010600 87fa 76cd 0000 0000 71ce 111c 6cf3 1795 0010620 ddb2 0003 0613 ff00 11ff a800 0b16 0006 0010640 0000 0000 aa96 000e 010d 0000 0000 0000 0010660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0010700 01c1 0000 0000 0000 c7ab 0571 0000 0000 0010720 a19b 0000 0080 a0f1 0023 000f 0903 7f20 0010740 007d 0000 0000 0000 87f9 76cd 0000 0000 0010760 717a 111c 6cc9 1795 ddb2 0003 000b 0000 0011000 0b00 0006 0000 0000 aa96 000e 06b6 0000 0011020 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0011040 01c1 0000 0000 0000 c7ab 0571 0000 0000 0011060 a198 0000 0080 a0f1 0022 000f 0903 7f20 0011100 007d 0000 0000 0000 87f8 76cd 0000 0000 0011120 7134 111c 6ca6 1795 ddb2 0003 0613 ff00 0011140 f0ff a40c 0f06 0006 ffff 0ce4 aa96 000e 0011160 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0011200 0007 0000 fd68 0000 01c1 0000 0000 0000 0011220 c7ab 0571 0000 0000 a195 0000 0080 a0f1 0011240 0021 000f 0903 7f20 007d 0000 0000 0000 0011260 87f7 76cd 0000 0000 7118 111c 6c98 1795 0011300 ddb2 0003 0613 ff00 14ff 8803 0f13 0006 0011320 ffff 0320 aa96 000e 04ae 0000 0000 0000 0011340 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0011360 01c1 0000 0000 0000 c7ab 0571 0000 0000 0011400 a192 0000 0080 a0f1 0020 000f 0903 7f20 0011420 007d 0000 0000 0000 87f6 76cd 0000 0000 0011440 710a 111c 6c91 1795 ddb2 0003 0613 ff00 0011460 deff 2003 0f03 0006 ffff 03e8 aa96 000e 0011500 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0011520 0007 0000 fd68 0000 01c1 0000 0000 0000 0011540 c7ab 0571 0000 0000 a18f 0000 0080 a0f1 0011560 001f 000f 0903 7f20 007d 0000 0000 0000 0011600 87f5 76cd 0000 0000 7104 111c 6c8e 1795 0011620 ddb2 0003 0613 ff00 fdff 6803 0f10 0006 0011640 ffff 03e8 aa96 000e 010d 0000 0000 0000 0011660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0011700 01c1 0000 0000 0000 c7ab 0571 0000 0000 0011720 a18c 0000 0080 a0f1 001e 000f 0903 7f20 0011740 007d 0000 0000 0000 87f4 76cd 0000 0000 0011760 70e6 111c 6c7f 1795 ddb2 0003 0613 ff00 0012000 72ff c401 0f09 0006 ffff 0190 aa96 000e 0012020 057c 0000 0000 0000 b3ea 68d0 60c1 0001 0012040 0007 0000 fd68 0000 01c1 0000 0000 0000 0012060 c7ab 0571 0000 0000 a189 0000 0080 a0f1 0012100 001d 000f 0903 7f20 007d 0000 0000 0000 0012120 87f3 76cd 0000 0000 70e0 111c 6c7c 1795 0012140 ddb2 0003 0613 ff00 1dff 4c00 0b1d 0006 0012160 0000 0000 aa96 000e 06b6 0000 0000 0000 0012200 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0012220 01c1 0000 0000 0000 c7ab 0571 0000 0000 0012240 a186 0000 0080 a0f1 001c 000f 0903 7f20 0012260 007d 0000 0000 0000 87f2 76cd 0000 0000 0012300 70d2 111c 6c75 1795 ddb2 0003 060f ff00 0012320 64ff 0f00 0006 ffff 0064 0000 aa96 000e 0012340 04ae 0000 0000 0000 b3ea 68d0 60c1 0001 0012360 0007 0000 fd68 0000 01c1 0000 0000 0000 0012400 c7ab 0571 0000 0000 a183 0000 0080 a0f1 0012420 001b 000f 0903 7f20 007c 0000 0000 0000 0012440 87f1 76cd 0000 0000 70d0 111c 6c74 1795 0012460 ddb2 0003 0613 ff00 41ff a409 0f06 0006 0012500 ffff 0960 aa96 000e b3ea 68d0 60c1 0001 0012520 0007 0000 fd68 0000 01c1 0000 0000 0000 0012540 c7ab 0571 0000 0000 a180 0000 0080 a0f1 0012560 001a 000f 0903 7f20 007d 0000 0000 0000 0012600 87f0 76cd 0000 0000 70ca 111c 6c71 1795 0012620 ddb2 0003 0613 ff00 26ff 6c20 0f20 0006 0012640 ffff 2008 aa96 000e 06d2 0000 0000 0000 0012660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0012700 01c1 0000 0000 0000 c7ab 0571 0000 0000 0012720 a17d 0000 0080 a0f1 0019 000f 0903 7f20 0012740 007d 0000 0000 0000 87ef 76cd 0000 0000 0012760 70be 111c 6c6b 1795 ddb2 0003 0613 ff00 0013000 b2ff 2002 0f03 0006 ffff 02bc aa96 000e 0013020 04ae 0000 0000 0000 b3ea 68d0 60c1 0001 0013040 0007 0000 fd68 0000 01c1 0000 0000 0000 0013060 c7ab 0571 0000 0000 a17a 0000 0080 a0f1 0013100 0018 000f 0903 7f20 007d 0000 0000 0000 0013120 87ee 76cd 0000 0000 7096 111c 6c57 1795 0013140 ddb2 0003 0613 ff00 09ff f000 0b23 0006 0013160 0000 0000 aa96 000e 06b6 0000 0000 0000 0013200 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0013220 01c1 0000 0000 0000 c7ab 0571 0000 0000 0013240 a177 0000 0080 a0f1 0017 000f 0903 7f20 0013260 007d 0000 0000 0000 87ed 76cd 0000 0000 0013300 708a 111c 6c51 1795 ddb2 0003 0613 ff00 0013320 02ff c403 0f09 0006 ffff 0320 aa96 000e 0013340 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0013360 0007 0000 fd68 0000 01c1 0000 0000 0000 0013400 c7ab 0571 0000 0000 a174 0000 0080 a0f1 0013420 0016 000f 0903 7f20 007d 0000 0000 0000 0013440 87ec 76cd 0000 0000 706c 111c 6c42 1795 0013460 ddb2 0003 0613 ff00 1dff 4c00 0b1d 0006 0013500 0000 0000 aa96 000e 0686 0000 0000 0000 0013520 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0013540 01c1 0000 0000 0000 c7ab 0571 0000 0000 0013560 a171 0000 0080 a0f1 0015 000f 0903 7f20 0013600 007d 0000 0000 0000 87eb 76cd 0000 0000 0013620 706a 111c 6c41 1795 ddb2 0003 0613 ff00 0013640 acff 4c00 0f1d 0006 ffff 00c8 aa96 000e 0013660 056b 0000 0000 0000 b3ea 68d0 60c1 0001 0013700 0007 0000 fd68 0000 01c1 0000 0000 0000 0013720 c7ab 0571 0000 0000 a16e 0000 0080 a0f1 0013740 0014 000f 0903 7f20 007d 0000 0000 0000 0013760 87ea 76cd 0000 0000 7064 111c 6c3e 1795 0014000 ddb2 0003 0613 ff00 3dff e401 0f0c 0006 0014020 ffff 012c aa96 000e 06b6 0000 0000 0000 0014040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0014060 01c1 0000 0000 0000 c7ab 0571 0000 0000 0014100 a16b 0000 0080 a0f1 0013 000f 0903 7f20 0014120 007d 0000 0000 0000 87e9 76cd 0000 0000 0014140 705e 111c 6c3b 1795 ddb2 0003 0613 ff00 0014160 09ff f000 0b23 0006 0000 0000 aa96 000e 0014200 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0014220 0007 0000 fd68 0000 01c1 0000 0000 0000 0014240 c7ab 0571 0000 0000 a168 0000 0080 a0f1 0014260 0012 000f 0903 7f20 007d 0000 0000 0000 0014300 87e8 76cd 0000 0000 7056 111c 6c37 1795 0014320 ddb2 0003 060f ff00 64ff 0f00 0006 ffff 0014340 0064 0000 aa96 000e 06b6 0000 0000 0000 0014360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0014400 01c1 0000 0000 0000 c7ab 0571 0000 0000 0014420 a165 0000 0080 a0f1 0011 000f 0903 7f20 0014440 007d 0000 0000 0000 87e7 76cd 0000 0000 0014460 7052 111c 6c35 1795 ddb2 0003 060f ff00 0014500 bcff 0f02 0006 ffff 02bc 0000 aa96 000e 0014520 04ae 0000 0000 0000 b3ea 68d0 60c1 0001 0014540 0007 0000 fd68 0000 01c1 0000 0000 0000 0014560 c7ab 0571 0000 0000 a162 0000 0080 a0f1 0014600 0010 000f 0903 7f20 007d 0000 0000 0000 0014620 87e6 76cd 0000 0000 7030 111c 6c24 1795 0014640 ddb2 0003 060f ff00 bcff 0f02 0006 ffff 0014660 02bc 0000 aa96 000e 0686 0000 0000 0000 0014700 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0014720 01c1 0000 0000 0000 c7ab 0571 0000 0000 0014740 a15f 0000 0080 a0f1 000f 000f 0903 7f20 0014760 007c 0000 0000 0000 87e5 76cd 0000 0000 0015000 7028 111c 6c20 1795 ddb2 0003 060f ff00 0015020 4cff 0f04 0006 ffff 044c 0000 aa96 000e 0015040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0015060 01c1 0000 0000 0000 c7ab 0571 0000 0000 0015100 a15c 0000 0080 a0f1 000e 000f 0903 7f20 0015120 007d 0000 0000 0000 87e4 76cd 0000 0000 0015140 7024 111c 6c1e 1795 ddb2 0003 060f ff00 0015160 64ff 0f00 0006 ffff 0064 0000 aa96 000e 0015200 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0015220 0007 0000 fd68 0000 01c1 0000 0000 0000 0015240 c7ab 0571 0000 0000 a159 0000 0080 a0f1 0015260 000d 000f 0903 7f20 007d 0000 0000 0000 0015300 87e3 76cd 0000 0000 7014 111c 6c16 1795 0015320 ddb2 0003 060f ff00 78ff 0f05 0006 ffff 0015340 0578 0000 aa96 000e 06b6 0000 0000 0000 0015360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0015400 01c1 0000 0000 0000 c7ab 0571 0000 0000 0015420 a156 0000 0080 a0f1 000c 000f 0903 7f20 0015440 007c 0000 0000 0000 87e2 76cd 0000 0000 0015460 7010 111c 6c14 1795 ddb2 0003 060f ff00 0015500 28ff 0f0a 0006 ffff 0a28 0000 aa96 000e 0015520 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0015540 01c1 0000 0000 0000 c7ab 0571 0000 0000 0015560 a153 0000 0080 a0f1 000b 000f 0903 7f20 0015600 007d 0000 0000 0000 87e1 76cd 0000 0000 0015620 700c 111c 6c12 1795 ddb2 0003 060f ff00 0015640 43ff 0f00 0006 ffff 0064 0000 aa96 000e 0015660 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0015700 0007 0000 fd68 0000 01c1 0000 0000 0000 0015720 c7ab 0571 0000 0000 a150 0000 0080 a0f1 0015740 000a 000f 0903 7f20 007d 0000 0000 0000 0015760 87e0 76cd 0000 0000 6ffa 111c 6c09 1795 0016000 ddb2 0003 060f ff00 41ff 0f03 0006 ffff 0016020 0320 0000 aa96 000e 04ae 0000 0000 0000 0016040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0016060 01c1 0000 0000 0000 c7ab 0571 0000 0000 0016100 a14d 0000 0080 a0f1 0009 000f 0903 7f20 0016120 007d 0000 0000 0000 87df 76cd 0000 0000 0016140 6ff2 111c 6c05 1795 ddb2 0003 0613 ff00 0016160 86ff f001 0f23 0006 ffff 0190 aa96 000e 0016200 019e 0000 0000 0000 b3ea 68d0 60c1 0001 0016220 0007 0000 fd68 0000 01c1 0000 0000 0000 0016240 c7ab 0571 0000 0000 a14a 0000 0080 a0f1 0016260 0008 000f 0903 7f20 007d 0000 0000 0000 0016300 87de 76cd 0000 0000 6fee 111c 6c03 1795 0016320 ddb2 0003 0613 ff00 6dff 2000 0f03 0006 0016340 ffff 0064 aa96 000e 0686 0000 0000 0000 0016360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0016400 01c1 0000 0000 0000 c7ab 0571 0000 0000 0016420 a147 0000 0080 a0f1 0007 000f 0903 7f20 0016440 007d 0000 0000 0000 87dd 76cd 0000 0000 0016460 6fdc 111c 6bfa 1795 ddb2 0003 0613 ff00 0016500 beff f000 0f23 0006 ffff 00c8 aa96 000e 0016520 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0016540 0007 0000 fd68 0000 01c1 0000 0000 0000 0016560 c7ab 0571 0000 0000 a144 0000 0080 a0f1 0016600 0006 000f 0903 7f20 007d 0000 0000 0000 0016620 87dc 76cd 0000 0000 6fc2 111c 6bed 1795 0016640 ddb2 0003 0613 ff00 6dff 2000 0f03 0006 0016660 ffff 0064 aa96 000e 06b6 0000 0000 0000 0016700 b3ea 68d0 60c1 0001 0007 0000 fd68 0000 0016720 01c1 0000 0000 0000 c7ab 0571 0000 0000 0016740 a13f 0000 0080 a0f1 0005 000f 0903 ff20 0016760 007d 0000 0000 0000 87db 76cd 0000 0000 0017000 bada 111c 9179 1795 ddc0 0003 0613 ff00 0017020 1aff 2c00 131a 0006 ffff 001a 1a2c 0000 0017040 e2cf 000c 06b6 0000 04ae 0000 0000 0000 0017060 b3ea 68d0 60c1 0001 0007 0000 ad04 0000 0017100 01c0 0000 0000 0000 c7ab 0571 0000 0000 0017120 a13c 0000 0080 a0f1 0004 000f 0903 ff20 0017140 007d 0000 0000 0000 87da 76cd 0000 0000 0017160 baae 111c 9163 1795 ddc0 0003 0613 ff00 0017200 62ff 2c00 131a 0006 ffff 0062 1a2c 0000 0017220 e2d8 000c 0623 0000 0623 0000 0000 0000 0017240 b3ea 68d0 60c1 0001 0007 0000 ad04 0000 0017260 01c0 0000 0000 0000 c7ab 0571 0000 0000 0017300 a139 0000 0080 a0f1 0003 000f 0903 ff20 0017320 007d 0000 0000 0000 87d9 76cd 0000 0000 0017340 ba8c 111c 9152 1795 ddc0 0003 0613 ff00 0017360 35ff e400 130c 0006 ffff 0035 0ce4 0000 0017400 e2d2 000c 0192 0000 06b6 0000 0000 0000 0017420 b3ea 68d0 60c1 0001 0007 0000 ad04 0000 0017440 01c0 0000 0000 0000 c7ab 0571 0000 0000 0017460 a136 0000 0080 a0f1 0002 000f 0903 ff20 0017500 007c 0000 0000 0000 87d8 76cd 0000 0000 0017520 ba32 111c 9125 1795 ddc0 0003 0613 ff00 0017540 62ff 2c03 131a 0006 ffff 0362 1a2c 0000 0017560 e2cf 000c 05ba 0000 b3ea 68d0 60c1 0001 0017600 0007 0000 ad04 0000 01c0 0000 0000 0000 0017620 c7ab 0571 0000 0000 a133 0000 0080 a0f1 0017640 0001 000f 0903 ff20 007d 0000 0000 0000 0017660 87d7 76cd 0000 0000 ba14 111c 9116 1795 0017700 ddc0 0003 0613 ff00 8aff 2c00 131a 0006 0017720 ffff 008a 1a2c 0000 e2cf 000c 06b6 0000 0017740 06b6 0000 0000 0000 b3ea 68d0 60c1 0001 0017760 0007 0000 ad04 0000 01c0 0000 0000 0000 0020000 |
<<attachment: smime.p7s>>
