2008-07-02 11:17:00 [ndbd] INFO -- Angel pid: 3078 ndb pid: 3079 2008-07-02 11:17:00 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-02 11:17:00 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-02 11:17:00 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-02 11:17:00 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-02 11:17:00 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-02 11:23:49 [ndbd] INFO -- Shutdown initiated 2008-07-02 11:23:50 [ndbd] INFO -- Shutdown completed - exiting 2008-07-02 11:23:50 [ndbd] INFO -- Angel shutting down 2008-07-02 11:23:50 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-02 11:24:55 [ndbd] INFO -- Angel pid: 3205 ndb pid: 3206 2008-07-02 11:24:55 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-02 11:24:55 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-02 11:24:55 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-02 11:24:55 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-02 11:24:55 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1037 rows applied RESTORE table: 0 1011 rows applied RESTORE table: 1 0 rows applied RESTORE table: 1 0 rows applied m_active_buckets.set(1) alloc_chunk(33 16) - start_resend(0, empty bucket -> active 2008-07-03 22:44:14 [ndbd] INFO -- Shutdown initiated 2008-07-03 22:44:15 [ndbd] INFO -- Shutdown completed - exiting 2008-07-03 22:44:15 [ndbd] INFO -- Angel shutting down 2008-07-03 22:44:15 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-03 22:44:57 [ndbd] INFO -- Angel pid: 3551 ndb pid: 3552 2008-07-03 22:44:57 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-03 22:44:57 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-03 22:44:57 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-03 22:44:57 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-03 22:44:57 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1040 rows applied RESTORE table: 0 1014 rows applied RESTORE table: 1 4 rows applied RESTORE table: 1 3 rows applied RESTORE table: 2 2 rows applied RESTORE table: 2 4 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 1 rows applied RESTORE table: 4 0 rows applied RESTORE table: 4 0 rows applied RESTORE table: 5 0 rows applied RESTORE table: 5 1 rows applied RESTORE table: 6 0 rows applied RESTORE table: 6 0 rows applied RESTORE table: 7 0 rows applied RESTORE table: 7 0 rows applied RESTORE table: 8 0 rows applied RESTORE table: 8 0 rows applied RESTORE table: 9 15 rows applied RESTORE table: 9 14 rows applied RESTORE table: 11 21224 rows applied RESTORE table: 11 20977 rows applied RESTORE table: 12 20914 rows applied RESTORE table: 12 20668 rows applied m_active_buckets.set(1) alloc_chunk(2491 16) - 2008-07-03 22:47:06 [ndbd] INFO -- Shutdown initiated 2008-07-03 22:47:07 [ndbd] INFO -- Shutdown completed - exiting 2008-07-03 22:47:07 [ndbd] INFO -- Angel shutting down 2008-07-03 22:47:07 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-03 22:48:51 [ndbd] INFO -- Angel pid: 3597 ndb pid: 3598 2008-07-03 22:48:51 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-03 22:48:51 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-03 22:48:51 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-03 22:48:51 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-03 22:48:51 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-03 22:49:01 [ndbd] INFO -- Node 2 disconnected 2008-07-03 22:49:01 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-03 22:49:01 [ndbd] INFO -- Error handler startup shutting down system 2008-07-03 22:49:01 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-03 22:49:01 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-03 22:49:01 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-03 22:50:03 [ndbd] INFO -- Angel pid: 3664 ndb pid: 3665 2008-07-03 22:50:03 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-03 22:50:03 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-03 22:50:03 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-03 22:50:03 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-03 22:50:03 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-03 22:50:28 [ndbd] INFO -- Node 2 disconnected 2008-07-03 22:50:28 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-03 22:50:28 [ndbd] INFO -- Error handler startup shutting down system 2008-07-03 22:50:28 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-03 22:50:28 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-03 22:50:28 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-03 22:51:20 [ndbd] INFO -- Angel pid: 3702 ndb pid: 3703 2008-07-03 22:51:20 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-03 22:51:20 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-03 22:51:20 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-03 22:51:21 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-03 22:51:21 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-04 08:09:13 [ndbd] INFO -- Shutdown initiated 2008-07-04 08:09:14 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 08:09:14 [ndbd] INFO -- Angel shutting down 2008-07-04 08:09:14 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 08:43:18 [ndbd] INFO -- Angel pid: 3919 ndb pid: 3920 2008-07-04 08:43:18 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 08:43:18 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 08:43:18 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 08:43:18 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 08:43:18 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 08:43:46 [ndbd] INFO -- Received signal 15. Performing stop. 2008-07-04 08:43:46 [ndbd] INFO -- Shutdown initiated 2008-07-04 08:43:46 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 08:43:46 [ndbd] INFO -- Angel shutting down 2008-07-04 08:43:46 [ndbd] INFO -- Node 3: Node shutdown completed. Initiated by signal 15. 2008-07-04 08:44:00 [ndbd] INFO -- Angel pid: 3958 ndb pid: 3959 2008-07-04 08:44:00 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 08:44:00 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 08:44:00 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 08:44:00 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 08:44:00 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 08:46:17 [ndbd] INFO -- Shutdown initiated 2008-07-04 08:46:18 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 08:46:18 [ndbd] INFO -- Angel shutting down 2008-07-04 08:46:18 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 08:46:34 [ndbd] INFO -- Angel pid: 3996 ndb pid: 3997 2008-07-04 08:46:34 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 08:46:34 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 08:46:34 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 08:46:34 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 08:46:34 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-04 09:51:07 [ndbd] INFO -- Shutdown initiated 2008-07-04 09:51:07 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 09:51:07 [ndbd] INFO -- Angel shutting down 2008-07-04 09:51:07 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 09:51:07 [ndbd] WARNING -- Unable to report shutdown reason to 192.168.168.100:1186: Illegal reply from server : 2008-07-04 09:51:27 [ndbd] INFO -- Angel pid: 4043 ndb pid: 4044 2008-07-04 09:51:27 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 09:51:27 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 09:51:27 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 09:51:27 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 09:51:27 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1065 rows applied RESTORE table: 0 1038 rows applied RESTORE table: 1 53 rows applied RESTORE table: 1 44 rows applied RESTORE table: 2 31 rows applied RESTORE table: 2 25 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 43746 rows applied RESTORE table: 10 43853 rows applied RESTORE table: 11 43200 rows applied RESTORE table: 11 43293 rows applied RESTORE table: 22 69899 rows applied RESTORE table: 22 69984 rows applied RESTORE table: 25 69612 rows applied RESTORE table: 25 70271 rows applied RESTORE table: 28 63976 rows applied RESTORE table: 28 64384 rows applied RESTORE table: 29 42768 rows applied RESTORE table: 29 43139 rows applied RESTORE table: 30 106879 rows applied RESTORE table: 30 107549 rows applied RESTORE table: 33 63854 rows applied RESTORE table: 33 64506 rows applied RESTORE table: 39 5838 rows applied RESTORE table: 39 5683 rows applied RESTORE table: 40 1047 rows applied RESTORE table: 40 1000 rows applied RESTORE table: 41 4533 rows applied RESTORE table: 41 4378 rows applied RESTORE table: 44 5838 rows applied RESTORE table: 44 5683 rows applied RESTORE table: 49 543 rows applied RESTORE table: 49 509 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 2 rows applied RESTORE table: 51 1 rows applied RESTORE table: 51 1 rows applied RESTORE table: 54 9590 rows applied RESTORE table: 54 9545 rows applied RESTORE table: 57 96274 rows applied RESTORE table: 57 96668 rows applied RESTORE table: 60 8397 rows applied RESTORE table: 60 8322 rows applied RESTORE table: 63 10961 rows applied RESTORE table: 63 10839 rows applied RESTORE table: 66 3649 rows applied RESTORE table: 66 3459 rows applied RESTORE table: 69 789 rows applied RESTORE table: 69 753 rows applied RESTORE table: 72 0 rows applied RESTORE table: 72 0 rows applied RESTORE table: 75 352 rows applied RESTORE table: 75 316 rows applied RESTORE table: 76 15 rows applied RESTORE table: 76 23 rows applied RESTORE table: 77 14 rows applied RESTORE table: 77 10 rows applied RESTORE table: 78 15 rows applied RESTORE table: 78 16 rows applied RESTORE table: 79 15 rows applied RESTORE table: 79 16 rows applied RESTORE table: 80 16 rows applied RESTORE table: 80 14 rows applied RESTORE table: 81 14 rows applied RESTORE table: 81 15 rows applied RESTORE table: 82 16 rows applied RESTORE table: 82 15 rows applied RESTORE table: 83 14 rows applied RESTORE table: 83 14 rows applied RESTORE table: 84 14 rows applied RESTORE table: 84 22 rows applied RESTORE table: 85 15 rows applied RESTORE table: 85 17 rows applied RESTORE table: 86 15 rows applied RESTORE table: 86 16 rows applied RESTORE table: 89 354 rows applied RESTORE table: 89 314 rows applied RESTORE table: 90 246 rows applied RESTORE table: 90 228 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 104 237 rows applied RESTORE table: 104 237 rows applied RESTORE table: 105 5 rows applied RESTORE table: 105 9 rows applied RESTORE table: 106 0 rows applied RESTORE table: 106 1 rows applied RESTORE table: 109 361 rows applied RESTORE table: 109 343 rows applied RESTORE table: 110 14 rows applied RESTORE table: 110 7 rows applied RESTORE table: 112 0 rows applied RESTORE table: 112 0 rows applied RESTORE table: 114 83 rows applied RESTORE table: 114 72 rows applied RESTORE table: 116 3 rows applied RESTORE table: 116 4 rows applied RESTORE table: 118 0 rows applied RESTORE table: 118 2 rows applied RESTORE table: 120 19479 rows applied RESTORE table: 120 19896 rows applied RESTORE table: 122 7 rows applied RESTORE table: 122 8 rows applied RESTORE table: 123 7 rows applied RESTORE table: 123 8 rows applied RESTORE table: 130 9 rows applied RESTORE table: 130 5 rows applied RESTORE table: 131 9 rows applied RESTORE table: 131 5 rows applied RESTORE table: 133 8 rows applied RESTORE table: 133 7 rows applied RESTORE table: 136 20 rows applied RESTORE table: 136 18 rows applied RESTORE table: 140 20 rows applied RESTORE table: 140 20 rows applied RESTORE table: 144 44382 rows applied RESTORE table: 144 44337 rows applied RESTORE table: 145 44071 rows applied RESTORE table: 145 44021 rows applied RESTORE table: 148 44322 rows applied RESTORE table: 148 44397 rows applied RESTORE table: 149 74702 rows applied RESTORE table: 149 74201 rows applied RESTORE table: 153 98361 rows applied RESTORE table: 153 98731 rows applied RESTORE table: 157 108871 rows applied RESTORE table: 157 109237 rows applied RESTORE table: 161 64011 rows applied RESTORE table: 161 64008 rows applied RESTORE table: 164 22156 rows applied RESTORE table: 164 22308 rows applied RESTORE table: 167 22173 rows applied RESTORE table: 167 22291 rows applied RESTORE table: 168 634 rows applied RESTORE table: 168 569 rows applied RESTORE table: 172 58 rows applied RESTORE table: 172 70 rows applied RESTORE table: 175 27 rows applied RESTORE table: 175 29 rows applied RESTORE table: 178 0 rows applied RESTORE table: 178 1 rows applied RESTORE table: 179 0 rows applied RESTORE table: 179 0 rows applied RESTORE table: 181 3871 rows applied RESTORE table: 181 3884 rows applied RESTORE table: 182 6 rows applied RESTORE table: 182 4 rows applied RESTORE table: 183 0 rows applied RESTORE table: 183 1 rows applied RESTORE table: 185 753784 rows applied RESTORE table: 185 754577 rows applied RESTORE table: 192 24 rows applied RESTORE table: 192 31 rows applied RESTORE table: 194 85 rows applied RESTORE table: 194 75 rows applied RESTORE table: 197 131 rows applied RESTORE table: 197 116 rows applied RESTORE table: 199 2 rows applied RESTORE table: 199 4 rows applied RESTORE table: 201 42 rows applied RESTORE table: 201 43 rows applied RESTORE table: 203 4 rows applied RESTORE table: 203 5 rows applied RESTORE table: 205 43 rows applied RESTORE table: 205 42 rows applied RESTORE table: 208 116 rows applied RESTORE table: 208 103 rows applied RESTORE table: 211 21 rows applied RESTORE table: 211 23 rows applied RESTORE table: 214 18 rows applied RESTORE table: 214 18 rows applied RESTORE table: 215 0 rows applied RESTORE table: 215 0 rows applied RESTORE table: 217 5 rows applied RESTORE table: 217 8 rows applied RESTORE table: 220 4 rows applied RESTORE table: 220 3 rows applied RESTORE table: 222 519 rows applied RESTORE table: 222 496 rows applied RESTORE table: 224 5 rows applied RESTORE table: 224 9 rows applied RESTORE table: 225 5 rows applied RESTORE table: 225 7 rows applied RESTORE table: 226 5 rows applied RESTORE table: 226 4 rows applied RESTORE table: 229 5 rows applied RESTORE table: 229 9 rows applied RESTORE table: 230 30 rows applied RESTORE table: 230 23 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 72091 rows applied RESTORE table: 234 72711 rows applied RESTORE table: 235 35387 rows applied RESTORE table: 235 36081 rows applied m_active_buckets.set(1) alloc_chunk(63903 16) - 2008-07-04 10:22:37 [ndbd] INFO -- Shutdown initiated 2008-07-04 10:22:38 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 10:22:38 [ndbd] INFO -- Angel shutting down 2008-07-04 10:22:38 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 10:23:20 [ndbd] INFO -- Angel pid: 4083 ndb pid: 4084 2008-07-04 10:23:20 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 10:23:20 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 10:23:20 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 10:23:21 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 10:23:21 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1066 rows applied RESTORE table: 0 1038 rows applied RESTORE table: 1 53 rows applied RESTORE table: 1 46 rows applied RESTORE table: 2 32 rows applied RESTORE table: 2 25 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 43746 rows applied RESTORE table: 10 43853 rows applied RESTORE table: 11 43200 rows applied RESTORE table: 11 43293 rows applied RESTORE table: 22 69899 rows applied RESTORE table: 22 69984 rows applied RESTORE table: 25 69612 rows applied RESTORE table: 25 70271 rows applied RESTORE table: 28 63976 rows applied RESTORE table: 28 64384 rows applied RESTORE table: 29 42768 rows applied RESTORE table: 29 43139 rows applied RESTORE table: 30 106879 rows applied RESTORE table: 30 107549 rows applied RESTORE table: 33 63854 rows applied RESTORE table: 33 64506 rows applied RESTORE table: 39 5838 rows applied RESTORE table: 39 5683 rows applied RESTORE table: 40 1047 rows applied RESTORE table: 40 1000 rows applied RESTORE table: 41 4533 rows applied RESTORE table: 41 4378 rows applied RESTORE table: 44 5838 rows applied RESTORE table: 44 5683 rows applied RESTORE table: 49 543 rows applied RESTORE table: 49 509 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 2 rows applied RESTORE table: 51 1 rows applied RESTORE table: 51 1 rows applied RESTORE table: 54 9590 rows applied RESTORE table: 54 9545 rows applied RESTORE table: 57 96274 rows applied RESTORE table: 57 96668 rows applied RESTORE table: 60 8397 rows applied RESTORE table: 60 8322 rows applied RESTORE table: 63 10961 rows applied RESTORE table: 63 10839 rows applied RESTORE table: 66 3649 rows applied RESTORE table: 66 3459 rows applied RESTORE table: 69 789 rows applied RESTORE table: 69 753 rows applied RESTORE table: 72 0 rows applied RESTORE table: 72 0 rows applied RESTORE table: 75 352 rows applied RESTORE table: 75 316 rows applied RESTORE table: 76 15 rows applied RESTORE table: 76 23 rows applied RESTORE table: 77 14 rows applied RESTORE table: 77 10 rows applied RESTORE table: 78 15 rows applied RESTORE table: 78 16 rows applied RESTORE table: 79 15 rows applied RESTORE table: 79 16 rows applied RESTORE table: 80 16 rows applied RESTORE table: 80 14 rows applied RESTORE table: 81 14 rows applied RESTORE table: 81 15 rows applied RESTORE table: 82 16 rows applied RESTORE table: 82 15 rows applied RESTORE table: 83 14 rows applied RESTORE table: 83 14 rows applied RESTORE table: 84 14 rows applied RESTORE table: 84 22 rows applied RESTORE table: 85 15 rows applied RESTORE table: 85 17 rows applied RESTORE table: 86 15 rows applied RESTORE table: 86 16 rows applied RESTORE table: 89 354 rows applied RESTORE table: 89 314 rows applied RESTORE table: 90 246 rows applied RESTORE table: 90 228 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 104 237 rows applied RESTORE table: 104 237 rows applied RESTORE table: 105 5 rows applied RESTORE table: 105 9 rows applied RESTORE table: 106 0 rows applied RESTORE table: 106 1 rows applied RESTORE table: 109 361 rows applied RESTORE table: 109 343 rows applied RESTORE table: 110 14 rows applied RESTORE table: 110 7 rows applied RESTORE table: 112 0 rows applied RESTORE table: 112 0 rows applied RESTORE table: 114 83 rows applied RESTORE table: 114 72 rows applied RESTORE table: 116 3 rows applied RESTORE table: 116 4 rows applied RESTORE table: 118 0 rows applied RESTORE table: 118 2 rows applied RESTORE table: 120 19479 rows applied RESTORE table: 120 19896 rows applied RESTORE table: 122 7 rows applied RESTORE table: 122 8 rows applied RESTORE table: 123 7 rows applied RESTORE table: 123 8 rows applied RESTORE table: 130 9 rows applied RESTORE table: 130 5 rows applied RESTORE table: 131 9 rows applied RESTORE table: 131 5 rows applied RESTORE table: 133 8 rows applied RESTORE table: 133 7 rows applied RESTORE table: 136 20 rows applied RESTORE table: 136 18 rows applied RESTORE table: 140 20 rows applied RESTORE table: 140 20 rows applied RESTORE table: 144 44382 rows applied RESTORE table: 144 44337 rows applied RESTORE table: 145 44071 rows applied RESTORE table: 145 44021 rows applied RESTORE table: 148 44322 rows applied RESTORE table: 148 44397 rows applied RESTORE table: 149 74702 rows applied RESTORE table: 149 74201 rows applied RESTORE table: 153 98361 rows applied RESTORE table: 153 98731 rows applied RESTORE table: 157 108871 rows applied RESTORE table: 157 109237 rows applied RESTORE table: 161 64011 rows applied RESTORE table: 161 64008 rows applied RESTORE table: 164 22156 rows applied RESTORE table: 164 22308 rows applied RESTORE table: 167 22173 rows applied RESTORE table: 167 22291 rows applied RESTORE table: 168 634 rows applied RESTORE table: 168 569 rows applied RESTORE table: 172 58 rows applied RESTORE table: 172 70 rows applied RESTORE table: 175 27 rows applied RESTORE table: 175 29 rows applied RESTORE table: 178 0 rows applied RESTORE table: 178 1 rows applied RESTORE table: 179 0 rows applied RESTORE table: 179 0 rows applied RESTORE table: 181 3871 rows applied RESTORE table: 181 3884 rows applied RESTORE table: 182 6 rows applied RESTORE table: 182 4 rows applied RESTORE table: 183 0 rows applied RESTORE table: 183 1 rows applied RESTORE table: 185 753784 rows applied RESTORE table: 185 754577 rows applied RESTORE table: 192 24 rows applied RESTORE table: 192 31 rows applied RESTORE table: 194 85 rows applied RESTORE table: 194 75 rows applied RESTORE table: 197 131 rows applied RESTORE table: 197 116 rows applied RESTORE table: 199 2 rows applied RESTORE table: 199 4 rows applied RESTORE table: 201 42 rows applied RESTORE table: 201 43 rows applied RESTORE table: 203 4 rows applied RESTORE table: 203 5 rows applied RESTORE table: 205 43 rows applied RESTORE table: 205 42 rows applied RESTORE table: 208 116 rows applied RESTORE table: 208 103 rows applied RESTORE table: 211 21 rows applied RESTORE table: 211 23 rows applied RESTORE table: 214 18 rows applied RESTORE table: 214 18 rows applied RESTORE table: 215 0 rows applied RESTORE table: 215 0 rows applied RESTORE table: 217 5 rows applied RESTORE table: 217 8 rows applied RESTORE table: 220 4 rows applied RESTORE table: 220 3 rows applied RESTORE table: 222 519 rows applied RESTORE table: 222 496 rows applied RESTORE table: 224 5 rows applied RESTORE table: 224 9 rows applied RESTORE table: 225 5 rows applied RESTORE table: 225 7 rows applied RESTORE table: 226 5 rows applied RESTORE table: 226 4 rows applied RESTORE table: 229 5 rows applied RESTORE table: 229 9 rows applied RESTORE table: 230 30 rows applied RESTORE table: 230 23 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 72091 rows applied RESTORE table: 234 72711 rows applied RESTORE table: 235 35387 rows applied RESTORE table: 235 36081 rows applied m_active_buckets.set(1) alloc_chunk(63903 16) - 2008-07-04 10:38:19 [ndbd] INFO -- Shutdown initiated 2008-07-04 10:38:20 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 10:38:20 [ndbd] INFO -- Angel shutting down 2008-07-04 10:38:20 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 10:40:17 [ndbd] INFO -- Angel pid: 4122 ndb pid: 4123 2008-07-04 10:40:17 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 10:40:17 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 10:40:17 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 10:40:17 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 10:40:17 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1066 rows applied RESTORE table: 0 1038 rows applied RESTORE table: 1 53 rows applied RESTORE table: 1 46 rows applied RESTORE table: 2 32 rows applied RESTORE table: 2 25 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 43746 rows applied RESTORE table: 10 43853 rows applied RESTORE table: 11 43200 rows applied RESTORE table: 11 43293 rows applied RESTORE table: 22 69899 rows applied RESTORE table: 22 69984 rows applied RESTORE table: 25 69612 rows applied RESTORE table: 25 70271 rows applied RESTORE table: 28 63976 rows applied RESTORE table: 28 64384 rows applied RESTORE table: 29 42768 rows applied RESTORE table: 29 43139 rows applied RESTORE table: 30 106879 rows applied RESTORE table: 30 107549 rows applied RESTORE table: 33 63854 rows applied RESTORE table: 33 64506 rows applied RESTORE table: 39 5838 rows applied RESTORE table: 39 5683 rows applied RESTORE table: 40 1047 rows applied RESTORE table: 40 1000 rows applied RESTORE table: 41 4533 rows applied RESTORE table: 41 4378 rows applied RESTORE table: 44 5838 rows applied RESTORE table: 44 5683 rows applied RESTORE table: 49 543 rows applied RESTORE table: 49 509 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 2 rows applied RESTORE table: 51 1 rows applied RESTORE table: 51 1 rows applied RESTORE table: 54 9590 rows applied RESTORE table: 54 9545 rows applied RESTORE table: 57 96274 rows applied RESTORE table: 57 96668 rows applied RESTORE table: 60 8397 rows applied RESTORE table: 60 8322 rows applied RESTORE table: 63 10961 rows applied RESTORE table: 63 10839 rows applied RESTORE table: 66 3649 rows applied RESTORE table: 66 3459 rows applied RESTORE table: 69 789 rows applied RESTORE table: 69 753 rows applied RESTORE table: 72 0 rows applied RESTORE table: 72 0 rows applied RESTORE table: 75 352 rows applied RESTORE table: 75 316 rows applied RESTORE table: 76 15 rows applied RESTORE table: 76 23 rows applied RESTORE table: 77 14 rows applied RESTORE table: 77 10 rows applied RESTORE table: 78 15 rows applied RESTORE table: 78 16 rows applied RESTORE table: 79 15 rows applied RESTORE table: 79 16 rows applied RESTORE table: 80 16 rows applied RESTORE table: 80 14 rows applied RESTORE table: 81 14 rows applied RESTORE table: 81 15 rows applied RESTORE table: 82 16 rows applied RESTORE table: 82 15 rows applied RESTORE table: 83 14 rows applied RESTORE table: 83 14 rows applied RESTORE table: 84 14 rows applied RESTORE table: 84 22 rows applied RESTORE table: 85 15 rows applied RESTORE table: 85 17 rows applied RESTORE table: 86 15 rows applied RESTORE table: 86 16 rows applied RESTORE table: 89 354 rows applied RESTORE table: 89 314 rows applied RESTORE table: 90 246 rows applied RESTORE table: 90 228 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 92 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 93 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 94 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 95 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 96 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 98 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 99 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 100 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 101 0 rows applied RESTORE table: 104 237 rows applied RESTORE table: 104 237 rows applied RESTORE table: 105 5 rows applied RESTORE table: 105 9 rows applied RESTORE table: 106 0 rows applied RESTORE table: 106 1 rows applied RESTORE table: 109 361 rows applied RESTORE table: 109 343 rows applied RESTORE table: 110 14 rows applied RESTORE table: 110 7 rows applied RESTORE table: 112 0 rows applied RESTORE table: 112 0 rows applied RESTORE table: 114 83 rows applied RESTORE table: 114 72 rows applied RESTORE table: 116 3 rows applied RESTORE table: 116 4 rows applied RESTORE table: 118 0 rows applied RESTORE table: 118 2 rows applied RESTORE table: 120 19479 rows applied RESTORE table: 120 19896 rows applied RESTORE table: 122 7 rows applied RESTORE table: 122 8 rows applied RESTORE table: 123 7 rows applied RESTORE table: 123 8 rows applied RESTORE table: 130 9 rows applied RESTORE table: 130 5 rows applied RESTORE table: 131 9 rows applied RESTORE table: 131 5 rows applied RESTORE table: 133 8 rows applied RESTORE table: 133 7 rows applied RESTORE table: 136 20 rows applied RESTORE table: 136 18 rows applied RESTORE table: 140 20 rows applied RESTORE table: 140 20 rows applied RESTORE table: 144 44382 rows applied RESTORE table: 144 44337 rows applied RESTORE table: 145 44071 rows applied RESTORE table: 145 44021 rows applied RESTORE table: 148 44322 rows applied RESTORE table: 148 44397 rows applied RESTORE table: 149 74702 rows applied RESTORE table: 149 74201 rows applied RESTORE table: 153 98361 rows applied RESTORE table: 153 98731 rows applied RESTORE table: 157 108871 rows applied RESTORE table: 157 109237 rows applied RESTORE table: 161 64011 rows applied RESTORE table: 161 64008 rows applied RESTORE table: 164 22156 rows applied RESTORE table: 164 22308 rows applied RESTORE table: 167 22173 rows applied RESTORE table: 167 22291 rows applied RESTORE table: 168 634 rows applied RESTORE table: 168 569 rows applied RESTORE table: 172 58 rows applied RESTORE table: 172 70 rows applied RESTORE table: 175 27 rows applied RESTORE table: 175 29 rows applied RESTORE table: 178 0 rows applied RESTORE table: 178 1 rows applied RESTORE table: 179 0 rows applied RESTORE table: 179 0 rows applied RESTORE table: 181 3871 rows applied RESTORE table: 181 3884 rows applied RESTORE table: 182 6 rows applied RESTORE table: 182 4 rows applied RESTORE table: 183 0 rows applied RESTORE table: 183 1 rows applied RESTORE table: 185 753784 rows applied RESTORE table: 185 754577 rows applied RESTORE table: 192 24 rows applied RESTORE table: 192 31 rows applied RESTORE table: 194 85 rows applied RESTORE table: 194 75 rows applied RESTORE table: 197 131 rows applied RESTORE table: 197 116 rows applied RESTORE table: 199 2 rows applied RESTORE table: 199 4 rows applied RESTORE table: 201 42 rows applied RESTORE table: 201 43 rows applied RESTORE table: 203 4 rows applied RESTORE table: 203 5 rows applied RESTORE table: 205 43 rows applied RESTORE table: 205 42 rows applied RESTORE table: 208 116 rows applied RESTORE table: 208 103 rows applied RESTORE table: 211 21 rows applied RESTORE table: 211 23 rows applied RESTORE table: 214 18 rows applied RESTORE table: 214 18 rows applied RESTORE table: 215 0 rows applied RESTORE table: 215 0 rows applied RESTORE table: 217 5 rows applied RESTORE table: 217 8 rows applied RESTORE table: 220 4 rows applied RESTORE table: 220 3 rows applied RESTORE table: 222 519 rows applied RESTORE table: 222 496 rows applied RESTORE table: 224 5 rows applied RESTORE table: 224 9 rows applied RESTORE table: 225 5 rows applied RESTORE table: 225 7 rows applied RESTORE table: 226 5 rows applied RESTORE table: 226 4 rows applied RESTORE table: 229 5 rows applied RESTORE table: 229 9 rows applied RESTORE table: 230 30 rows applied RESTORE table: 230 23 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 72091 rows applied RESTORE table: 234 72711 rows applied RESTORE table: 235 35387 rows applied RESTORE table: 235 36081 rows applied m_active_buckets.set(1) alloc_chunk(64081 16) - 2008-07-04 11:16:06 [ndbd] INFO -- Shutdown initiated 2008-07-04 11:16:07 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 11:16:07 [ndbd] INFO -- Angel shutting down 2008-07-04 11:16:07 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 11:40:53 [ndbd] INFO -- Angel pid: 5581 ndb pid: 5582 2008-07-04 11:40:53 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 11:40:53 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 11:40:53 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 11:40:53 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 11:40:53 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 11:41:22 [ndbd] INFO -- Shutdown initiated 2008-07-04 11:41:22 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 11:41:22 [ndbd] INFO -- Angel shutting down 2008-07-04 11:41:22 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 11:48:20 [ndbd] INFO -- Angel pid: 6027 ndb pid: 6028 2008-07-04 11:48:20 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 11:48:20 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 11:48:20 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 11:48:20 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 11:48:20 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 11:50:58 [ndbd] INFO -- Node 2 disconnected 2008-07-04 11:50:58 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-04 11:50:58 [ndbd] INFO -- Error handler startup shutting down system 2008-07-04 11:50:58 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-04 11:50:58 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-04 11:50:58 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 2. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-04 11:56:06 [ndbd] INFO -- Angel pid: 6068 ndb pid: 6069 2008-07-04 11:56:06 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 11:56:06 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 11:56:06 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 11:56:06 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 11:56:06 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 11:58:34 [ndbd] INFO -- Node 2 disconnected 2008-07-04 11:58:34 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-04 11:58:34 [ndbd] INFO -- Error handler startup shutting down system 2008-07-04 11:58:35 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-04 11:58:35 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-04 11:58:35 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 2. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-04 12:00:59 [ndbd] INFO -- Angel pid: 6114 ndb pid: 6115 2008-07-04 12:00:59 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 12:00:59 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 12:00:59 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 12:01:00 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 12:01:00 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-04 12:03:28 [ndbd] INFO -- Node 2 disconnected 2008-07-04 12:03:28 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000e 2008-07-04 12:03:28 [ndbd] INFO -- Error handler startup shutting down system 2008-07-04 12:03:28 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-04 12:03:28 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-04 12:03:28 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 2. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-04 12:18:12 [ndbd] INFO -- Angel pid: 6152 ndb pid: 6153 2008-07-04 12:18:12 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 12:18:12 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 12:18:12 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 12:18:12 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 12:18:12 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-04 13:45:19 [ndbd] INFO -- Shutdown initiated 2008-07-04 13:45:19 [ndbd] INFO -- Shutdown completed - exiting 2008-07-04 13:45:19 [ndbd] INFO -- Angel shutting down 2008-07-04 13:45:19 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-04 13:45:50 [ndbd] INFO -- Angel pid: 6196 ndb pid: 6197 2008-07-04 13:45:50 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-04 13:45:50 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-04 13:45:50 [ndbd] INFO -- Configuration fetched at 192.168.168.100 port 1186 2008-07-04 13:45:50 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-04 13:45:50 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1038 rows applied RESTORE table: 0 1013 rows applied RESTORE table: 1 2 rows applied RESTORE table: 1 3 rows applied RESTORE table: 2 1 rows applied RESTORE table: 2 1 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 0 rows applied RESTORE table: 4 0 rows applied RESTORE table: 5 43746 rows applied RESTORE table: 5 43853 rows applied RESTORE table: 6 43200 rows applied RESTORE table: 6 43293 rows applied m_active_buckets.set(1) alloc_chunk(5311 16) - start_resend(0, empty bucket -> active 2008-07-07 10:35:51 [ndbd] INFO -- Received signal 15. Performing stop. 2008-07-07 10:35:51 [ndbd] INFO -- Shutdown initiated 2008-07-07 10:35:58 [ndbd] INFO -- Shutdown completed - exiting 2008-07-07 10:35:58 [ndbd] INFO -- Angel shutting down 2008-07-07 10:35:58 [ndbd] INFO -- Node 3: Node shutdown completed. Initiated by signal 15. 2008-07-07 11:14:35 [ndbd] INFO -- Angel pid: 3075 ndb pid: 3076 2008-07-07 11:14:35 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-07 11:14:35 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-07 11:14:35 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-07 11:14:35 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-07 11:14:35 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1039 rows applied RESTORE table: 0 1013 rows applied RESTORE table: 1 3 rows applied RESTORE table: 1 3 rows applied RESTORE table: 2 2 rows applied RESTORE table: 2 1 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 0 rows applied RESTORE table: 4 0 rows applied RESTORE table: 5 43746 rows applied RESTORE table: 5 43853 rows applied records: 16 len: 1e0 left: 416 records: 16 len: 7b8 left: 1792 records: 16 len: 3a4 left: 740 records: 16 len: 4d8 left: 172 2008-07-07 11:14:48 [ndbd] INFO -- Error 0 during restore of 2/T6F0 2008-07-07 11:14:48 [ndbd] INFO -- RESTORE (Line: 1173) 0x0000000a 2008-07-07 11:14:48 [ndbd] INFO -- Error handler startup shutting down system 2008-07-07 11:14:48 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-07 11:14:48 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-07 11:14:48 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2352: 'Invalid LCP(Ndbd file system inconsistency error, please report a bug). Ndbd file system error, restart node initial'. 2008-07-07 11:15:37 [ndbd] INFO -- Angel pid: 3113 ndb pid: 3114 2008-07-07 11:15:37 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-07 11:15:37 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-07 11:15:37 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-07 11:15:37 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-07 11:15:37 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-07 11:49:42 [ndbd] INFO -- Shutdown initiated 2008-07-07 11:49:42 [ndbd] INFO -- Shutdown completed - exiting 2008-07-07 11:49:42 [ndbd] INFO -- Angel shutting down 2008-07-07 11:49:42 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-07 15:17:36 [ndbd] INFO -- Angel pid: 2884 ndb pid: 2886 2008-07-07 15:17:36 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-07 15:17:36 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-07 15:17:36 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-07 15:17:36 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-07 15:17:36 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 80Mb initial: 100Mb Adding 100Mb to ZONE_LO (1,3199) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-07 15:17:42 [ndbd] INFO -- NR: setLcpActiveStatusEnd - m_participatingLQH alloc_chunk(25 16) - 1011/0 (1010/4294967295) switchover complete bucket 1 state: 1starting 2008-07-07 15:41:33 [ndbd] INFO -- Shutdown initiated 2008-07-07 15:41:33 [ndbd] INFO -- Shutdown completed - exiting 2008-07-07 15:41:33 [ndbd] INFO -- Angel shutting down 2008-07-07 15:41:33 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-07 15:47:11 [ndbd] INFO -- Angel pid: 3853 ndb pid: 3854 2008-07-07 15:47:11 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-07 15:47:11 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-07 15:47:11 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-07 15:47:11 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-07 15:47:11 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) 2008-07-07 15:47:15 [ndbd] INFO -- DBLQH: File system open failed. OS errno: 2 2008-07-07 15:47:15 [ndbd] INFO -- DBLQH (Line: 1861) 0x0000000a 2008-07-07 15:47:15 [ndbd] INFO -- Error handler startup shutting down system 2008-07-07 15:47:15 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-07 15:47:15 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-07 15:47:15 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2815: 'File not found(Ndbd file system inconsistency error, please report a bug). Ndbd file system error, restart node initial'. 2008-07-07 15:47:40 [ndbd] INFO -- Angel pid: 3901 ndb pid: 3902 2008-07-07 15:47:40 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-07 15:47:40 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-07 15:47:40 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-07 15:47:41 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-07 15:47:41 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) m_active_buckets.set(1) alloc_chunk(8 16) - 2008-07-08 08:53:54 [ndbd] INFO -- Shutdown initiated 2008-07-08 08:53:54 [ndbd] INFO -- Shutdown completed - exiting 2008-07-08 08:53:55 [ndbd] INFO -- Angel shutting down 2008-07-08 08:53:55 [ndbd] INFO -- Node 3: Node shutdown completed. 2008-07-08 08:56:19 [ndbd] INFO -- Angel pid: 31348 ndb pid: 31349 2008-07-08 08:56:19 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 08:56:19 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 08:56:19 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 08:56:19 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 08:56:19 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 09:00:21 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 09:06:00 [ndbd] INFO -- Angel pid: 31589 ndb pid: 31590 2008-07-08 09:06:00 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 09:06:00 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 09:06:00 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 09:06:00 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 09:06:00 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 09:09:53 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 09:19:28 [ndbd] INFO -- Angel pid: 31885 ndb pid: 31886 2008-07-08 09:19:28 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 09:19:28 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 09:19:28 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 09:19:28 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 09:19:28 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 09:24:12 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 10:13:38 [ndbd] INFO -- Angel pid: 667 ndb pid: 668 2008-07-08 10:13:38 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 10:13:38 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 10:13:38 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 10:13:38 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 10:13:38 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 10:17:25 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 11:33:22 [ndbd] INFO -- Angel pid: 1269 ndb pid: 1270 2008-07-08 11:33:22 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 11:33:22 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 11:33:22 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 11:33:22 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 11:33:22 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 11:37:09 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 11:38:25 [ndbd] INFO -- Angel pid: 1401 ndb pid: 1402 2008-07-08 11:38:25 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 11:38:25 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 11:38:25 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 11:38:25 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 11:38:25 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 11:42:13 [ndbd] WARNING -- Ndb kernel is stuck in: Job Handling 2008-07-08 11:42:13 [ndbd] INFO -- Watchdog: User time: 3593 System time: 191 2008-07-08 11:42:13 [ndbd] WARNING -- Ndb kernel is stuck in: Job Handling 2008-07-08 11:42:13 [ndbd] INFO -- Watchdog: User time: 3593 System time: 191 2008-07-08 11:42:13 [ndbd] WARNING -- Ndb kernel is stuck in: Job Handling 2008-07-08 11:42:13 [ndbd] INFO -- Watchdog: User time: 3593 System time: 191 2008-07-08 11:42:13 [ndbd] WARNING -- Ndb kernel is stuck in: Job Handling 2008-07-08 11:42:13 [ndbd] INFO -- Watchdog: User time: 3593 System time: 191 2008-07-08 11:42:13 [ndbd] WARNING -- Ndb kernel is stuck in: Job Handling 2008-07-08 11:42:13 [ndbd] INFO -- Watchdog: User time: 3593 System time: 191 2008-07-08 11:42:13 [ndbd] INFO -- Node 2 disconnected 2008-07-08 11:42:13 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-08 11:42:13 [ndbd] INFO -- Error handler startup shutting down system 2008-07-08 11:42:13 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-08 11:42:13 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-08 11:42:13 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'. 2008-07-08 14:50:19 [ndbd] INFO -- Angel pid: 5918 ndb pid: 5919 2008-07-08 14:50:19 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 14:50:19 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 14:50:19 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 14:50:19 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 14:50:19 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied RESTORE table: 250 21195 rows applied 2008-07-08 14:54:06 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Initiated by signal 11. 2008-07-08 15:41:58 [ndbd] INFO -- Angel pid: 7336 ndb pid: 7337 2008-07-08 15:41:58 [ndbd] INFO -- NDB Cluster -- DB node 3 2008-07-08 15:41:58 [ndbd] INFO -- mysql-5.1.23 ndb-6.2.15 -- 2008-07-08 15:41:58 [ndbd] INFO -- Configuration fetched at 192.168.3.5 port 1186 2008-07-08 15:41:58 [ndbd] INFO -- Start initiated (mysql-5.1.23 ndb-6.2.15) 2008-07-08 15:41:58 [ndbd] INFO -- Ndbd_mem_manager::init(1) min: 7200Mb initial: 7220Mb Adding 7220Mb to ZONE_LO (1,231039) WOPool::init(61, 9) RWPool::init(22, 13) RWPool::init(42, 18) RWPool::init(62, 13) RWPool::init(c2, 18) RWPool::init(e2, 18) WOPool::init(41, 12) RWPool::init(82, 12) RWPool::init(a2, 52) WOPool::init(21, 10) RESTORE table: 0 1095 rows applied RESTORE table: 0 1071 rows applied RESTORE table: 1 94 rows applied RESTORE table: 1 87 rows applied RESTORE table: 2 65 rows applied RESTORE table: 2 69 rows applied RESTORE table: 3 0 rows applied RESTORE table: 3 0 rows applied RESTORE table: 4 682418 rows applied RESTORE table: 4 683127 rows applied RESTORE table: 10 543 rows applied RESTORE table: 10 509 rows applied RESTORE table: 11 0 rows applied RESTORE table: 11 2 rows applied RESTORE table: 12 1 rows applied RESTORE table: 12 1 rows applied RESTORE table: 15 9590 rows applied RESTORE table: 15 9545 rows applied RESTORE table: 18 96274 rows applied RESTORE table: 18 96668 rows applied RESTORE table: 21 8397 rows applied RESTORE table: 21 8322 rows applied RESTORE table: 24 10961 rows applied RESTORE table: 24 10839 rows applied RESTORE table: 27 3649 rows applied RESTORE table: 27 3459 rows applied RESTORE table: 30 789 rows applied RESTORE table: 30 753 rows applied RESTORE table: 33 0 rows applied RESTORE table: 33 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 36 0 rows applied RESTORE table: 38 8 rows applied RESTORE table: 38 9 rows applied RESTORE table: 39 0 rows applied RESTORE table: 39 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 41 0 rows applied RESTORE table: 43 3 rows applied RESTORE table: 43 4 rows applied RESTORE table: 44 3 rows applied RESTORE table: 44 4 rows applied RESTORE table: 46 1 rows applied RESTORE table: 46 2 rows applied RESTORE table: 48 1 rows applied RESTORE table: 48 1 rows applied RESTORE table: 50 0 rows applied RESTORE table: 50 1 rows applied RESTORE table: 51 0 rows applied RESTORE table: 51 1 rows applied RESTORE table: 53 2 rows applied RESTORE table: 53 2 rows applied RESTORE table: 54 14 rows applied RESTORE table: 54 16 rows applied RESTORE table: 55 15 rows applied RESTORE table: 55 14 rows applied RESTORE table: 56 10 rows applied RESTORE table: 56 8 rows applied RESTORE table: 90 5 rows applied RESTORE table: 90 9 rows applied RESTORE table: 91 0 rows applied RESTORE table: 91 1 rows applied RESTORE table: 94 361 rows applied RESTORE table: 94 343 rows applied RESTORE table: 95 14 rows applied RESTORE table: 95 7 rows applied RESTORE table: 97 0 rows applied RESTORE table: 97 0 rows applied RESTORE table: 99 3 rows applied RESTORE table: 99 4 rows applied RESTORE table: 101 83 rows applied RESTORE table: 101 72 rows applied RESTORE table: 103 0 rows applied RESTORE table: 103 2 rows applied RESTORE table: 105 19479 rows applied RESTORE table: 105 19896 rows applied RESTORE table: 107 7 rows applied RESTORE table: 107 8 rows applied RESTORE table: 108 7 rows applied RESTORE table: 108 8 rows applied RESTORE table: 115 9 rows applied RESTORE table: 115 5 rows applied RESTORE table: 116 9 rows applied RESTORE table: 116 5 rows applied RESTORE table: 118 8 rows applied RESTORE table: 118 7 rows applied RESTORE table: 121 20 rows applied RESTORE table: 121 18 rows applied RESTORE table: 125 20 rows applied RESTORE table: 125 20 rows applied RESTORE table: 129 44382 rows applied RESTORE table: 129 44337 rows applied RESTORE table: 130 44071 rows applied RESTORE table: 130 44021 rows applied RESTORE table: 133 44322 rows applied RESTORE table: 133 44397 rows applied RESTORE table: 134 98361 rows applied RESTORE table: 134 98731 rows applied RESTORE table: 138 108871 rows applied RESTORE table: 138 109237 rows applied RESTORE table: 142 74702 rows applied RESTORE table: 142 74201 rows applied RESTORE table: 146 64011 rows applied RESTORE table: 146 64008 rows applied RESTORE table: 149 22156 rows applied RESTORE table: 149 22308 rows applied RESTORE table: 152 22173 rows applied RESTORE table: 152 22291 rows applied RESTORE table: 153 634 rows applied RESTORE table: 153 569 rows applied RESTORE table: 157 27 rows applied RESTORE table: 157 29 rows applied RESTORE table: 160 58 rows applied RESTORE table: 160 70 rows applied RESTORE table: 163 0 rows applied RESTORE table: 163 1 rows applied RESTORE table: 164 0 rows applied RESTORE table: 164 0 rows applied RESTORE table: 166 3871 rows applied RESTORE table: 166 3884 rows applied RESTORE table: 167 6 rows applied RESTORE table: 167 4 rows applied RESTORE table: 168 0 rows applied RESTORE table: 168 1 rows applied RESTORE table: 170 753784 rows applied RESTORE table: 170 754577 rows applied RESTORE table: 177 24 rows applied RESTORE table: 177 31 rows applied RESTORE table: 179 85 rows applied RESTORE table: 179 75 rows applied RESTORE table: 182 131 rows applied RESTORE table: 182 116 rows applied RESTORE table: 184 2 rows applied RESTORE table: 184 4 rows applied RESTORE table: 186 42 rows applied RESTORE table: 186 43 rows applied RESTORE table: 188 4 rows applied RESTORE table: 188 5 rows applied RESTORE table: 190 43 rows applied RESTORE table: 190 42 rows applied RESTORE table: 193 116 rows applied RESTORE table: 193 103 rows applied RESTORE table: 196 21 rows applied RESTORE table: 196 23 rows applied RESTORE table: 199 18 rows applied RESTORE table: 199 18 rows applied RESTORE table: 200 0 rows applied RESTORE table: 200 0 rows applied RESTORE table: 202 5 rows applied RESTORE table: 202 8 rows applied RESTORE table: 205 4 rows applied RESTORE table: 205 3 rows applied RESTORE table: 207 519 rows applied RESTORE table: 207 496 rows applied RESTORE table: 209 5 rows applied RESTORE table: 209 9 rows applied RESTORE table: 210 5 rows applied RESTORE table: 210 7 rows applied RESTORE table: 211 5 rows applied RESTORE table: 211 4 rows applied RESTORE table: 214 5 rows applied RESTORE table: 214 9 rows applied RESTORE table: 215 30 rows applied RESTORE table: 215 23 rows applied RESTORE table: 216 0 rows applied RESTORE table: 216 0 rows applied RESTORE table: 219 72091 rows applied RESTORE table: 219 72711 rows applied RESTORE table: 220 35387 rows applied RESTORE table: 220 36081 rows applied RESTORE table: 222 3546 rows applied RESTORE table: 222 3371 rows applied RESTORE table: 225 110 rows applied RESTORE table: 225 115 rows applied RESTORE table: 228 4 rows applied RESTORE table: 228 3 rows applied RESTORE table: 229 0 rows applied RESTORE table: 229 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 231 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 234 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 236 0 rows applied RESTORE table: 239 2265 rows applied RESTORE table: 239 2158 rows applied RESTORE table: 241 561 rows applied RESTORE table: 241 568 rows applied RESTORE table: 243 7254 rows applied RESTORE table: 243 7180 rows applied RESTORE table: 246 7290 rows applied RESTORE table: 246 7144 rows applied RESTORE table: 247 2 rows applied RESTORE table: 247 4 rows applied RESTORE table: 250 21385 rows applied 2008-07-08 15:45:44 [ndbd] INFO -- Node 2 disconnected 2008-07-08 15:45:44 [ndbd] INFO -- QMGR (Line: 2681) 0x0000000a 2008-07-08 15:45:44 [ndbd] INFO -- Error handler startup shutting down system 2008-07-08 15:45:44 [ndbd] INFO -- Error handler shutdown completed - exiting 2008-07-08 15:45:44 [ndbd] INFO -- Angel received ndbd startup failure count 1. 2008-07-08 15:45:44 [ndbd] ALERT -- Node 3: Forced node shutdown completed. Occured during startphase 4. Caused by error 2308: 'Another node failed during system restart, please investigate error(s) on other node(s)(Restart error). Temporary error, restart node'.