belive: cleanup livness assure/invalidate API
[libfirm] / ir / be / belive.c
1 /*
2  * Copyright (C) 1995-2008 University of Karlsruhe.  All right reserved.
3  *
4  * This file is part of libFirm.
5  *
6  * This file may be distributed and/or modified under the terms of the
7  * GNU General Public License version 2 as published by the Free Software
8  * Foundation and appearing in the file LICENSE.GPL included in the
9  * packaging of this file.
10  *
11  * Licensees holding valid libFirm Professional Edition licenses may use
12  * this file in accordance with the libFirm Commercial License.
13  * Agreement provided with the Software.
14  *
15  * This file is provided AS IS with NO WARRANTY OF ANY KIND, INCLUDING THE
16  * WARRANTY OF DESIGN, MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE.
18  */
19
20 /**
21  * @file
22  * @brief       Interblock liveness analysis.
23  * @author      Sebastian Hack
24  * @date        06.12.2004
25  */
26 #include "config.h"
27
28 /* statev is expensive here, only enable when needed */
29 #define DISABLE_STATEV
30
31 #include "iredges_t.h"
32 #include "irgwalk.h"
33 #include "irprintf_t.h"
34 #include "irdump_t.h"
35 #include "irnodeset.h"
36
37 #include "absgraph.h"
38 #include "statev.h"
39
40 #include "beutil.h"
41 #include "belive_t.h"
42 #include "beirg.h"
43 #include "besched.h"
44 #include "bemodule.h"
45 #include "bedump.h"
46
47 DEBUG_ONLY(static firm_dbg_module_t *dbg = NULL;)
48
49 #define LV_STD_SIZE             64
50
51 /**
52  * Filter out some nodes for which we never need liveness.
53  *
54  * @param irn  the node t check
55  * @return 0 if no liveness info is needed, 1 else
56  */
57 static inline int is_liveness_node(const ir_node *irn)
58 {
59         switch (get_irn_opcode(irn)) {
60         case iro_Block:
61         case iro_Bad:
62         case iro_End:
63         case iro_Anchor:
64         case iro_NoMem:
65                 return 0;
66         default:
67                 return 1;
68         }
69 }
70
71 int (be_is_live_in)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
72 {
73         return _be_is_live_xxx(lv, block, irn, be_lv_state_in);
74 }
75
76 int (be_is_live_out)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
77 {
78         return _be_is_live_xxx(lv, block, irn, be_lv_state_out);
79 }
80
81 int (be_is_live_end)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
82 {
83         return _be_is_live_xxx(lv, block, irn, be_lv_state_end);
84 }
85
86 static inline unsigned _be_liveness_bsearch(be_lv_info_t *arr, unsigned idx)
87 {
88         be_lv_info_t *payload = arr + 1;
89
90         unsigned n   = arr[0].head.n_members;
91         unsigned res = 0;
92         int lo       = 0;
93         int hi       = n;
94
95         if (n == 0)
96                 return 0;
97
98         do {
99                 int md          = lo + ((hi - lo) >> 1);
100                 unsigned md_idx = payload[md].node.idx;
101
102                 if (idx > md_idx)
103                         lo = md + 1;
104                 else if (idx < md_idx)
105                         hi = md;
106                 else {
107                         res = md;
108                         assert(payload[res].node.idx == idx);
109                         break;
110                 }
111
112                 res = lo;
113         } while (lo < hi);
114
115         return res;
116 }
117
118 be_lv_info_node_t *be_lv_get(const be_lv_t *li, const ir_node *bl,
119                              const ir_node *irn)
120 {
121         be_lv_info_t *irn_live;
122         be_lv_info_node_t *res = NULL;
123
124         stat_ev_tim_push();
125         irn_live = (be_lv_info_t*)ir_nodehashmap_get(&li->map, bl);
126         if (irn_live != NULL) {
127                 unsigned idx = get_irn_idx(irn);
128
129                 /* Get the position of the index in the array. */
130                 int pos = _be_liveness_bsearch(irn_live, idx);
131
132                 /* Get the record in question. 1 must be added, since the first record contains information about the array and must be skipped. */
133                 be_lv_info_node_t *rec = &irn_live[pos + 1].node;
134
135                 /* Check, if the irn is in deed in the array. */
136                 if (rec->idx == idx)
137                         res = rec;
138         }
139         stat_ev_tim_pop("be_lv_get");
140
141         return res;
142 }
143
144 static be_lv_info_node_t *be_lv_get_or_set(be_lv_t *li, ir_node *bl,
145                                            ir_node *irn)
146 {
147         be_lv_info_t *irn_live = (be_lv_info_t*)ir_nodehashmap_get(&li->map, bl);
148         if (irn_live == NULL) {
149                 irn_live = OALLOCNZ(&li->obst, be_lv_info_t, LV_STD_SIZE);
150                 irn_live[0].head.n_size = LV_STD_SIZE-1;
151                 ir_nodehashmap_insert(&li->map, bl, irn_live);
152         }
153
154         unsigned idx = get_irn_idx(irn);
155
156         /* Get the position of the index in the array. */
157         unsigned pos = _be_liveness_bsearch(irn_live, idx);
158
159         /* Get the record in question. 1 must be added, since the first record contains information about the array and must be skipped. */
160         be_lv_info_node_t *res = &irn_live[pos + 1].node;
161
162         /* Check, if the irn is in deed in the array. */
163         if (res->idx != idx) {
164                 be_lv_info_t *payload;
165                 unsigned n_members = irn_live[0].head.n_members;
166                 unsigned n_size    = irn_live[0].head.n_size;
167                 unsigned i;
168
169                 if (n_members + 1 >= n_size) {
170                         /* double the array size. Remember that the first entry is
171                          * metadata about the array and not a real array element */
172                         unsigned old_size_bytes  = (n_size + 1) * sizeof(irn_live[0]);
173                         unsigned new_size        = (2 * n_size) + 1;
174                         size_t   new_size_bytes  = new_size * sizeof(irn_live[0]);
175                         be_lv_info_t *nw = OALLOCN(&li->obst, be_lv_info_t, new_size);
176                         memcpy(nw, irn_live, old_size_bytes);
177                         memset(((char*) nw) + old_size_bytes, 0,
178                                new_size_bytes - old_size_bytes);
179                         nw[0].head.n_size = new_size - 1;
180                         irn_live = nw;
181                         ir_nodehashmap_insert(&li->map, bl, nw);
182                 }
183
184                 payload = &irn_live[1];
185                 for (i = n_members; i > pos; --i) {
186                         payload[i] = payload[i - 1];
187                 }
188
189                 ++irn_live[0].head.n_members;
190
191                 res = &payload[pos].node;
192                 res->idx    = idx;
193                 res->flags  = 0;
194         }
195
196         return res;
197 }
198
199 /**
200  * Removes a node from the list of live variables of a block.
201  * @return 1 if the node was live at that block, 0 if not.
202  */
203 static int be_lv_remove(be_lv_t *li, const ir_node *bl,
204                         const ir_node *irn)
205 {
206         be_lv_info_t *irn_live = (be_lv_info_t*)ir_nodehashmap_get(&li->map, bl);
207
208         if (irn_live != NULL) {
209                 unsigned n   = irn_live[0].head.n_members;
210                 unsigned idx = get_irn_idx(irn);
211                 unsigned pos = _be_liveness_bsearch(irn_live, idx);
212                 be_lv_info_t *payload  = irn_live + 1;
213                 be_lv_info_node_t *res = &payload[pos].node;
214
215                 /* The node is in deed in the block's array. Let's remove it. */
216                 if (res->idx == idx) {
217                         unsigned i;
218
219                         for (i = pos + 1; i < n; ++i)
220                                 payload[i - 1] = payload[i];
221
222                         payload[n - 1].node.idx   = 0;
223                         payload[n - 1].node.flags = 0;
224
225                         --irn_live[0].head.n_members;
226                         DBG((dbg, LEVEL_3, "\tdeleting %+F from %+F at pos %d\n", irn, bl, pos));
227                         return 1;
228                 }
229         }
230
231         return 0;
232 }
233
234 static void register_node(be_lv_t *lv, const ir_node *irn)
235 {
236         unsigned idx = get_irn_idx(irn);
237         if (idx >= bitset_size(lv->nodes)) {
238                 bitset_t *nw = bitset_malloc(2 * idx);
239                 bitset_copy_into(nw, lv->nodes);
240                 bitset_free(lv->nodes);
241                 lv->nodes = nw;
242         }
243
244         bitset_set(lv->nodes, idx);
245 }
246
247 /**
248  * Mark a node as live-in in a block.
249  */
250 static inline void mark_live_in(be_lv_t *lv, ir_node *block, ir_node *irn)
251 {
252         be_lv_info_node_t *n = be_lv_get_or_set(lv, block, irn);
253         DBG((dbg, LEVEL_2, "marking %+F live in at %+F\n", irn, block));
254         n->flags |= be_lv_state_in;
255         register_node(lv, irn);
256 }
257
258 /**
259  * Mark a node as live-out in a block.
260  */
261 static inline void mark_live_out(be_lv_t *lv, ir_node *block, ir_node *irn)
262 {
263         be_lv_info_node_t *n = be_lv_get_or_set(lv, block, irn);
264         DBG((dbg, LEVEL_2, "marking %+F live out at %+F\n", irn, block));
265         n->flags |= be_lv_state_out | be_lv_state_end;
266         register_node(lv, irn);
267 }
268
269 /**
270  * Mark a node as live-end in a block.
271  */
272 static inline void mark_live_end(be_lv_t *lv, ir_node *block, ir_node *irn)
273 {
274         be_lv_info_node_t *n = be_lv_get_or_set(lv, block, irn);
275         DBG((dbg, LEVEL_2, "marking %+F live end at %+F\n", irn, block));
276         n->flags |= be_lv_state_end;
277         register_node(lv, irn);
278 }
279
280 static struct {
281         be_lv_t  *lv;         /**< The liveness object. */
282         ir_node  *def;        /**< The node (value). */
283         ir_node  *def_block;  /**< The block of def. */
284         bitset_t *visited;    /**< A set were all visited blocks are recorded. */
285 } re;
286
287 /**
288  * Mark a node (value) live out at a certain block. Do this also
289  * transitively, i.e. if the block is not the block of the value's
290  * definition, all predecessors are also marked live.
291  * @param block The block to mark the value live out of.
292  * @param is_true_out Is the node real out there or only live at the end
293  * of the block.
294  */
295 static void live_end_at_block(ir_node *block, int is_true_out)
296 {
297         be_lv_t *lv  = re.lv;
298         ir_node *def = re.def;
299         bitset_t *visited;
300
301         mark_live_end(lv, block, def);
302         if (is_true_out)
303                 mark_live_out(lv, block, def);
304
305         visited = re.visited;
306         if (!bitset_is_set(visited, get_irn_idx(block))) {
307                 bitset_set(visited, get_irn_idx(block));
308
309                 /*
310                  * If this block is not the definition block, we have to go up
311                  * further.
312                  */
313                 if (re.def_block != block) {
314                         int i;
315
316                         mark_live_in(lv, block, def);
317
318                         for (i = get_Block_n_cfgpreds(block) - 1; i >= 0; --i)
319                                 live_end_at_block(get_Block_cfgpred_block(block, i), 1);
320                 }
321         }
322 }
323
324 typedef struct lv_remove_walker_t {
325         be_lv_t       *lv;
326         const ir_node *irn;
327 } lv_remove_walker_t;
328
329
330 /**
331  * Liveness analysis for a value.
332  * Compute the set of all blocks a value is live in.
333  * @param irn     The node (value).
334  */
335 static void liveness_for_node(ir_node *irn)
336 {
337         const ir_edge_t *edge;
338         ir_node *def_block;
339
340         bitset_clear_all(re.visited);
341         def_block = get_nodes_block(irn);
342
343         re.def       = irn;
344         re.def_block = def_block;
345
346         /* Go over all uses of the value */
347         foreach_out_edge(irn, edge) {
348                 ir_node *use = edge->src;
349                 ir_node *use_block;
350
351                 DBG((dbg, LEVEL_4, "%+F: use at %+F, pos %d in %+F\n", irn, use, edge->pos, get_block(use)));
352                 assert(get_irn_n(use, edge->pos) == irn);
353
354                 /*
355                  * If the usage is no data node, skip this use, since it does not
356                  * affect the liveness of the node.
357                  */
358                 if (!is_liveness_node(use))
359                         continue;
360
361                 /* Get the block where the usage is in. */
362                 use_block = get_nodes_block(use);
363
364                 /*
365                  * If the use is a phi function, determine the corresponding block
366                  * through which the value reaches the phi function and mark the
367                  * value as live out of that block.
368                  */
369                 if (is_Phi(use)) {
370                         ir_node *pred_block = get_Block_cfgpred_block(use_block, edge->pos);
371                         live_end_at_block(pred_block, 0);
372                 }
373
374                 /*
375                  * Else, the value is live in at this block. Mark it and call live
376                  * out on the predecessors.
377                  */
378                 else if (def_block != use_block) {
379                         int i;
380
381                         mark_live_in(re.lv, use_block, irn);
382
383                         for (i = get_Block_n_cfgpreds(use_block) - 1; i >= 0; --i) {
384                                 ir_node *pred_block = get_Block_cfgpred_block(use_block, i);
385                                 live_end_at_block(pred_block, 1);
386                         }
387                 }
388         }
389 }
390
391 static void lv_remove_irn_walker(ir_node *bl, void *data)
392 {
393         lv_remove_walker_t *w = (lv_remove_walker_t*)data;
394         be_lv_remove(w->lv, bl, w->irn);
395 }
396
397 /**
398  * Walker, collect all nodes for which we want calculate liveness info
399  * on an obstack.
400  */
401 static void collect_liveness_nodes(ir_node *irn, void *data)
402 {
403         ir_node **nodes = (ir_node**)data;
404         if (is_liveness_node(irn))
405                 nodes[get_irn_idx(irn)] = irn;
406 }
407
408 void be_liveness_compute_sets(be_lv_t *lv)
409 {
410         ir_node **nodes;
411         int       i;
412         int       n;
413         unsigned  last_idx;
414
415         if (lv->sets_valid)
416                 return;
417
418         be_timer_push(T_LIVE);
419         last_idx = get_irg_last_idx(lv->irg);
420         if (last_idx >= bitset_size(lv->nodes)) {
421                 bitset_free(lv->nodes);
422                 lv->nodes = bitset_malloc(last_idx * 2);
423         } else {
424                 bitset_clear_all(lv->nodes);
425         }
426         ir_nodehashmap_init(&lv->map);
427         obstack_init(&lv->obst);
428
429         n = get_irg_last_idx(lv->irg);
430         nodes = NEW_ARR_F(ir_node *, n);
431         memset(nodes, 0, sizeof(nodes[0]) * n);
432
433         /* inserting the variables sorted by their ID is probably
434          * more efficient since the binary sorted set insertion
435          * will not need to move around the data. */
436         irg_walk_graph(lv->irg, NULL, collect_liveness_nodes, nodes);
437
438         re.lv      = lv;
439         re.visited = bitset_malloc(n);
440
441         for (i = 0; i < n; ++i) {
442                 if (nodes[i] != NULL)
443                         liveness_for_node(nodes[i]);
444         }
445
446         DEL_ARR_F(nodes);
447         free(re.visited);
448         register_hook(hook_node_info, &lv->hook_info);
449
450         be_timer_pop(T_LIVE);
451
452         lv->sets_valid = true;
453 }
454
455 void be_liveness_compute_chk(be_lv_t *lv)
456 {
457         if (lv->lvc != NULL)
458                 return;
459         lv->lvc = lv_chk_new(lv->irg);
460 }
461
462 void be_liveness_invalidate_sets(be_lv_t *lv)
463 {
464         if (!lv->sets_valid)
465                 return;
466         unregister_hook(hook_node_info, &lv->hook_info);
467         obstack_free(&lv->obst, NULL);
468         ir_nodehashmap_destroy(&lv->map);
469         lv->sets_valid = false;
470 }
471
472 void be_liveness_invalidate_chk(be_lv_t *lv)
473 {
474         be_liveness_invalidate_sets(lv);
475
476         if (lv->lvc == NULL)
477                 return;
478         lv_chk_free(lv->lvc);
479         lv->lvc = NULL;
480 }
481
482 be_lv_t *be_liveness_new(ir_graph *irg)
483 {
484         be_lv_t *lv = XMALLOCZ(be_lv_t);
485
486         lv->irg = irg;
487         lv->hook_info.context = lv;
488         lv->hook_info.hook._hook_node_info = be_dump_liveness_block;
489         lv->nodes = bitset_malloc(2 * get_irg_last_idx(lv->irg));
490
491         return lv;
492 }
493
494 void be_liveness_free(be_lv_t *lv)
495 {
496         be_liveness_invalidate_sets(lv);
497         be_liveness_invalidate_chk(lv);
498
499         bitset_free(lv->nodes);
500         xfree(lv);
501 }
502
503 void be_liveness_remove(be_lv_t *lv, const ir_node *irn)
504 {
505         if (lv->sets_valid) {
506                 unsigned idx = get_irn_idx(irn);
507                 lv_remove_walker_t w;
508
509                 /*
510                  * Removes a single irn from the liveness information.
511                  * Since an irn can only be live at blocks dominated by the block of its
512                  * definition, we only have to process that dominance subtree.
513                  */
514                 w.lv  = lv;
515                 w.irn = irn;
516                 dom_tree_walk(get_nodes_block(irn), lv_remove_irn_walker, NULL, &w);
517                 if (idx < bitset_size(lv->nodes))
518                         bitset_clear(lv->nodes, idx);
519         }
520 }
521
522 void be_liveness_introduce(be_lv_t *lv, ir_node *irn)
523 {
524         /* Don't compute liveness information for non-data nodes. */
525         if (lv->sets_valid && is_liveness_node(irn)) {
526                 re.lv      = lv;
527                 re.visited = bitset_malloc(get_irg_last_idx(lv->irg));
528                 liveness_for_node(irn);
529                 bitset_free(re.visited);
530         }
531 }
532
533 void be_liveness_update(be_lv_t *lv, ir_node *irn)
534 {
535         be_liveness_remove(lv, irn);
536         be_liveness_introduce(lv, irn);
537 }
538
539 void be_liveness_transfer(const arch_register_class_t *cls,
540                           ir_node *node, ir_nodeset_t *nodeset)
541 {
542         int i, arity;
543
544         /* You should better break out of your loop when hitting the first phi
545          * function. */
546         assert(!is_Phi(node) && "liveness_transfer produces invalid results for phi nodes");
547
548         if (get_irn_mode(node) == mode_T) {
549                 const ir_edge_t *edge;
550
551                 foreach_out_edge(node, edge) {
552                         ir_node *proj = get_edge_src_irn(edge);
553
554                         if (arch_irn_consider_in_reg_alloc(cls, proj)) {
555                                 ir_nodeset_remove(nodeset, proj);
556                         }
557                 }
558         } else if (arch_irn_consider_in_reg_alloc(cls, node)) {
559                 ir_nodeset_remove(nodeset, node);
560         }
561
562         arity = get_irn_arity(node);
563         for (i = 0; i < arity; ++i) {
564                 ir_node *op = get_irn_n(node, i);
565
566                 if (arch_irn_consider_in_reg_alloc(cls, op))
567                         ir_nodeset_insert(nodeset, op);
568         }
569 }
570
571
572
573 void be_liveness_end_of_block(const be_lv_t *lv,
574                               const arch_register_class_t *cls,
575                               const ir_node *block, ir_nodeset_t *live)
576 {
577         int i;
578
579         assert(lv->nodes && "live sets must be computed");
580         be_lv_foreach(lv, block, be_lv_state_end, i) {
581                 ir_node *node = be_lv_get_irn(lv, block, i);
582                 if (!arch_irn_consider_in_reg_alloc(cls, node))
583                         continue;
584
585                 ir_nodeset_insert(live, node);
586         }
587 }
588
589
590
591 void be_liveness_nodes_live_at(const be_lv_t *lv,
592                                const arch_register_class_t *cls,
593                                const ir_node *pos, ir_nodeset_t *live)
594 {
595         const ir_node *bl = is_Block(pos) ? pos : get_nodes_block(pos);
596         ir_node *irn;
597
598         be_liveness_end_of_block(lv, cls, bl, live);
599         sched_foreach_reverse(bl, irn) {
600                 /*
601                  * If we encounter the node we want to insert the Perm after,
602                  * exit immediately, so that this node is still live
603                  */
604                 if (irn == pos)
605                         return;
606
607                 be_liveness_transfer(cls, irn, live);
608         }
609 }
610
611 static void collect_node(ir_node *irn, void *data)
612 {
613         struct obstack *obst = (struct obstack*)data;
614         obstack_ptr_grow(obst, irn);
615 }
616
617 static void be_live_chk_compare(be_lv_t *lv, lv_chk_t *lvc)
618 {
619         ir_graph *irg    = lv->irg;
620
621         struct obstack obst;
622         ir_node **nodes;
623         ir_node **blocks;
624         int i, j;
625
626         obstack_init(&obst);
627
628         irg_block_walk_graph(irg, collect_node, NULL, &obst);
629         obstack_ptr_grow(&obst, NULL);
630         blocks = (ir_node**)obstack_finish(&obst);
631
632         irg_walk_graph(irg, collect_node, NULL, &obst);
633         obstack_ptr_grow(&obst, NULL);
634         nodes = (ir_node**)obstack_finish(&obst);
635
636         stat_ev_ctx_push("be_lv_chk_compare");
637         for (j = 0; nodes[j]; ++j) {
638                 ir_node *irn = nodes[j];
639                 if (is_Block(irn))
640                         continue;
641
642                 for (i = 0; blocks[i]; ++i) {
643                         ir_node *bl = blocks[i];
644                         int lvr_in  = be_is_live_in (lv, bl, irn);
645                         int lvr_out = be_is_live_out(lv, bl, irn);
646                         int lvr_end = be_is_live_end(lv, bl, irn);
647
648                         int lvc_in  = lv_chk_bl_in (lvc, bl, irn);
649                         int lvc_out = lv_chk_bl_out(lvc, bl, irn);
650                         int lvc_end = lv_chk_bl_end(lvc, bl, irn);
651
652                         if (lvr_in - lvc_in != 0)
653                                 ir_fprintf(stderr, "live in  info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_in, lvc_in);
654
655                         if (lvr_end - lvc_end != 0)
656                                 ir_fprintf(stderr, "live end info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_end, lvc_end);
657
658                         if (lvr_out - lvc_out != 0)
659                                 ir_fprintf(stderr, "live out info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_out, lvc_out);
660                 }
661         }
662         stat_ev_ctx_pop("be_lv_chk_compare");
663
664         obstack_free(&obst, NULL);
665 }
666
667 BE_REGISTER_MODULE_CONSTRUCTOR(be_init_live)
668 void be_init_live(void)
669 {
670         (void)be_live_chk_compare;
671         FIRM_DBG_REGISTER(dbg, "firm.be.liveness");
672 }