belive: Inline be_lv_remove() into its only caller.
[libfirm] / ir / be / belive.c
1 /*
2  * This file is part of libFirm.
3  * Copyright (C) 2012 University of Karlsruhe.
4  */
5
6 /**
7  * @file
8  * @brief       Interblock liveness analysis.
9  * @author      Sebastian Hack
10  * @date        06.12.2004
11  */
12 #include "config.h"
13
14 /* statev is expensive here, only enable when needed */
15 #define DISABLE_STATEV
16
17 #include "iredges_t.h"
18 #include "irgwalk.h"
19 #include "irprintf.h"
20 #include "irdump_t.h"
21 #include "irnodeset.h"
22
23 #include "absgraph.h"
24 #include "statev_t.h"
25 #include "be_t.h"
26 #include "bearch.h"
27 #include "beutil.h"
28 #include "belive_t.h"
29 #include "besched.h"
30 #include "bemodule.h"
31
32 DEBUG_ONLY(static firm_dbg_module_t *dbg = NULL;)
33
34 #define LV_STD_SIZE             64
35
36 int (be_is_live_in)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
37 {
38         return _be_is_live_xxx(lv, block, irn, be_lv_state_in);
39 }
40
41 int (be_is_live_out)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
42 {
43         return _be_is_live_xxx(lv, block, irn, be_lv_state_out);
44 }
45
46 int (be_is_live_end)(const be_lv_t *lv, const ir_node *block, const ir_node *irn)
47 {
48         return _be_is_live_xxx(lv, block, irn, be_lv_state_end);
49 }
50
51 static inline unsigned _be_liveness_bsearch(be_lv_info_t *arr, const ir_node *node)
52 {
53         be_lv_info_t *payload = arr + 1;
54
55         unsigned n   = arr[0].head.n_members;
56         unsigned res = 0;
57         int lo       = 0;
58         int hi       = n;
59
60         if (n == 0)
61                 return 0;
62
63         do {
64                 int md           = lo + ((hi - lo) >> 1);
65                 ir_node *md_node = payload[md].node.node;
66
67                 if (node > md_node)
68                         lo = md + 1;
69                 else if (node < md_node)
70                         hi = md;
71                 else {
72                         res = md;
73                         break;
74                 }
75
76                 res = lo;
77         } while (lo < hi);
78
79         return res;
80 }
81
82 be_lv_info_node_t *be_lv_get(const be_lv_t *li, const ir_node *bl,
83                              const ir_node *irn)
84 {
85         be_lv_info_t *irn_live;
86         be_lv_info_node_t *res = NULL;
87
88         stat_ev_tim_push();
89         irn_live = ir_nodehashmap_get(be_lv_info_t, &li->map, bl);
90         if (irn_live != NULL) {
91                 /* Get the position of the index in the array. */
92                 int pos = _be_liveness_bsearch(irn_live, irn);
93
94                 /* Get the record in question. 1 must be added, since the first record contains information about the array and must be skipped. */
95                 be_lv_info_node_t *rec = &irn_live[pos + 1].node;
96
97                 /* Check, if the irn is in deed in the array. */
98                 if (rec->node == irn)
99                         res = rec;
100         }
101         stat_ev_tim_pop("be_lv_get");
102
103         return res;
104 }
105
106 static be_lv_info_node_t *be_lv_get_or_set(be_lv_t *li, ir_node *bl,
107                                            ir_node *irn)
108 {
109         be_lv_info_t *irn_live = ir_nodehashmap_get(be_lv_info_t, &li->map, bl);
110         if (irn_live == NULL) {
111                 irn_live = OALLOCNZ(&li->obst, be_lv_info_t, LV_STD_SIZE);
112                 irn_live[0].head.n_size = LV_STD_SIZE-1;
113                 ir_nodehashmap_insert(&li->map, bl, irn_live);
114         }
115
116         /* Get the position of the index in the array. */
117         unsigned pos = _be_liveness_bsearch(irn_live, irn);
118
119         /* Get the record in question. 1 must be added, since the first record contains information about the array and must be skipped. */
120         be_lv_info_node_t *res = &irn_live[pos + 1].node;
121
122         /* Check, if the irn is in deed in the array. */
123         if (res->node != irn) {
124                 be_lv_info_t *payload;
125                 unsigned n_members = irn_live[0].head.n_members;
126                 unsigned n_size    = irn_live[0].head.n_size;
127                 unsigned i;
128
129                 if (n_members + 1 >= n_size) {
130                         /* double the array size. Remember that the first entry is
131                          * metadata about the array and not a real array element */
132                         unsigned old_size_bytes  = (n_size + 1) * sizeof(irn_live[0]);
133                         unsigned new_size        = (2 * n_size) + 1;
134                         size_t   new_size_bytes  = new_size * sizeof(irn_live[0]);
135                         be_lv_info_t *nw = OALLOCN(&li->obst, be_lv_info_t, new_size);
136                         memcpy(nw, irn_live, old_size_bytes);
137                         memset(((char*) nw) + old_size_bytes, 0,
138                                new_size_bytes - old_size_bytes);
139                         nw[0].head.n_size = new_size - 1;
140                         irn_live = nw;
141                         ir_nodehashmap_insert(&li->map, bl, nw);
142                 }
143
144                 payload = &irn_live[1];
145                 for (i = n_members; i > pos; --i) {
146                         payload[i] = payload[i - 1];
147                 }
148
149                 ++irn_live[0].head.n_members;
150
151                 res        = &payload[pos].node;
152                 res->node  = irn;
153                 res->flags = 0;
154         }
155
156         return res;
157 }
158
159 typedef struct lv_remove_walker_t {
160         be_lv_t       *lv;
161         ir_node const *irn;
162 } lv_remove_walker_t;
163
164 /**
165  * Removes a node from the list of live variables of a block.
166  */
167 static void lv_remove_irn_walker(ir_node *const bl, void *const data)
168 {
169         lv_remove_walker_t *const w        = (lv_remove_walker_t*)data;
170         ir_node      const *const irn      = w->irn;
171         be_lv_info_t       *const irn_live = ir_nodehashmap_get(be_lv_info_t, &w->lv->map, bl);
172         if (irn_live != NULL) {
173                 unsigned n   = irn_live[0].head.n_members;
174                 unsigned pos = _be_liveness_bsearch(irn_live, irn);
175                 be_lv_info_t *payload  = irn_live + 1;
176                 be_lv_info_node_t *res = &payload[pos].node;
177
178                 /* The node is in deed in the block's array. Let's remove it. */
179                 if (res->node == irn) {
180                         unsigned i;
181
182                         for (i = pos + 1; i < n; ++i)
183                                 payload[i - 1] = payload[i];
184
185                         payload[n - 1].node.node  = NULL;
186                         payload[n - 1].node.flags = 0;
187
188                         --irn_live[0].head.n_members;
189                         DBG((dbg, LEVEL_3, "\tdeleting %+F from %+F at pos %d\n", irn, bl, pos));
190                 }
191         }
192 }
193
194 static struct {
195         be_lv_t  *lv;         /**< The liveness object. */
196         ir_node  *def;        /**< The node (value). */
197         ir_node  *def_block;  /**< The block of def. */
198 } re;
199
200 /**
201  * Mark a node (value) live out at a certain block. Do this also
202  * transitively, i.e. if the block is not the block of the value's
203  * definition, all predecessors are also marked live.
204  * @param block The block to mark the value live out of.
205  * @param state The liveness bits to set, either end or end+out.
206  */
207 static void live_end_at_block(ir_node *const block, be_lv_state_t const state)
208 {
209         be_lv_info_node_t *const n      = be_lv_get_or_set(re.lv, block, re.def);
210         be_lv_state_t      const before = n->flags;
211
212         assert(state == be_lv_state_end || state == (be_lv_state_end | be_lv_state_out));
213         DBG((dbg, LEVEL_2, "marking %+F live %s at %+F\n", re.def, state & be_lv_state_out ? "end+out" : "end", block));
214         n->flags |= state;
215
216         /* There is no need to recurse further, if we where here before (i.e., any
217          * live state bits were set before). */
218         if (before != be_lv_state_none)
219                 return;
220
221         /* Stop going up further, if this is the block of the definition. */
222         if (re.def_block == block)
223                 return;
224
225         DBG((dbg, LEVEL_2, "marking %+F live in at %+F\n", re.def, block));
226         n->flags |= be_lv_state_in;
227
228         for (int i = get_Block_n_cfgpreds(block); i-- != 0;) {
229                 ir_node *const pred_block = get_Block_cfgpred_block(block, i);
230                 live_end_at_block(pred_block, be_lv_state_end | be_lv_state_out);
231         }
232 }
233
234 /**
235  * Liveness analysis for a value.
236  * Compute the set of all blocks a value is live in.
237  * @param irn     The node (value).
238  */
239 static void liveness_for_node(ir_node *irn)
240 {
241         ir_node *const def_block = get_nodes_block(irn);
242
243         re.def       = irn;
244         re.def_block = def_block;
245
246         /* Go over all uses of the value */
247         foreach_out_edge(irn, edge) {
248                 ir_node *use = edge->src;
249                 ir_node *use_block;
250
251                 DBG((dbg, LEVEL_4, "%+F: use at %+F, pos %d in %+F\n", irn, use, edge->pos, get_block(use)));
252                 assert(get_irn_n(use, edge->pos) == irn);
253
254                 /*
255                  * If the usage is no data node, skip this use, since it does not
256                  * affect the liveness of the node.
257                  */
258                 if (!is_liveness_node(use))
259                         continue;
260
261                 /* Get the block where the usage is in. */
262                 use_block = get_nodes_block(use);
263
264                 /*
265                  * If the use is a phi function, determine the corresponding block
266                  * through which the value reaches the phi function and mark the
267                  * value as live out of that block.
268                  */
269                 if (is_Phi(use)) {
270                         ir_node *pred_block = get_Block_cfgpred_block(use_block, edge->pos);
271                         live_end_at_block(pred_block, be_lv_state_end);
272                 }
273
274                 /*
275                  * Else, the value is live in at this block. Mark it and call live
276                  * out on the predecessors.
277                  */
278                 else if (def_block != use_block) {
279                         int i;
280
281                         be_lv_info_node_t *const n = be_lv_get_or_set(re.lv, use_block, irn);
282                         DBG((dbg, LEVEL_2, "marking %+F live in at %+F\n", irn, use_block));
283                         n->flags |= be_lv_state_in;
284
285                         for (i = get_Block_n_cfgpreds(use_block) - 1; i >= 0; --i) {
286                                 ir_node *pred_block = get_Block_cfgpred_block(use_block, i);
287                                 live_end_at_block(pred_block, be_lv_state_end | be_lv_state_out);
288                         }
289                 }
290         }
291 }
292
293 /**
294  * Walker, collect all nodes for which we want calculate liveness info
295  * on an obstack.
296  */
297 static void collect_liveness_nodes(ir_node *irn, void *data)
298 {
299         ir_node **nodes = (ir_node**)data;
300         if (is_liveness_node(irn))
301                 nodes[get_irn_idx(irn)] = irn;
302 }
303
304 void be_liveness_compute_sets(be_lv_t *lv)
305 {
306         int       i;
307         int       n;
308
309         if (lv->sets_valid)
310                 return;
311
312         be_timer_push(T_LIVE);
313         ir_nodehashmap_init(&lv->map);
314         obstack_init(&lv->obst);
315
316         n = get_irg_last_idx(lv->irg);
317         ir_node **const nodes = NEW_ARR_FZ(ir_node*, n);
318
319         /* inserting the variables sorted by their ID is probably
320          * more efficient since the binary sorted set insertion
321          * will not need to move around the data. */
322         irg_walk_graph(lv->irg, NULL, collect_liveness_nodes, nodes);
323
324         re.lv = lv;
325
326         for (i = 0; i < n; ++i) {
327                 if (nodes[i] != NULL)
328                         liveness_for_node(nodes[i]);
329         }
330
331         DEL_ARR_F(nodes);
332
333         be_timer_pop(T_LIVE);
334
335         lv->sets_valid = true;
336 }
337
338 void be_liveness_compute_chk(be_lv_t *lv)
339 {
340         if (lv->lvc != NULL)
341                 return;
342         lv->lvc = lv_chk_new(lv->irg);
343 }
344
345 void be_liveness_invalidate_sets(be_lv_t *lv)
346 {
347         if (!lv->sets_valid)
348                 return;
349         obstack_free(&lv->obst, NULL);
350         ir_nodehashmap_destroy(&lv->map);
351         lv->sets_valid = false;
352 }
353
354 void be_liveness_invalidate_chk(be_lv_t *lv)
355 {
356         be_liveness_invalidate_sets(lv);
357
358         if (lv->lvc == NULL)
359                 return;
360         lv_chk_free(lv->lvc);
361         lv->lvc = NULL;
362 }
363
364 be_lv_t *be_liveness_new(ir_graph *irg)
365 {
366         be_lv_t *lv = XMALLOCZ(be_lv_t);
367
368         lv->irg = irg;
369
370         return lv;
371 }
372
373 void be_liveness_free(be_lv_t *lv)
374 {
375         be_liveness_invalidate_sets(lv);
376         be_liveness_invalidate_chk(lv);
377
378         xfree(lv);
379 }
380
381 void be_liveness_remove(be_lv_t *lv, const ir_node *irn)
382 {
383         if (lv->sets_valid) {
384                 lv_remove_walker_t w;
385
386                 /*
387                  * Removes a single irn from the liveness information.
388                  * Since an irn can only be live at blocks dominated by the block of its
389                  * definition, we only have to process that dominance subtree.
390                  */
391                 w.lv  = lv;
392                 w.irn = irn;
393                 dom_tree_walk(get_nodes_block(irn), lv_remove_irn_walker, NULL, &w);
394         }
395 }
396
397 void be_liveness_introduce(be_lv_t *lv, ir_node *irn)
398 {
399         /* Don't compute liveness information for non-data nodes. */
400         if (lv->sets_valid && is_liveness_node(irn)) {
401                 re.lv = lv;
402                 liveness_for_node(irn);
403         }
404 }
405
406 void be_liveness_update(be_lv_t *lv, ir_node *irn)
407 {
408         be_liveness_remove(lv, irn);
409         be_liveness_introduce(lv, irn);
410 }
411
412 void be_liveness_transfer(const arch_register_class_t *cls,
413                           ir_node *node, ir_nodeset_t *nodeset)
414 {
415         /* You should better break out of your loop when hitting the first phi
416          * function. */
417         assert(!is_Phi(node) && "liveness_transfer produces invalid results for phi nodes");
418
419         be_foreach_definition(node, cls, value, req,
420                 ir_nodeset_remove(nodeset, value);
421         );
422
423         be_foreach_use(node, cls, in_req, op, op_req,
424                 ir_nodeset_insert(nodeset, op);
425         );
426 }
427
428
429
430 void be_liveness_end_of_block(const be_lv_t *lv,
431                               const arch_register_class_t *cls,
432                               const ir_node *block, ir_nodeset_t *live)
433 {
434         assert(lv->sets_valid && "live sets must be computed");
435         be_lv_foreach_cls(lv, block, be_lv_state_end, cls, node) {
436                 ir_nodeset_insert(live, node);
437         }
438 }
439
440
441
442 void be_liveness_nodes_live_before(be_lv_t const *const lv, arch_register_class_t const *const cls, ir_node const *const pos, ir_nodeset_t *const live)
443 {
444         ir_node *const bl = get_nodes_block(pos);
445         be_liveness_end_of_block(lv, cls, bl, live);
446         sched_foreach_reverse(bl, irn) {
447                 be_liveness_transfer(cls, irn, live);
448                 if (irn == pos)
449                         return;
450         }
451 }
452
453 static void collect_node(ir_node *irn, void *data)
454 {
455         struct obstack *obst = (struct obstack*)data;
456         obstack_ptr_grow(obst, irn);
457 }
458
459 static void be_live_chk_compare(be_lv_t *lv, lv_chk_t *lvc)
460 {
461         ir_graph *irg    = lv->irg;
462
463         struct obstack obst;
464         ir_node **nodes;
465         ir_node **blocks;
466         int i, j;
467
468         obstack_init(&obst);
469
470         irg_block_walk_graph(irg, collect_node, NULL, &obst);
471         obstack_ptr_grow(&obst, NULL);
472         blocks = (ir_node**)obstack_finish(&obst);
473
474         irg_walk_graph(irg, collect_node, NULL, &obst);
475         obstack_ptr_grow(&obst, NULL);
476         nodes = (ir_node**)obstack_finish(&obst);
477
478         stat_ev_ctx_push("be_lv_chk_compare");
479         for (j = 0; nodes[j]; ++j) {
480                 ir_node *irn = nodes[j];
481                 if (is_Block(irn))
482                         continue;
483
484                 for (i = 0; blocks[i]; ++i) {
485                         ir_node *bl = blocks[i];
486                         int lvr_in  = be_is_live_in (lv, bl, irn);
487                         int lvr_out = be_is_live_out(lv, bl, irn);
488                         int lvr_end = be_is_live_end(lv, bl, irn);
489
490                         int lvc_in  = lv_chk_bl_in (lvc, bl, irn);
491                         int lvc_out = lv_chk_bl_out(lvc, bl, irn);
492                         int lvc_end = lv_chk_bl_end(lvc, bl, irn);
493
494                         if (lvr_in - lvc_in != 0)
495                                 ir_fprintf(stderr, "live in  info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_in, lvc_in);
496
497                         if (lvr_end - lvc_end != 0)
498                                 ir_fprintf(stderr, "live end info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_end, lvc_end);
499
500                         if (lvr_out - lvc_out != 0)
501                                 ir_fprintf(stderr, "live out info for %+F at %+F differs: nml: %d, chk: %d\n", irn, bl, lvr_out, lvc_out);
502                 }
503         }
504         stat_ev_ctx_pop("be_lv_chk_compare");
505
506         obstack_free(&obst, NULL);
507 }
508
509 BE_REGISTER_MODULE_CONSTRUCTOR(be_init_live)
510 void be_init_live(void)
511 {
512         (void)be_live_chk_compare;
513         FIRM_DBG_REGISTER(dbg, "firm.be.liveness");
514 }