fix warning and potential bug
[libfirm] / ir / be / beschedtrace.c
1 /**
2  * Implements a trace scheduler as presented in Muchnik[TM].
3  * Originally implemented by Michael Beck.
4  * @author Christian Wuerdig
5  * @date   28.08.2006
6  * @cvs-id $Id$
7  */
8
9 #include <stdlib.h>
10
11 #include "iredges_t.h"
12
13 #include "besched_t.h"
14 #include "belistsched.h"
15 #include "benode_t.h"
16
17 /* we need a special mark */
18 static char _mark;
19 #define MARK &_mark
20
21 typedef struct _trace_irn {
22         sched_timestep_t delay;      /**< The delay for this node if already calculated, else 0. */
23         sched_timestep_t etime;      /**< The earliest time of this node. */
24         unsigned num_user;           /**< The number real users (mode datab) of this node */
25         int      reg_diff;           /**< The difference of num(out registers) - num(in registers) */
26         int      preorder;           /**< The pre-order position */
27         unsigned critical_path_len;  /**< The weighted length of the longest critical path */
28         unsigned is_root       : 1;  /**< is a root node of a block */
29 } trace_irn_t;
30
31 typedef struct _trace_env {
32         trace_irn_t      *sched_info;               /**< trace scheduling information about the nodes */
33         const arch_env_t *arch_env;                 /**< the arch environment */
34         sched_timestep_t curr_time;                 /**< current time of the scheduler */
35         void             *selector_env;             /**< the backend selector environment */
36         const list_sched_selector_t *selector;      /**< the actual backend selector */
37         DEBUG_ONLY(firm_dbg_module_t *dbg;)
38 } trace_env_t;
39
40 /**
41  * Returns non-zero if the node is a root node
42  */
43 static INLINE unsigned is_root_node(trace_env_t *env, ir_node *n)
44 {
45         int idx = get_irn_idx(n);
46
47         assert(idx < ARR_LEN(env->sched_info));
48         return env->sched_info[idx].is_root;
49 }
50
51 /**
52  * Mark a node as root node
53  */
54 static INLINE void mark_root_node(trace_env_t *env, ir_node *n)
55 {
56         int idx = get_irn_idx(n);
57
58         assert(idx < ARR_LEN(env->sched_info));
59         env->sched_info[idx].is_root = 1;
60 }
61
62 /**
63  * Get the current delay.
64  */
65 static INLINE sched_timestep_t get_irn_delay(trace_env_t *env, ir_node *n) {
66         int idx = get_irn_idx(n);
67
68         assert(idx < ARR_LEN(env->sched_info));
69         return env->sched_info[idx].delay;
70 }
71
72 /**
73  * Set the current delay.
74  */
75 static INLINE void set_irn_delay(trace_env_t *env, ir_node *n, sched_timestep_t delay) {
76         int idx = get_irn_idx(n);
77
78         assert(idx < ARR_LEN(env->sched_info));
79         env->sched_info[idx].delay = delay;
80 }
81
82 /**
83  * Get the current etime.
84  */
85 static INLINE sched_timestep_t get_irn_etime(trace_env_t *env, ir_node *n) {
86         int idx = get_irn_idx(n);
87
88         assert(idx < ARR_LEN(env->sched_info));
89         return env->sched_info[idx].etime;
90 }
91
92 /**
93  * Set the current etime.
94  */
95 static INLINE void set_irn_etime(trace_env_t *env, ir_node *n, sched_timestep_t etime) {
96         int idx = get_irn_idx(n);
97
98         assert(idx < ARR_LEN(env->sched_info));
99         env->sched_info[idx].etime = etime;
100 }
101
102 /**
103  * Get the number of users.
104  */
105 static INLINE unsigned get_irn_num_user(trace_env_t *env, ir_node *n) {
106         int idx = get_irn_idx(n);
107
108         assert(idx < ARR_LEN(env->sched_info));
109         return env->sched_info[idx].num_user;
110 }
111
112 /**
113  * Set the number of users.
114  */
115 static INLINE void set_irn_num_user(trace_env_t *env, ir_node *n, unsigned num_user) {
116         int idx = get_irn_idx(n);
117
118         assert(idx < ARR_LEN(env->sched_info));
119         env->sched_info[idx].num_user = num_user;
120 }
121
122 /**
123  * Get the register difference.
124  */
125 static INLINE int get_irn_reg_diff(trace_env_t *env, ir_node *n) {
126         int idx = get_irn_idx(n);
127
128         assert(idx < ARR_LEN(env->sched_info));
129         return env->sched_info[idx].reg_diff;
130 }
131
132 /**
133  * Set the register difference.
134  */
135 static INLINE void set_irn_reg_diff(trace_env_t *env, ir_node *n, int reg_diff) {
136         int idx = get_irn_idx(n);
137
138         assert(idx < ARR_LEN(env->sched_info));
139         env->sched_info[idx].reg_diff = reg_diff;
140 }
141
142 /**
143  * Get the pre-order position.
144  */
145 static INLINE int get_irn_preorder(trace_env_t *env, ir_node *n) {
146         int idx = get_irn_idx(n);
147
148         assert(idx < ARR_LEN(env->sched_info));
149         return env->sched_info[idx].preorder;
150 }
151
152 /**
153  * Set the pre-order position.
154  */
155 static INLINE void set_irn_preorder(trace_env_t *env, ir_node *n, int pos) {
156         int idx = get_irn_idx(n);
157
158         assert(idx < ARR_LEN(env->sched_info));
159         env->sched_info[idx].preorder = pos;
160 }
161
162 /**
163  * Get the pre-order position.
164  */
165 static INLINE unsigned get_irn_critical_path_len(trace_env_t *env, ir_node *n) {
166         int idx = get_irn_idx(n);
167
168         assert(idx < ARR_LEN(env->sched_info));
169         return env->sched_info[idx].critical_path_len;
170 }
171
172 /**
173  * Set the pre-order position.
174  */
175 static INLINE void set_irn_critical_path_len(trace_env_t *env, ir_node *n, unsigned len) {
176         int idx = get_irn_idx(n);
177
178         assert(idx < ARR_LEN(env->sched_info));
179         env->sched_info[idx].critical_path_len = len;
180 }
181
182 /**
183  * returns the exec-time for node n.
184  */
185 static sched_timestep_t exectime(trace_env_t *env, ir_node *n) {
186         if (be_is_Keep(n) || is_Proj(n))
187                 return 0;
188         if (env->selector->exectime)
189                 return env->selector->exectime(env->selector_env, n);
190         return 1;
191 }
192
193 /**
194  * Calculates the latency for between two ops
195  */
196 static sched_timestep_t latency(trace_env_t *env, ir_node *pred, int pred_cycle, ir_node *curr, int curr_cycle) {
197         /* a Keep hides a root */
198         if (be_is_Keep(curr))
199                 return exectime(env, pred);
200
201         /* Proj's are executed immediately */
202         if (is_Proj(curr))
203                 return 0;
204
205         /* predecessors Proj's must be skipped */
206         if (is_Proj(pred))
207                 pred = get_Proj_pred(pred);
208
209         if (env->selector->latency)
210                 return env->selector->latency(env->selector_env, pred, pred_cycle, curr, curr_cycle);
211         return 1;
212 }
213
214 /**
215  * Returns the number of users of a node having mode datab.
216  */
217 static int get_num_successors(ir_node *irn) {
218         int sum = 0;
219         const ir_edge_t *edge;
220
221         if (get_irn_mode(irn) == mode_T) {
222                 /* for mode_T nodes: count the users of all Projs */
223                 foreach_out_edge(irn, edge) {
224                         ir_node *proj = get_edge_src_irn(edge);
225                         ir_mode *mode = get_irn_mode(proj);
226
227                         if (mode == mode_T)
228                                 sum += get_num_successors(proj);
229                         else if (mode_is_datab(mode))
230                                 sum += get_irn_n_edges(proj);
231                 }
232         }
233         else {
234                 /* do not count keep-alive edges */
235                 foreach_out_edge(irn, edge) {
236                         if (get_irn_opcode(get_edge_src_irn(edge)) != iro_End)
237                                 sum++;
238                 }
239         }
240
241         return sum;
242 }
243
244 /**
245  * Returns the difference of regs_output - regs_input;
246  */
247 static int get_reg_difference(trace_env_t *env, ir_node *irn) {
248         int num_out = 0;
249         int num_in  = 0;
250         int i;
251
252         if (get_irn_mode(irn) == mode_T) {
253                 /* mode_T nodes: num out regs == num Projs with mode datab */
254                 const ir_edge_t *edge;
255                 foreach_out_edge(irn, edge) {
256                         ir_node *proj = get_edge_src_irn(edge);
257                         if (mode_is_datab(get_irn_mode(proj)))
258                                 num_out++;
259                 }
260         }
261         else
262                 num_out = 1;
263
264         /* num in regs: number of ins with mode datab and not ignore */
265         for (i = get_irn_arity(irn) - 1; i >= 0; i--) {
266                 ir_node *in = get_irn_n(irn, i);
267                 if (mode_is_datab(get_irn_mode(in)) && ! arch_irn_is(env->arch_env, in, ignore))
268                         num_in++;
269         }
270
271         return num_out - num_in;
272 }
273
274 /**
275  * descent into a dag and create a pre-order list.
276  */
277 static void descent(ir_node *root, ir_node *block, ir_node **list, trace_env_t *env, unsigned path_len) {
278         int i;
279
280         if (! is_Phi(root)) {
281                 path_len += exectime(env, root);
282                 if (get_irn_critical_path_len(env, root) < path_len) {
283                         set_irn_critical_path_len(env, root, path_len);
284                 }
285
286                 /* Phi nodes always leave the block */
287                 for (i = get_irn_arity(root) - 1; i >= 0; --i) {
288                         ir_node *pred = get_irn_n(root, i);
289
290                         DBG((env->dbg, LEVEL_3, "   node %+F\n", pred));
291                         /* Blocks may happen as predecessors of End nodes */
292                         if (is_Block(pred))
293                                 continue;
294
295                         /* already seen nodes are not marked */
296                         if (get_irn_link(pred) != MARK)
297                                 continue;
298
299                         /* don't leave our block */
300                         if (get_nodes_block(pred) != block)
301                                 continue;
302
303                         /* calculate number of users (needed for heuristic) */
304                         set_irn_num_user(env, root, get_num_successors(root));
305
306                         /* calculate register difference (needed for heuristic) */
307                         set_irn_reg_diff(env, root, get_reg_difference(env, root));
308
309                         set_irn_link(pred, NULL);
310
311                         descent(pred, block, list, env, path_len);
312                 }
313         }
314         set_irn_link(root, *list);
315         *list = root;
316 }
317
318 /**
319  * Returns non-zero if root is a root in the block block.
320  */
321 static int is_root(ir_node *root, ir_node *block) {
322         const ir_edge_t *edge;
323
324         foreach_out_edge(root, edge) {
325                 ir_node *succ = get_edge_src_irn(edge);
326
327                 if (is_Block(succ))
328                         continue;
329                 /* Phi nodes are always in "another block */
330                 if (is_Phi(succ))
331                         continue;
332                 if (get_nodes_block(succ) == block)
333                         return 0;
334         }
335         return 1;
336 }
337
338 /**
339  * Performs initial block calculations for trace scheduling.
340  */
341 static void trace_preprocess_block(trace_env_t *env, ir_node *block) {
342         ir_node *root = NULL, *preord = NULL;
343         ir_node *curr, *irn;
344         int cur_pos;
345         const ir_edge_t *edge;
346
347         /* First step: Find the root set. */
348         foreach_out_edge(block, edge) {
349                 ir_node *succ = get_edge_src_irn(edge);
350
351                 if (is_root(succ, block)) {
352                         mark_root_node(env, succ);
353                         set_irn_link(succ, root);
354                         root = succ;
355                 }
356                 else
357                         set_irn_link(succ, MARK);
358         }
359
360         /* Second step: calculate the pre-order list. */
361         preord = NULL;
362         for (curr = root; curr; curr = irn) {
363                 irn = get_irn_link(curr);
364                 DBG((env->dbg, LEVEL_2, "   DAG root %+F\n", curr));
365                 descent(curr, block, &preord, env, 0);
366         }
367         root = preord;
368
369         /* Third step: calculate the Delay. Note that our
370         * list is now in pre-order, starting at root
371         */
372         for (cur_pos = 0, curr = root; curr; curr = get_irn_link(curr), cur_pos++) {
373                 sched_timestep_t d;
374
375                 if (arch_irn_class_is(env->arch_env, curr, branch)) {
376                         /* assure, that branches can be executed last */
377                         d = 0;
378                 }
379                 else {
380                         if (is_root_node(env, curr))
381                                 d = exectime(env, curr);
382                         else {
383                                 d = 0;
384                                 foreach_out_edge(curr, edge) {
385                                         ir_node *n = get_edge_src_irn(edge);
386
387                                         if (get_nodes_block(n) == block) {
388                                                 sched_timestep_t ld;
389
390                                                 ld = latency(env, curr, 1, n, 0) + get_irn_delay(env, n);
391                                                 d = ld > d ? ld : d;
392                                         }
393                                 }
394                         }
395                 }
396                 set_irn_delay(env, curr, d);
397                 DB((env->dbg, LEVEL_2, "\t%+F delay %u\n", curr, d));
398
399                 /* set the etime of all nodes to 0 */
400                 set_irn_etime(env, curr, 0);
401
402                 set_irn_preorder(env, curr, cur_pos);
403         }
404 }
405
406 /**
407  * This functions gets called after a node finally has been made ready.
408  */
409 static void trace_node_ready(void *data, ir_node *irn, ir_node *pred) {
410         trace_env_t *env = data;
411         sched_timestep_t etime_p, etime;
412
413         etime = env->curr_time;
414         if (pred) {
415                 etime_p = get_irn_etime(env, pred);
416                 etime  += latency(env, pred, 1, irn, 0);
417                 etime   = etime_p > etime ? etime_p : etime;
418         }
419
420         set_irn_etime(env, irn, etime);
421         DB((env->dbg, LEVEL_2, "\tset etime of %+F to %u\n", irn, etime));
422 }
423
424 /**
425  * Update the current time after irn has been selected.
426  */
427 static void trace_update_time(void *data, ir_node *irn) {
428         trace_env_t *env = data;
429         if (is_Phi(irn) || get_irn_opcode(irn) == iro_Start) {
430                 env->curr_time += get_irn_etime(env, irn);
431         }
432         else {
433                 env->curr_time += exectime(env, irn);
434         }
435 }
436
437 /**
438  * Allocates memory and initializes trace scheduling environment.
439  * @param birg   The backend irg object
440  * @return The environment
441  */
442 static trace_env_t *trace_init(const arch_env_t *arch_env, ir_graph *irg) {
443         trace_env_t *env = xcalloc(1, sizeof(*env));
444         int         nn   = get_irg_last_idx(irg);
445
446         env->arch_env   = arch_env;
447         env->curr_time  = 0;
448         env->sched_info = NEW_ARR_F(trace_irn_t, nn);
449         FIRM_DBG_REGISTER(env->dbg, "firm.be.sched.trace");
450
451         memset(env->sched_info, 0, nn * sizeof(*(env->sched_info)));
452
453         return env;
454 }
455
456 /**
457  * Frees all memory allocated for trace scheduling environment.
458  * @param env  The environment
459  */
460 static void trace_free(void *data) {
461         trace_env_t *env = data;
462         DEL_ARR_F(env->sched_info);
463         free(env);
464 }
465
466 /**
467  * Simple selector. Just assure that jumps are scheduled last.
468  */
469 static ir_node *basic_selection(const arch_env_t *arch_env, nodeset *ready_set) {
470         ir_node *irn = NULL;
471
472         /* assure that branches and constants are executed last */
473         for (irn = nodeset_first(ready_set); irn; irn = nodeset_next(ready_set)) {
474                 if (! arch_irn_class_is(arch_env, irn, branch)) {
475                         nodeset_break(ready_set);
476                         return irn;
477                 }
478         }
479
480         /* at last: schedule branches */
481         irn = nodeset_first(ready_set);
482         nodeset_break(ready_set);
483
484         return irn;
485 }
486
487 /**
488 * The muchnik selector.
489 */
490 static ir_node *muchnik_select(void *block_env, nodeset *ready_set, nodeset *live_set)
491 {
492         trace_env_t *env = block_env;
493         nodeset *mcands, *ecands;
494         sched_timestep_t max_delay = 0;
495         ir_node *irn;
496
497         /* calculate the max delay of all candidates */
498         foreach_nodeset(ready_set, irn) {
499                 sched_timestep_t d = get_irn_delay(env, irn);
500
501                 max_delay = d > max_delay ? d : max_delay;
502         }
503
504         mcands = new_nodeset(8);
505         ecands = new_nodeset(8);
506
507         /* build mcands and ecands */
508         foreach_nodeset(ready_set, irn) {
509                 if (get_irn_delay(env, irn) == max_delay) {
510                         nodeset_insert(mcands, irn);
511                         if (get_irn_etime(env, irn) <= env->curr_time)
512                                 nodeset_insert(ecands, irn);
513                 }
514         }
515
516         /* select a node */
517         if (nodeset_count(mcands) == 1) {
518                 irn = nodeset_first(mcands);
519                 DB((env->dbg, LEVEL_3, "\tirn = %+F, mcand = 1, max_delay = %u\n", irn, max_delay));
520         }
521         else {
522                 int cnt = nodeset_count(ecands);
523                 if (cnt == 1) {
524                         irn = nodeset_first(ecands);
525
526                         if (arch_irn_class_is(env->arch_env, irn, branch)) {
527                                 /* BEWARE: don't select a JUMP if others are still possible */
528                                 goto force_mcands;
529                         }
530                         DB((env->dbg, LEVEL_3, "\tirn = %+F, ecand = 1, max_delay = %u\n", irn, max_delay));
531                 }
532                 else if (cnt > 1) {
533                         DB((env->dbg, LEVEL_3, "\tecand = %d, max_delay = %u\n", cnt, max_delay));
534                         irn = basic_selection(env->arch_env, ecands);
535                 }
536                 else {
537 force_mcands:
538                         DB((env->dbg, LEVEL_3, "\tmcand = %d\n", nodeset_count(mcands)));
539                         irn = basic_selection(env->arch_env, mcands);
540                 }
541         }
542
543         return irn;
544 }
545
546 static void *muchnik_init_graph(const list_sched_selector_t *vtab, const arch_env_t *arch_env, ir_graph *irg)
547 {
548         trace_env_t *env  = trace_init(arch_env, irg);
549         env->selector     = vtab;
550         env->selector_env = env;
551         return (void *)env;
552 }
553
554 static void *muchnik_init_block(void *graph_env, ir_node *bl)
555 {
556         trace_preprocess_block(graph_env, bl);
557         return graph_env;
558 }
559
560 static const list_sched_selector_t muchnik_selector_struct = {
561         muchnik_init_graph,
562         muchnik_init_block,
563         muchnik_select,
564         NULL,                /* to_appear_in_schedule */
565         trace_node_ready,    /* node_ready */
566         trace_update_time,   /* node_selected */
567         NULL,                /* exectime */
568         NULL,                /* latency */
569         NULL,                /* finish_block */
570         trace_free           /* finish_graph */
571 };
572
573 const list_sched_selector_t *muchnik_selector = &muchnik_selector_struct;
574
575 /**
576  * Execute the heuristic function.
577  */
578 static ir_node *heuristic_select(void *block_env, nodeset *ns, nodeset *lv)
579 {
580         trace_env_t *trace_env   = block_env;
581         ir_node     *irn, *cand  = NULL;
582         int         max_prio     = INT_MIN;
583         int         cur_prio     = INT_MIN;
584         int         cur_pressure = nodeset_count(lv);
585         int         reg_fact, cand_reg_fact;
586
587         /* prefer instructions which can be scheduled early */
588 #define PRIO_TIME       16
589         /* prefer instructions with lots of successors */
590 #define PRIO_NUMSUCCS    8
591         /* prefer instructions with long critical path */
592 #define PRIO_LEVEL      12
593         /* prefer instructions coming early in preorder */
594 #define PRIO_PREORD      8
595         /* weight of current register pressure */
596 #define PRIO_CUR_PRESS  20
597         /* weight of register pressure difference */
598 #define PRIO_CHG_PRESS   8
599
600         /* priority based selection, heuristic inspired by mueller diss */
601         foreach_nodeset(ns, irn) {
602                 /* make sure that branches are scheduled last */
603                 if (! arch_irn_class_is(trace_env->arch_env, irn, branch)) {
604                         int rdiff = get_irn_reg_diff(trace_env, irn);
605                         int sign  = rdiff < 0;
606                         int chg   = (rdiff < 0 ? -rdiff : rdiff) << PRIO_CHG_PRESS;
607
608                         reg_fact = chg << cur_pressure;
609                         if (reg_fact < chg)
610                                 reg_fact = INT_MAX - 2;
611                         reg_fact = sign ? -reg_fact : reg_fact;
612
613                         cur_prio = (get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL)
614                                 //- (get_irn_delay(trace_env, irn) << PRIO_LEVEL)
615                                 + (get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS)
616                                 - (get_irn_etime(trace_env, irn) << PRIO_TIME)
617                                 //- ((get_irn_reg_diff(trace_env, irn) >> PRIO_CHG_PRESS) << ((cur_pressure >> PRIO_CUR_PRESS) - 3))
618                                 - reg_fact
619                                 + (get_irn_preorder(trace_env, irn) << PRIO_PREORD); /* high preorder means early schedule */
620                         if (cur_prio > max_prio) {
621                                 cand          = irn;
622                                 max_prio      = cur_prio;
623                                 cand_reg_fact = reg_fact;
624                         }
625
626                         DBG((trace_env->dbg, LEVEL_4, "checked NODE %+F\n", irn));
627                         DBG((trace_env->dbg, LEVEL_4, "\tpriority: %d\n", cur_prio));
628                         DBG((trace_env->dbg, LEVEL_4, "\tpath len: %d (%d)\n", get_irn_critical_path_len(trace_env, irn), get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL));
629                         DBG((trace_env->dbg, LEVEL_4, "\tdelay:    %d (%d)\n", get_irn_delay(trace_env, irn), get_irn_delay(trace_env, irn) << PRIO_LEVEL));
630                         DBG((trace_env->dbg, LEVEL_4, "\t#user:    %d (%d)\n", get_irn_num_user(trace_env, irn), get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS));
631                         DBG((trace_env->dbg, LEVEL_4, "\tetime:    %d (%d)\n", get_irn_etime(trace_env, irn), 0 - (get_irn_etime(trace_env, irn) << PRIO_TIME)));
632                         DBG((trace_env->dbg, LEVEL_4, "\tpreorder: %d (%d)\n", get_irn_preorder(trace_env, irn), get_irn_preorder(trace_env, irn) << PRIO_PREORD));
633                         DBG((trace_env->dbg, LEVEL_4, "\treg diff: %d (%d)\n", get_irn_reg_diff(trace_env, irn), 0 - cand_reg_fact));
634                         DBG((trace_env->dbg, LEVEL_4, "\tpressure: %d\n", cur_pressure));
635                 }
636         }
637
638         if (cand) {
639                 DBG((trace_env->dbg, LEVEL_4, "heuristic selected %+F:\n", cand));
640         }
641         else {
642                 cand = basic_selection(trace_env->arch_env, ns);
643         }
644
645         return cand;
646 }
647
648 static const list_sched_selector_t heuristic_selector_struct = {
649         muchnik_init_graph,
650         muchnik_init_block,
651         heuristic_select,
652         NULL,                /* to_appear_in_schedule */
653         trace_node_ready,    /* node_ready */
654         trace_update_time,   /* node_selected */
655         NULL,                /* exectime */
656         NULL,                /* latency */
657         NULL,                /* finish_block */
658         trace_free           /* finish_graph */
659 };
660
661 const list_sched_selector_t *heuristic_selector = &heuristic_selector_struct;