- New belady variant (see my diploma thesis + presentation)
[libfirm] / ir / be / beschedtrace.c
1 /**
2  * Implements a trace scheduler as presented in Muchnik[TM].
3  * Originally implemented by Michael Beck.
4  * @author Christian Wuerdig
5  * @date   28.08.2006
6  * @cvs-id $Id$
7  */
8 #ifdef HAVE_CONFIG_H
9 #include "config.h"
10 #endif
11
12 #include <stdlib.h>
13
14 #include "iredges_t.h"
15
16 #include "besched_t.h"
17 #include "belistsched.h"
18 #include "benode_t.h"
19
20 /* we need a special mark */
21 static char _mark;
22 #define MARK &_mark
23
24 typedef struct _trace_irn {
25         sched_timestep_t delay;      /**< The delay for this node if already calculated, else 0. */
26         sched_timestep_t etime;      /**< The earliest time of this node. */
27         unsigned num_user;           /**< The number real users (mode datab) of this node */
28         int      reg_diff;           /**< The difference of num(out registers) - num(in registers) */
29         int      preorder;           /**< The pre-order position */
30         unsigned critical_path_len;  /**< The weighted length of the longest critical path */
31         unsigned is_root       : 1;  /**< is a root node of a block */
32 } trace_irn_t;
33
34 typedef struct _trace_env {
35         trace_irn_t      *sched_info;               /**< trace scheduling information about the nodes */
36         const arch_env_t *arch_env;                 /**< the arch environment */
37         sched_timestep_t curr_time;                 /**< current time of the scheduler */
38         void             *selector_env;             /**< the backend selector environment */
39         const list_sched_selector_t *selector;      /**< the actual backend selector */
40         be_lv_t          *liveness;                 /**< The liveness for the irg */
41         DEBUG_ONLY(firm_dbg_module_t *dbg;)
42 } trace_env_t;
43
44 /**
45  * Returns non-zero if the node is a root node
46  */
47 static INLINE unsigned is_root_node(trace_env_t *env, ir_node *n)
48 {
49         int idx = get_irn_idx(n);
50
51         assert(idx < ARR_LEN(env->sched_info));
52         return env->sched_info[idx].is_root;
53 }
54
55 /**
56  * Mark a node as root node
57  */
58 static INLINE void mark_root_node(trace_env_t *env, ir_node *n)
59 {
60         int idx = get_irn_idx(n);
61
62         assert(idx < ARR_LEN(env->sched_info));
63         env->sched_info[idx].is_root = 1;
64 }
65
66 /**
67  * Get the current delay.
68  */
69 static INLINE sched_timestep_t get_irn_delay(trace_env_t *env, ir_node *n) {
70         int idx = get_irn_idx(n);
71
72         assert(idx < ARR_LEN(env->sched_info));
73         return env->sched_info[idx].delay;
74 }
75
76 /**
77  * Set the current delay.
78  */
79 static INLINE void set_irn_delay(trace_env_t *env, ir_node *n, sched_timestep_t delay) {
80         int idx = get_irn_idx(n);
81
82         assert(idx < ARR_LEN(env->sched_info));
83         env->sched_info[idx].delay = delay;
84 }
85
86 /**
87  * Get the current etime.
88  */
89 static INLINE sched_timestep_t get_irn_etime(trace_env_t *env, ir_node *n) {
90         int idx = get_irn_idx(n);
91
92         assert(idx < ARR_LEN(env->sched_info));
93         return env->sched_info[idx].etime;
94 }
95
96 /**
97  * Set the current etime.
98  */
99 static INLINE void set_irn_etime(trace_env_t *env, ir_node *n, sched_timestep_t etime) {
100         int idx = get_irn_idx(n);
101
102         assert(idx < ARR_LEN(env->sched_info));
103         env->sched_info[idx].etime = etime;
104 }
105
106 /**
107  * Get the number of users.
108  */
109 static INLINE unsigned get_irn_num_user(trace_env_t *env, ir_node *n) {
110         int idx = get_irn_idx(n);
111
112         assert(idx < ARR_LEN(env->sched_info));
113         return env->sched_info[idx].num_user;
114 }
115
116 /**
117  * Set the number of users.
118  */
119 static INLINE void set_irn_num_user(trace_env_t *env, ir_node *n, unsigned num_user) {
120         int idx = get_irn_idx(n);
121
122         assert(idx < ARR_LEN(env->sched_info));
123         env->sched_info[idx].num_user = num_user;
124 }
125
126 /**
127  * Get the register difference.
128  */
129 static INLINE int get_irn_reg_diff(trace_env_t *env, ir_node *n) {
130         int idx = get_irn_idx(n);
131
132         assert(idx < ARR_LEN(env->sched_info));
133         return env->sched_info[idx].reg_diff;
134 }
135
136 /**
137  * Set the register difference.
138  */
139 static INLINE void set_irn_reg_diff(trace_env_t *env, ir_node *n, int reg_diff) {
140         int idx = get_irn_idx(n);
141
142         assert(idx < ARR_LEN(env->sched_info));
143         env->sched_info[idx].reg_diff = reg_diff;
144 }
145
146 /**
147  * Get the pre-order position.
148  */
149 static INLINE int get_irn_preorder(trace_env_t *env, ir_node *n) {
150         int idx = get_irn_idx(n);
151
152         assert(idx < ARR_LEN(env->sched_info));
153         return env->sched_info[idx].preorder;
154 }
155
156 /**
157  * Set the pre-order position.
158  */
159 static INLINE void set_irn_preorder(trace_env_t *env, ir_node *n, int pos) {
160         int idx = get_irn_idx(n);
161
162         assert(idx < ARR_LEN(env->sched_info));
163         env->sched_info[idx].preorder = pos;
164 }
165
166 /**
167  * Get the pre-order position.
168  */
169 static INLINE unsigned get_irn_critical_path_len(trace_env_t *env, ir_node *n) {
170         int idx = get_irn_idx(n);
171
172         assert(idx < ARR_LEN(env->sched_info));
173         return env->sched_info[idx].critical_path_len;
174 }
175
176 /**
177  * Set the pre-order position.
178  */
179 static INLINE void set_irn_critical_path_len(trace_env_t *env, ir_node *n, unsigned len) {
180         int idx = get_irn_idx(n);
181
182         assert(idx < ARR_LEN(env->sched_info));
183         env->sched_info[idx].critical_path_len = len;
184 }
185
186 /**
187  * returns the exec-time for node n.
188  */
189 static sched_timestep_t exectime(trace_env_t *env, ir_node *n) {
190         if (be_is_Keep(n) || is_Proj(n))
191                 return 0;
192         if (env->selector->exectime)
193                 return env->selector->exectime(env->selector_env, n);
194         return 1;
195 }
196
197 /**
198  * Calculates the latency for between two ops
199  */
200 static sched_timestep_t latency(trace_env_t *env, ir_node *pred, int pred_cycle, ir_node *curr, int curr_cycle) {
201         /* a Keep hides a root */
202         if (be_is_Keep(curr))
203                 return exectime(env, pred);
204
205         /* Proj's are executed immediately */
206         if (is_Proj(curr))
207                 return 0;
208
209         /* predecessors Proj's must be skipped */
210         if (is_Proj(pred))
211                 pred = get_Proj_pred(pred);
212
213         if (env->selector->latency)
214                 return env->selector->latency(env->selector_env, pred, pred_cycle, curr, curr_cycle);
215         return 1;
216 }
217
218 /**
219  * Returns the number of users of a node having mode datab.
220  */
221 static int get_num_successors(ir_node *irn) {
222         int sum = 0;
223         const ir_edge_t *edge;
224
225         if (get_irn_mode(irn) == mode_T) {
226                 /* for mode_T nodes: count the users of all Projs */
227                 foreach_out_edge(irn, edge) {
228                         ir_node *proj = get_edge_src_irn(edge);
229                         ir_mode *mode = get_irn_mode(proj);
230
231                         if (mode == mode_T)
232                                 sum += get_num_successors(proj);
233                         else if (mode_is_datab(mode))
234                                 sum += get_irn_n_edges(proj);
235                 }
236         }
237         else {
238                 /* do not count keep-alive edges */
239                 foreach_out_edge(irn, edge) {
240                         if (get_irn_opcode(get_edge_src_irn(edge)) != iro_End)
241                                 sum++;
242                 }
243         }
244
245         return sum;
246 }
247
248 /**
249  * Returns the difference of regs_output - regs_input;
250  */
251 static int get_reg_difference(trace_env_t *env, ir_node *irn) {
252         int num_out = 0;
253         int num_in  = 0;
254         int i;
255         ir_node *block = get_nodes_block(irn);
256
257         if (be_is_Call(irn)) {
258                 /* we want calls prefered */
259                 return -5;
260         }
261
262         if (get_irn_mode(irn) == mode_T) {
263                 /* mode_T nodes: num out regs == num Projs with mode datab */
264                 const ir_edge_t *edge;
265                 foreach_out_edge(irn, edge) {
266                         ir_node *proj = get_edge_src_irn(edge);
267                         if (mode_is_datab(get_irn_mode(proj)))
268                                 num_out++;
269                 }
270         }
271         else
272                 num_out = 1;
273
274         /* num in regs: number of ins with mode datab and not ignore */
275         for (i = get_irn_arity(irn) - 1; i >= 0; i--) {
276                 ir_node *in = get_irn_n(irn, i);
277
278                 if (! be_is_live_end(env->liveness, block, in) &&  /* if the value lives outside of block: do not count */
279                         mode_is_datab(get_irn_mode(in))             &&  /* must be data node */
280                         ! arch_irn_is(env->arch_env, in, ignore))       /* ignore "ignore" nodes :) */
281                         num_in++;
282         }
283
284         return num_out - num_in;
285 }
286
287 /**
288  * descent into a dag and create a pre-order list.
289  */
290 static void descent(ir_node *root, ir_node *block, ir_node **list, trace_env_t *env, unsigned path_len) {
291         int i;
292
293         if (! is_Phi(root)) {
294                 path_len += exectime(env, root);
295                 if (get_irn_critical_path_len(env, root) < path_len) {
296                         set_irn_critical_path_len(env, root, path_len);
297                 }
298                 /* calculate number of users (needed for heuristic) */
299                 set_irn_num_user(env, root, get_num_successors(root));
300
301                 /* calculate register difference (needed for heuristic) */
302                 set_irn_reg_diff(env, root, get_reg_difference(env, root));
303
304                 /* Phi nodes always leave the block */
305                 for (i = get_irn_arity(root) - 1; i >= 0; --i) {
306                         ir_node *pred = get_irn_n(root, i);
307
308                         DBG((env->dbg, LEVEL_3, "   node %+F\n", pred));
309
310                         /* Blocks may happen as predecessors of End nodes */
311                         if (is_Block(pred))
312                                 continue;
313
314                         /* already seen nodes are not marked */
315                         if (get_irn_link(pred) != MARK)
316                                 continue;
317
318                         /* don't leave our block */
319                         if (get_nodes_block(pred) != block)
320                                 continue;
321
322                         set_irn_link(pred, NULL);
323
324                         descent(pred, block, list, env, path_len);
325                 }
326         }
327         set_irn_link(root, *list);
328         *list = root;
329 }
330
331 /**
332  * Returns non-zero if root is a root in the block block.
333  */
334 static int is_root(ir_node *root, ir_node *block) {
335         const ir_edge_t *edge;
336
337         foreach_out_edge(root, edge) {
338                 ir_node *succ = get_edge_src_irn(edge);
339
340                 if (is_Block(succ))
341                         continue;
342                 /* Phi nodes are always in "another block */
343                 if (is_Phi(succ))
344                         continue;
345                 if (get_nodes_block(succ) == block)
346                         return 0;
347         }
348         return 1;
349 }
350
351 /**
352  * Performs initial block calculations for trace scheduling.
353  */
354 static void trace_preprocess_block(trace_env_t *env, ir_node *block) {
355         ir_node *root = NULL, *preord = NULL;
356         ir_node *curr, *irn;
357         int cur_pos;
358         const ir_edge_t *edge;
359
360         /* First step: Find the root set. */
361         foreach_out_edge(block, edge) {
362                 ir_node *succ = get_edge_src_irn(edge);
363
364                 if (is_root(succ, block)) {
365                         mark_root_node(env, succ);
366                         set_irn_link(succ, root);
367                         root = succ;
368                 }
369                 else
370                         set_irn_link(succ, MARK);
371         }
372
373         /* Second step: calculate the pre-order list. */
374         preord = NULL;
375         for (curr = root; curr; curr = irn) {
376                 irn = get_irn_link(curr);
377                 DBG((env->dbg, LEVEL_2, "   DAG root %+F\n", curr));
378                 descent(curr, block, &preord, env, 0);
379         }
380         root = preord;
381
382         /* Third step: calculate the Delay. Note that our
383         * list is now in pre-order, starting at root
384         */
385         for (cur_pos = 0, curr = root; curr; curr = get_irn_link(curr), cur_pos++) {
386                 sched_timestep_t d;
387
388                 if (arch_irn_class_is(env->arch_env, curr, branch)) {
389                         /* assure, that branches can be executed last */
390                         d = 0;
391                 }
392                 else {
393                         if (is_root_node(env, curr))
394                                 d = exectime(env, curr);
395                         else {
396                                 d = 0;
397                                 foreach_out_edge(curr, edge) {
398                                         ir_node *n = get_edge_src_irn(edge);
399
400                                         if (get_nodes_block(n) == block) {
401                                                 sched_timestep_t ld;
402
403                                                 ld = latency(env, curr, 1, n, 0) + get_irn_delay(env, n);
404                                                 d = ld > d ? ld : d;
405                                         }
406                                 }
407                         }
408                 }
409                 set_irn_delay(env, curr, d);
410                 DB((env->dbg, LEVEL_2, "\t%+F delay %u\n", curr, d));
411
412                 /* set the etime of all nodes to 0 */
413                 set_irn_etime(env, curr, 0);
414
415                 set_irn_preorder(env, curr, cur_pos);
416         }
417 }
418
419 /**
420  * This functions gets called after a node finally has been made ready.
421  */
422 static void trace_node_ready(void *data, ir_node *irn, ir_node *pred) {
423         trace_env_t *env = data;
424         sched_timestep_t etime_p, etime;
425
426         etime = env->curr_time;
427         if (pred) {
428                 etime_p = get_irn_etime(env, pred);
429                 etime  += latency(env, pred, 1, irn, 0);
430                 etime   = etime_p > etime ? etime_p : etime;
431         }
432
433         set_irn_etime(env, irn, etime);
434         DB((env->dbg, LEVEL_2, "\tset etime of %+F to %u\n", irn, etime));
435 }
436
437 /**
438  * Update the current time after irn has been selected.
439  */
440 static void trace_update_time(void *data, ir_node *irn) {
441         trace_env_t *env = data;
442         if (is_Phi(irn) || get_irn_opcode(irn) == iro_Start) {
443                 env->curr_time += get_irn_etime(env, irn);
444         }
445         else {
446                 env->curr_time += exectime(env, irn);
447         }
448 }
449
450 /**
451  * Allocates memory and initializes trace scheduling environment.
452  * @param birg   The backend irg object
453  * @return The environment
454  */
455 static trace_env_t *trace_init(const arch_env_t *arch_env, ir_graph *irg) {
456         trace_env_t *env = xcalloc(1, sizeof(*env));
457         int         nn   = get_irg_last_idx(irg);
458
459         env->arch_env   = arch_env;
460         env->curr_time  = 0;
461         env->sched_info = NEW_ARR_F(trace_irn_t, nn);
462         env->liveness   = be_liveness(irg);
463         FIRM_DBG_REGISTER(env->dbg, "firm.be.sched.trace");
464
465         memset(env->sched_info, 0, nn * sizeof(*(env->sched_info)));
466
467         return env;
468 }
469
470 /**
471  * Frees all memory allocated for trace scheduling environment.
472  * @param env  The environment
473  */
474 static void trace_free(void *data) {
475         trace_env_t *env = data;
476         be_liveness_free(env->liveness);
477         DEL_ARR_F(env->sched_info);
478         free(env);
479 }
480
481 /**
482  * Simple selector. Just assure that jumps are scheduled last.
483  */
484 static ir_node *basic_selection(const arch_env_t *arch_env, nodeset *ready_set) {
485         ir_node *irn = NULL;
486
487         /* assure that branches and constants are executed last */
488         for (irn = nodeset_first(ready_set); irn; irn = nodeset_next(ready_set)) {
489                 if (! arch_irn_class_is(arch_env, irn, branch)) {
490                         nodeset_break(ready_set);
491                         return irn;
492                 }
493         }
494
495         /* at last: schedule branches */
496         irn = nodeset_first(ready_set);
497         nodeset_break(ready_set);
498
499         return irn;
500 }
501
502 /**
503 * The muchnik selector.
504 */
505 static ir_node *muchnik_select(void *block_env, nodeset *ready_set, nodeset *live_set)
506 {
507         trace_env_t *env = block_env;
508         nodeset *mcands, *ecands;
509         sched_timestep_t max_delay = 0;
510         ir_node *irn;
511
512         /* calculate the max delay of all candidates */
513         foreach_nodeset(ready_set, irn) {
514                 sched_timestep_t d = get_irn_delay(env, irn);
515
516                 max_delay = d > max_delay ? d : max_delay;
517         }
518
519         mcands = new_nodeset(8);
520         ecands = new_nodeset(8);
521
522         /* build mcands and ecands */
523         foreach_nodeset(ready_set, irn) {
524                 if (get_irn_delay(env, irn) == max_delay) {
525                         nodeset_insert(mcands, irn);
526                         if (get_irn_etime(env, irn) <= env->curr_time)
527                                 nodeset_insert(ecands, irn);
528                 }
529         }
530
531         /* select a node */
532         if (nodeset_count(mcands) == 1) {
533                 irn = nodeset_first(mcands);
534                 DB((env->dbg, LEVEL_3, "\tirn = %+F, mcand = 1, max_delay = %u\n", irn, max_delay));
535         }
536         else {
537                 int cnt = nodeset_count(ecands);
538                 if (cnt == 1) {
539                         irn = nodeset_first(ecands);
540
541                         if (arch_irn_class_is(env->arch_env, irn, branch)) {
542                                 /* BEWARE: don't select a JUMP if others are still possible */
543                                 goto force_mcands;
544                         }
545                         DB((env->dbg, LEVEL_3, "\tirn = %+F, ecand = 1, max_delay = %u\n", irn, max_delay));
546                 }
547                 else if (cnt > 1) {
548                         DB((env->dbg, LEVEL_3, "\tecand = %d, max_delay = %u\n", cnt, max_delay));
549                         irn = basic_selection(env->arch_env, ecands);
550                 }
551                 else {
552 force_mcands:
553                         DB((env->dbg, LEVEL_3, "\tmcand = %d\n", nodeset_count(mcands)));
554                         irn = basic_selection(env->arch_env, mcands);
555                 }
556         }
557
558         return irn;
559 }
560
561 static void *muchnik_init_graph(const list_sched_selector_t *vtab, const arch_env_t *arch_env, ir_graph *irg)
562 {
563         trace_env_t *env  = trace_init(arch_env, irg);
564         env->selector     = vtab;
565         env->selector_env = (void*) arch_env;
566         return (void *)env;
567 }
568
569 static void *muchnik_init_block(void *graph_env, ir_node *bl)
570 {
571         trace_preprocess_block(graph_env, bl);
572         return graph_env;
573 }
574
575 static const list_sched_selector_t muchnik_selector_struct = {
576         muchnik_init_graph,
577         muchnik_init_block,
578         muchnik_select,
579         NULL,                /* to_appear_in_schedule */
580         trace_node_ready,    /* node_ready */
581         trace_update_time,   /* node_selected */
582         NULL,                /* exectime */
583         NULL,                /* latency */
584         NULL,                /* finish_block */
585         trace_free           /* finish_graph */
586 };
587
588 const list_sched_selector_t *muchnik_selector = &muchnik_selector_struct;
589
590 /**
591  * Execute the heuristic function.
592  */
593 static ir_node *heuristic_select(void *block_env, nodeset *ns, nodeset *lv)
594 {
595         trace_env_t *trace_env   = block_env;
596         ir_node     *irn, *cand  = NULL;
597         int         max_prio     = INT_MIN;
598         int         cur_prio     = INT_MIN;
599         int         cur_pressure = nodeset_count(lv);
600         int         reg_fact, cand_reg_fact;
601
602         /* prefer instructions which can be scheduled early */
603 #define PRIO_TIME        3
604         /* prefer instructions with lots of successors */
605 #define PRIO_NUMSUCCS    8
606         /* prefer instructions with long critical path */
607 #define PRIO_LEVEL      12
608         /* prefer instructions coming early in preorder */
609 #define PRIO_PREORD      8
610         /* weight of current register pressure */
611 #define PRIO_CUR_PRESS  20
612         /* weight of register pressure difference */
613 #define PRIO_CHG_PRESS   8
614
615         /* priority based selection, heuristic inspired by mueller diss */
616         foreach_nodeset(ns, irn) {
617                 /* make sure that branches are scheduled last */
618                 if (! arch_irn_class_is(trace_env->arch_env, irn, branch)) {
619                         int rdiff = get_irn_reg_diff(trace_env, irn);
620                         int sign  = rdiff < 0;
621                         int chg   = (rdiff < 0 ? -rdiff : rdiff) << PRIO_CHG_PRESS;
622
623                         //reg_fact = chg << cur_pressure;
624                         reg_fact = chg * cur_pressure;
625                         if (reg_fact < chg)
626                                 reg_fact = INT_MAX - 2;
627                         reg_fact = sign ? -reg_fact : reg_fact;
628
629                         cur_prio = (get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL)
630                                 //- (get_irn_delay(trace_env, irn) << PRIO_LEVEL)
631                                 + (get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS)
632                                 - (get_irn_etime(trace_env, irn) << PRIO_TIME)
633                                 //- ((get_irn_reg_diff(trace_env, irn) >> PRIO_CHG_PRESS) << ((cur_pressure >> PRIO_CUR_PRESS) - 3))
634                                 - reg_fact
635                                 + (get_irn_preorder(trace_env, irn) << PRIO_PREORD); /* high preorder means early schedule */
636                         if (cur_prio > max_prio) {
637                                 cand          = irn;
638                                 max_prio      = cur_prio;
639                                 cand_reg_fact = reg_fact;
640                         }
641
642                         DBG((trace_env->dbg, LEVEL_4, "checked NODE %+F\n", irn));
643                         DBG((trace_env->dbg, LEVEL_4, "\tpriority: %d\n", cur_prio));
644                         DBG((trace_env->dbg, LEVEL_4, "\tpath len: %d (%d)\n", get_irn_critical_path_len(trace_env, irn), get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL));
645                         DBG((trace_env->dbg, LEVEL_4, "\tdelay:    %d (%d)\n", get_irn_delay(trace_env, irn), get_irn_delay(trace_env, irn) << PRIO_LEVEL));
646                         DBG((trace_env->dbg, LEVEL_4, "\t#user:    %d (%d)\n", get_irn_num_user(trace_env, irn), get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS));
647                         DBG((trace_env->dbg, LEVEL_4, "\tetime:    %d (%d)\n", get_irn_etime(trace_env, irn), 0 - (get_irn_etime(trace_env, irn) << PRIO_TIME)));
648                         DBG((trace_env->dbg, LEVEL_4, "\tpreorder: %d (%d)\n", get_irn_preorder(trace_env, irn), get_irn_preorder(trace_env, irn) << PRIO_PREORD));
649                         DBG((trace_env->dbg, LEVEL_4, "\treg diff: %d (%d)\n", get_irn_reg_diff(trace_env, irn), 0 - reg_fact));
650                         DBG((trace_env->dbg, LEVEL_4, "\tpressure: %d\n", cur_pressure));
651                 }
652         }
653
654         if (cand) {
655                 DBG((trace_env->dbg, LEVEL_4, "heuristic selected %+F:\n", cand));
656         }
657         else {
658                 cand = basic_selection(trace_env->arch_env, ns);
659         }
660
661         return cand;
662 }
663
664 static const list_sched_selector_t heuristic_selector_struct = {
665         muchnik_init_graph,
666         muchnik_init_block,
667         heuristic_select,
668         NULL,                /* to_appear_in_schedule */
669         trace_node_ready,    /* node_ready */
670         trace_update_time,   /* node_selected */
671         NULL,                /* exectime */
672         NULL,                /* latency */
673         NULL,                /* finish_block */
674         trace_free           /* finish_graph */
675 };
676
677 const list_sched_selector_t *heuristic_selector = &heuristic_selector_struct;