fix regdiff
[libfirm] / ir / be / beschedtrace.c
1 /**
2  * Implements a trace scheduler as presented in Muchnik[TM].
3  * Originally implemented by Michael Beck.
4  * @author Christian Wuerdig
5  * @date   28.08.2006
6  * @cvs-id $Id$
7  */
8
9 #include <stdlib.h>
10
11 #include "iredges_t.h"
12
13 #include "besched_t.h"
14 #include "belistsched.h"
15 #include "benode_t.h"
16
17 /* we need a special mark */
18 static char _mark;
19 #define MARK &_mark
20
21 typedef struct _trace_irn {
22         sched_timestep_t delay;      /**< The delay for this node if already calculated, else 0. */
23         sched_timestep_t etime;      /**< The earliest time of this node. */
24         unsigned num_user;           /**< The number real users (mode datab) of this node */
25         int      reg_diff;           /**< The difference of num(out registers) - num(in registers) */
26         int      preorder;           /**< The pre-order position */
27         unsigned critical_path_len;  /**< The weighted length of the longest critical path */
28         unsigned is_root       : 1;  /**< is a root node of a block */
29 } trace_irn_t;
30
31 typedef struct _trace_env {
32         trace_irn_t      *sched_info;               /**< trace scheduling information about the nodes */
33         const arch_env_t *arch_env;                 /**< the arch environment */
34         sched_timestep_t curr_time;                 /**< current time of the scheduler */
35         void             *selector_env;             /**< the backend selector environment */
36         const list_sched_selector_t *selector;      /**< the actual backend selector */
37         be_lv_t          *liveness;                 /**< The liveness for the irg */
38         DEBUG_ONLY(firm_dbg_module_t *dbg;)
39 } trace_env_t;
40
41 /**
42  * Returns non-zero if the node is a root node
43  */
44 static INLINE unsigned is_root_node(trace_env_t *env, ir_node *n)
45 {
46         int idx = get_irn_idx(n);
47
48         assert(idx < ARR_LEN(env->sched_info));
49         return env->sched_info[idx].is_root;
50 }
51
52 /**
53  * Mark a node as root node
54  */
55 static INLINE void mark_root_node(trace_env_t *env, ir_node *n)
56 {
57         int idx = get_irn_idx(n);
58
59         assert(idx < ARR_LEN(env->sched_info));
60         env->sched_info[idx].is_root = 1;
61 }
62
63 /**
64  * Get the current delay.
65  */
66 static INLINE sched_timestep_t get_irn_delay(trace_env_t *env, ir_node *n) {
67         int idx = get_irn_idx(n);
68
69         assert(idx < ARR_LEN(env->sched_info));
70         return env->sched_info[idx].delay;
71 }
72
73 /**
74  * Set the current delay.
75  */
76 static INLINE void set_irn_delay(trace_env_t *env, ir_node *n, sched_timestep_t delay) {
77         int idx = get_irn_idx(n);
78
79         assert(idx < ARR_LEN(env->sched_info));
80         env->sched_info[idx].delay = delay;
81 }
82
83 /**
84  * Get the current etime.
85  */
86 static INLINE sched_timestep_t get_irn_etime(trace_env_t *env, ir_node *n) {
87         int idx = get_irn_idx(n);
88
89         assert(idx < ARR_LEN(env->sched_info));
90         return env->sched_info[idx].etime;
91 }
92
93 /**
94  * Set the current etime.
95  */
96 static INLINE void set_irn_etime(trace_env_t *env, ir_node *n, sched_timestep_t etime) {
97         int idx = get_irn_idx(n);
98
99         assert(idx < ARR_LEN(env->sched_info));
100         env->sched_info[idx].etime = etime;
101 }
102
103 /**
104  * Get the number of users.
105  */
106 static INLINE unsigned get_irn_num_user(trace_env_t *env, ir_node *n) {
107         int idx = get_irn_idx(n);
108
109         assert(idx < ARR_LEN(env->sched_info));
110         return env->sched_info[idx].num_user;
111 }
112
113 /**
114  * Set the number of users.
115  */
116 static INLINE void set_irn_num_user(trace_env_t *env, ir_node *n, unsigned num_user) {
117         int idx = get_irn_idx(n);
118
119         assert(idx < ARR_LEN(env->sched_info));
120         env->sched_info[idx].num_user = num_user;
121 }
122
123 /**
124  * Get the register difference.
125  */
126 static INLINE int get_irn_reg_diff(trace_env_t *env, ir_node *n) {
127         int idx = get_irn_idx(n);
128
129         assert(idx < ARR_LEN(env->sched_info));
130         return env->sched_info[idx].reg_diff;
131 }
132
133 /**
134  * Set the register difference.
135  */
136 static INLINE void set_irn_reg_diff(trace_env_t *env, ir_node *n, int reg_diff) {
137         int idx = get_irn_idx(n);
138
139         assert(idx < ARR_LEN(env->sched_info));
140         env->sched_info[idx].reg_diff = reg_diff;
141 }
142
143 /**
144  * Get the pre-order position.
145  */
146 static INLINE int get_irn_preorder(trace_env_t *env, ir_node *n) {
147         int idx = get_irn_idx(n);
148
149         assert(idx < ARR_LEN(env->sched_info));
150         return env->sched_info[idx].preorder;
151 }
152
153 /**
154  * Set the pre-order position.
155  */
156 static INLINE void set_irn_preorder(trace_env_t *env, ir_node *n, int pos) {
157         int idx = get_irn_idx(n);
158
159         assert(idx < ARR_LEN(env->sched_info));
160         env->sched_info[idx].preorder = pos;
161 }
162
163 /**
164  * Get the pre-order position.
165  */
166 static INLINE unsigned get_irn_critical_path_len(trace_env_t *env, ir_node *n) {
167         int idx = get_irn_idx(n);
168
169         assert(idx < ARR_LEN(env->sched_info));
170         return env->sched_info[idx].critical_path_len;
171 }
172
173 /**
174  * Set the pre-order position.
175  */
176 static INLINE void set_irn_critical_path_len(trace_env_t *env, ir_node *n, unsigned len) {
177         int idx = get_irn_idx(n);
178
179         assert(idx < ARR_LEN(env->sched_info));
180         env->sched_info[idx].critical_path_len = len;
181 }
182
183 /**
184  * returns the exec-time for node n.
185  */
186 static sched_timestep_t exectime(trace_env_t *env, ir_node *n) {
187         if (be_is_Keep(n) || is_Proj(n))
188                 return 0;
189         if (env->selector->exectime)
190                 return env->selector->exectime(env->selector_env, n);
191         return 1;
192 }
193
194 /**
195  * Calculates the latency for between two ops
196  */
197 static sched_timestep_t latency(trace_env_t *env, ir_node *pred, int pred_cycle, ir_node *curr, int curr_cycle) {
198         /* a Keep hides a root */
199         if (be_is_Keep(curr))
200                 return exectime(env, pred);
201
202         /* Proj's are executed immediately */
203         if (is_Proj(curr))
204                 return 0;
205
206         /* predecessors Proj's must be skipped */
207         if (is_Proj(pred))
208                 pred = get_Proj_pred(pred);
209
210         if (env->selector->latency)
211                 return env->selector->latency(env->selector_env, pred, pred_cycle, curr, curr_cycle);
212         return 1;
213 }
214
215 /**
216  * Returns the number of users of a node having mode datab.
217  */
218 static int get_num_successors(ir_node *irn) {
219         int sum = 0;
220         const ir_edge_t *edge;
221
222         if (get_irn_mode(irn) == mode_T) {
223                 /* for mode_T nodes: count the users of all Projs */
224                 foreach_out_edge(irn, edge) {
225                         ir_node *proj = get_edge_src_irn(edge);
226                         ir_mode *mode = get_irn_mode(proj);
227
228                         if (mode == mode_T)
229                                 sum += get_num_successors(proj);
230                         else if (mode_is_datab(mode))
231                                 sum += get_irn_n_edges(proj);
232                 }
233         }
234         else {
235                 /* do not count keep-alive edges */
236                 foreach_out_edge(irn, edge) {
237                         if (get_irn_opcode(get_edge_src_irn(edge)) != iro_End)
238                                 sum++;
239                 }
240         }
241
242         return sum;
243 }
244
245 /**
246  * Returns the difference of regs_output - regs_input;
247  */
248 static int get_reg_difference(trace_env_t *env, ir_node *irn) {
249         int num_out = 0;
250         int num_in  = 0;
251         int i;
252         ir_node *block = get_nodes_block(irn);
253
254         if (be_is_Call(irn)) {
255                 /* we want calls prefered */
256                 return -5;
257         }
258
259         if (get_irn_mode(irn) == mode_T) {
260                 /* mode_T nodes: num out regs == num Projs with mode datab */
261                 const ir_edge_t *edge;
262                 foreach_out_edge(irn, edge) {
263                         ir_node *proj = get_edge_src_irn(edge);
264                         if (mode_is_datab(get_irn_mode(proj)))
265                                 num_out++;
266                 }
267         }
268         else
269                 num_out = 1;
270
271         /* num in regs: number of ins with mode datab and not ignore */
272         for (i = get_irn_arity(irn) - 1; i >= 0; i--) {
273                 ir_node *in = get_irn_n(irn, i);
274
275                 if (! be_is_live_end(env->liveness, block, in) &&  /* if the value lives outside of block: do not count */
276                         mode_is_datab(get_irn_mode(in))             &&  /* must be data node */
277                         ! arch_irn_is(env->arch_env, in, ignore))       /* ignore "ignore" nodes :) */
278                         num_in++;
279         }
280
281         return num_out - num_in;
282 }
283
284 /**
285  * descent into a dag and create a pre-order list.
286  */
287 static void descent(ir_node *root, ir_node *block, ir_node **list, trace_env_t *env, unsigned path_len) {
288         int i;
289
290         if (! is_Phi(root)) {
291                 path_len += exectime(env, root);
292                 if (get_irn_critical_path_len(env, root) < path_len) {
293                         set_irn_critical_path_len(env, root, path_len);
294                 }
295                 /* calculate number of users (needed for heuristic) */
296                 set_irn_num_user(env, root, get_num_successors(root));
297
298                 /* calculate register difference (needed for heuristic) */
299                 set_irn_reg_diff(env, root, get_reg_difference(env, root));
300
301                 /* Phi nodes always leave the block */
302                 for (i = get_irn_arity(root) - 1; i >= 0; --i) {
303                         ir_node *pred = get_irn_n(root, i);
304
305                         DBG((env->dbg, LEVEL_3, "   node %+F\n", pred));
306
307                         /* Blocks may happen as predecessors of End nodes */
308                         if (is_Block(pred))
309                                 continue;
310
311                         /* already seen nodes are not marked */
312                         if (get_irn_link(pred) != MARK)
313                                 continue;
314
315                         /* don't leave our block */
316                         if (get_nodes_block(pred) != block)
317                                 continue;
318
319                         set_irn_link(pred, NULL);
320
321                         descent(pred, block, list, env, path_len);
322                 }
323         }
324         set_irn_link(root, *list);
325         *list = root;
326 }
327
328 /**
329  * Returns non-zero if root is a root in the block block.
330  */
331 static int is_root(ir_node *root, ir_node *block) {
332         const ir_edge_t *edge;
333
334         foreach_out_edge(root, edge) {
335                 ir_node *succ = get_edge_src_irn(edge);
336
337                 if (is_Block(succ))
338                         continue;
339                 /* Phi nodes are always in "another block */
340                 if (is_Phi(succ))
341                         continue;
342                 if (get_nodes_block(succ) == block)
343                         return 0;
344         }
345         return 1;
346 }
347
348 /**
349  * Performs initial block calculations for trace scheduling.
350  */
351 static void trace_preprocess_block(trace_env_t *env, ir_node *block) {
352         ir_node *root = NULL, *preord = NULL;
353         ir_node *curr, *irn;
354         int cur_pos;
355         const ir_edge_t *edge;
356
357         /* First step: Find the root set. */
358         foreach_out_edge(block, edge) {
359                 ir_node *succ = get_edge_src_irn(edge);
360
361                 if (is_root(succ, block)) {
362                         mark_root_node(env, succ);
363                         set_irn_link(succ, root);
364                         root = succ;
365                 }
366                 else
367                         set_irn_link(succ, MARK);
368         }
369
370         /* Second step: calculate the pre-order list. */
371         preord = NULL;
372         for (curr = root; curr; curr = irn) {
373                 irn = get_irn_link(curr);
374                 DBG((env->dbg, LEVEL_2, "   DAG root %+F\n", curr));
375                 descent(curr, block, &preord, env, 0);
376         }
377         root = preord;
378
379         /* Third step: calculate the Delay. Note that our
380         * list is now in pre-order, starting at root
381         */
382         for (cur_pos = 0, curr = root; curr; curr = get_irn_link(curr), cur_pos++) {
383                 sched_timestep_t d;
384
385                 if (arch_irn_class_is(env->arch_env, curr, branch)) {
386                         /* assure, that branches can be executed last */
387                         d = 0;
388                 }
389                 else {
390                         if (is_root_node(env, curr))
391                                 d = exectime(env, curr);
392                         else {
393                                 d = 0;
394                                 foreach_out_edge(curr, edge) {
395                                         ir_node *n = get_edge_src_irn(edge);
396
397                                         if (get_nodes_block(n) == block) {
398                                                 sched_timestep_t ld;
399
400                                                 ld = latency(env, curr, 1, n, 0) + get_irn_delay(env, n);
401                                                 d = ld > d ? ld : d;
402                                         }
403                                 }
404                         }
405                 }
406                 set_irn_delay(env, curr, d);
407                 DB((env->dbg, LEVEL_2, "\t%+F delay %u\n", curr, d));
408
409                 /* set the etime of all nodes to 0 */
410                 set_irn_etime(env, curr, 0);
411
412                 set_irn_preorder(env, curr, cur_pos);
413         }
414 }
415
416 /**
417  * This functions gets called after a node finally has been made ready.
418  */
419 static void trace_node_ready(void *data, ir_node *irn, ir_node *pred) {
420         trace_env_t *env = data;
421         sched_timestep_t etime_p, etime;
422
423         etime = env->curr_time;
424         if (pred) {
425                 etime_p = get_irn_etime(env, pred);
426                 etime  += latency(env, pred, 1, irn, 0);
427                 etime   = etime_p > etime ? etime_p : etime;
428         }
429
430         set_irn_etime(env, irn, etime);
431         DB((env->dbg, LEVEL_2, "\tset etime of %+F to %u\n", irn, etime));
432 }
433
434 /**
435  * Update the current time after irn has been selected.
436  */
437 static void trace_update_time(void *data, ir_node *irn) {
438         trace_env_t *env = data;
439         if (is_Phi(irn) || get_irn_opcode(irn) == iro_Start) {
440                 env->curr_time += get_irn_etime(env, irn);
441         }
442         else {
443                 env->curr_time += exectime(env, irn);
444         }
445 }
446
447 /**
448  * Allocates memory and initializes trace scheduling environment.
449  * @param birg   The backend irg object
450  * @return The environment
451  */
452 static trace_env_t *trace_init(const arch_env_t *arch_env, ir_graph *irg) {
453         trace_env_t *env = xcalloc(1, sizeof(*env));
454         int         nn   = get_irg_last_idx(irg);
455
456         env->arch_env   = arch_env;
457         env->curr_time  = 0;
458         env->sched_info = NEW_ARR_F(trace_irn_t, nn);
459         env->liveness   = be_liveness(irg);
460         FIRM_DBG_REGISTER(env->dbg, "firm.be.sched.trace");
461
462         memset(env->sched_info, 0, nn * sizeof(*(env->sched_info)));
463
464         return env;
465 }
466
467 /**
468  * Frees all memory allocated for trace scheduling environment.
469  * @param env  The environment
470  */
471 static void trace_free(void *data) {
472         trace_env_t *env = data;
473         be_liveness_free(env->liveness);
474         DEL_ARR_F(env->sched_info);
475         free(env);
476 }
477
478 /**
479  * Simple selector. Just assure that jumps are scheduled last.
480  */
481 static ir_node *basic_selection(const arch_env_t *arch_env, nodeset *ready_set) {
482         ir_node *irn = NULL;
483
484         /* assure that branches and constants are executed last */
485         for (irn = nodeset_first(ready_set); irn; irn = nodeset_next(ready_set)) {
486                 if (! arch_irn_class_is(arch_env, irn, branch)) {
487                         nodeset_break(ready_set);
488                         return irn;
489                 }
490         }
491
492         /* at last: schedule branches */
493         irn = nodeset_first(ready_set);
494         nodeset_break(ready_set);
495
496         return irn;
497 }
498
499 /**
500 * The muchnik selector.
501 */
502 static ir_node *muchnik_select(void *block_env, nodeset *ready_set, nodeset *live_set)
503 {
504         trace_env_t *env = block_env;
505         nodeset *mcands, *ecands;
506         sched_timestep_t max_delay = 0;
507         ir_node *irn;
508
509         /* calculate the max delay of all candidates */
510         foreach_nodeset(ready_set, irn) {
511                 sched_timestep_t d = get_irn_delay(env, irn);
512
513                 max_delay = d > max_delay ? d : max_delay;
514         }
515
516         mcands = new_nodeset(8);
517         ecands = new_nodeset(8);
518
519         /* build mcands and ecands */
520         foreach_nodeset(ready_set, irn) {
521                 if (get_irn_delay(env, irn) == max_delay) {
522                         nodeset_insert(mcands, irn);
523                         if (get_irn_etime(env, irn) <= env->curr_time)
524                                 nodeset_insert(ecands, irn);
525                 }
526         }
527
528         /* select a node */
529         if (nodeset_count(mcands) == 1) {
530                 irn = nodeset_first(mcands);
531                 DB((env->dbg, LEVEL_3, "\tirn = %+F, mcand = 1, max_delay = %u\n", irn, max_delay));
532         }
533         else {
534                 int cnt = nodeset_count(ecands);
535                 if (cnt == 1) {
536                         irn = nodeset_first(ecands);
537
538                         if (arch_irn_class_is(env->arch_env, irn, branch)) {
539                                 /* BEWARE: don't select a JUMP if others are still possible */
540                                 goto force_mcands;
541                         }
542                         DB((env->dbg, LEVEL_3, "\tirn = %+F, ecand = 1, max_delay = %u\n", irn, max_delay));
543                 }
544                 else if (cnt > 1) {
545                         DB((env->dbg, LEVEL_3, "\tecand = %d, max_delay = %u\n", cnt, max_delay));
546                         irn = basic_selection(env->arch_env, ecands);
547                 }
548                 else {
549 force_mcands:
550                         DB((env->dbg, LEVEL_3, "\tmcand = %d\n", nodeset_count(mcands)));
551                         irn = basic_selection(env->arch_env, mcands);
552                 }
553         }
554
555         return irn;
556 }
557
558 static void *muchnik_init_graph(const list_sched_selector_t *vtab, const arch_env_t *arch_env, ir_graph *irg)
559 {
560         trace_env_t *env  = trace_init(arch_env, irg);
561         env->selector     = vtab;
562         env->selector_env = (void*) arch_env;
563         return (void *)env;
564 }
565
566 static void *muchnik_init_block(void *graph_env, ir_node *bl)
567 {
568         trace_preprocess_block(graph_env, bl);
569         return graph_env;
570 }
571
572 static const list_sched_selector_t muchnik_selector_struct = {
573         muchnik_init_graph,
574         muchnik_init_block,
575         muchnik_select,
576         NULL,                /* to_appear_in_schedule */
577         trace_node_ready,    /* node_ready */
578         trace_update_time,   /* node_selected */
579         NULL,                /* exectime */
580         NULL,                /* latency */
581         NULL,                /* finish_block */
582         trace_free           /* finish_graph */
583 };
584
585 const list_sched_selector_t *muchnik_selector = &muchnik_selector_struct;
586
587 /**
588  * Execute the heuristic function.
589  */
590 static ir_node *heuristic_select(void *block_env, nodeset *ns, nodeset *lv)
591 {
592         trace_env_t *trace_env   = block_env;
593         ir_node     *irn, *cand  = NULL;
594         int         max_prio     = INT_MIN;
595         int         cur_prio     = INT_MIN;
596         int         cur_pressure = nodeset_count(lv);
597         int         reg_fact, cand_reg_fact;
598
599         /* prefer instructions which can be scheduled early */
600 #define PRIO_TIME        8
601         /* prefer instructions with lots of successors */
602 #define PRIO_NUMSUCCS    8
603         /* prefer instructions with long critical path */
604 #define PRIO_LEVEL      12
605         /* prefer instructions coming early in preorder */
606 #define PRIO_PREORD      8
607         /* weight of current register pressure */
608 #define PRIO_CUR_PRESS  20
609         /* weight of register pressure difference */
610 #define PRIO_CHG_PRESS   8
611
612         /* priority based selection, heuristic inspired by mueller diss */
613         foreach_nodeset(ns, irn) {
614                 /* make sure that branches are scheduled last */
615                 if (! arch_irn_class_is(trace_env->arch_env, irn, branch)) {
616                         int rdiff = get_irn_reg_diff(trace_env, irn);
617                         int sign  = rdiff < 0;
618                         int chg   = (rdiff < 0 ? -rdiff : rdiff) << PRIO_CHG_PRESS;
619
620                         reg_fact = chg << cur_pressure;
621                         if (reg_fact < chg)
622                                 reg_fact = INT_MAX - 2;
623                         reg_fact = sign ? -reg_fact : reg_fact;
624
625                         cur_prio = (get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL)
626                                 //- (get_irn_delay(trace_env, irn) << PRIO_LEVEL)
627                                 + (get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS)
628                                 - (get_irn_etime(trace_env, irn) << PRIO_TIME)
629                                 //- ((get_irn_reg_diff(trace_env, irn) >> PRIO_CHG_PRESS) << ((cur_pressure >> PRIO_CUR_PRESS) - 3))
630                                 - reg_fact
631                                 + (get_irn_preorder(trace_env, irn) << PRIO_PREORD); /* high preorder means early schedule */
632                         if (cur_prio > max_prio) {
633                                 cand          = irn;
634                                 max_prio      = cur_prio;
635                                 cand_reg_fact = reg_fact;
636                         }
637
638                         DBG((trace_env->dbg, LEVEL_4, "checked NODE %+F\n", irn));
639                         DBG((trace_env->dbg, LEVEL_4, "\tpriority: %d\n", cur_prio));
640                         DBG((trace_env->dbg, LEVEL_4, "\tpath len: %d (%d)\n", get_irn_critical_path_len(trace_env, irn), get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL));
641                         DBG((trace_env->dbg, LEVEL_4, "\tdelay:    %d (%d)\n", get_irn_delay(trace_env, irn), get_irn_delay(trace_env, irn) << PRIO_LEVEL));
642                         DBG((trace_env->dbg, LEVEL_4, "\t#user:    %d (%d)\n", get_irn_num_user(trace_env, irn), get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS));
643                         DBG((trace_env->dbg, LEVEL_4, "\tetime:    %d (%d)\n", get_irn_etime(trace_env, irn), 0 - (get_irn_etime(trace_env, irn) << PRIO_TIME)));
644                         DBG((trace_env->dbg, LEVEL_4, "\tpreorder: %d (%d)\n", get_irn_preorder(trace_env, irn), get_irn_preorder(trace_env, irn) << PRIO_PREORD));
645                         DBG((trace_env->dbg, LEVEL_4, "\treg diff: %d (%d)\n", get_irn_reg_diff(trace_env, irn), 0 - reg_fact));
646                         DBG((trace_env->dbg, LEVEL_4, "\tpressure: %d\n", cur_pressure));
647                 }
648         }
649
650         if (cand) {
651                 DBG((trace_env->dbg, LEVEL_4, "heuristic selected %+F:\n", cand));
652         }
653         else {
654                 cand = basic_selection(trace_env->arch_env, ns);
655         }
656
657         return cand;
658 }
659
660 static const list_sched_selector_t heuristic_selector_struct = {
661         muchnik_init_graph,
662         muchnik_init_block,
663         heuristic_select,
664         NULL,                /* to_appear_in_schedule */
665         trace_node_ready,    /* node_ready */
666         trace_update_time,   /* node_selected */
667         NULL,                /* exectime */
668         NULL,                /* latency */
669         NULL,                /* finish_block */
670         trace_free           /* finish_graph */
671 };
672
673 const list_sched_selector_t *heuristic_selector = &heuristic_selector_struct;