beifg: Factorise code to count interference components.
[libfirm] / ir / be / beschedtrace.c
1 /*
2  * This file is part of libFirm.
3  * Copyright (C) 2012 University of Karlsruhe.
4  */
5
6 /**
7  * @file
8  * @brief       Implements a trace scheduler as presented in Muchnik[TM].
9  * @author      Michael Beck
10  * @date        28.08.2006
11  */
12 #include "config.h"
13
14 #include <stdlib.h>
15
16 #include "iredges_t.h"
17 #include "beirg.h"
18 #include "besched.h"
19 #include "belistsched.h"
20 #include "benode.h"
21 #include "belive.h"
22 #include "bemodule.h"
23
24 /* we need a special mark */
25 static char _mark;
26 #define MARK &_mark
27
28 typedef struct trace_irn {
29         sched_timestep_t delay;      /**< The delay for this node if already calculated, else 0. */
30         sched_timestep_t etime;      /**< The earliest time of this node. */
31         unsigned num_user;           /**< The number real users (mode datab) of this node */
32         int      reg_diff;           /**< The difference of num(out registers) - num(in registers) */
33         int      preorder;           /**< The pre-order position */
34         unsigned critical_path_len;  /**< The weighted length of the longest critical path */
35         unsigned is_root       : 1;  /**< is a root node of a block */
36 } trace_irn_t;
37
38 typedef struct trace_env {
39         trace_irn_t      *sched_info;               /**< trace scheduling information about the nodes */
40         sched_timestep_t curr_time;                 /**< current time of the scheduler */
41         be_lv_t          *liveness;                 /**< The liveness for the irg */
42         DEBUG_ONLY(firm_dbg_module_t *dbg;)
43 } trace_env_t;
44
45 /**
46  * Returns a random node from a nodeset
47  */
48 static ir_node *get_nodeset_node(const ir_nodeset_t *nodeset)
49 {
50         return ir_nodeset_first(nodeset);
51 }
52
53 /**
54  * Returns non-zero if the node is a root node
55  */
56 static inline unsigned is_root_node(trace_env_t *env, ir_node *n)
57 {
58         unsigned const idx = get_irn_idx(n);
59
60         assert(idx < ARR_LEN(env->sched_info));
61         return env->sched_info[idx].is_root;
62 }
63
64 /**
65  * Mark a node as root node
66  */
67 static inline void mark_root_node(trace_env_t *env, ir_node *n)
68 {
69         unsigned const idx = get_irn_idx(n);
70
71         assert(idx < ARR_LEN(env->sched_info));
72         env->sched_info[idx].is_root = 1;
73 }
74
75 /**
76  * Get the current delay.
77  */
78 static inline sched_timestep_t get_irn_delay(trace_env_t *env, ir_node *n)
79 {
80         unsigned const idx = get_irn_idx(n);
81
82         assert(idx < ARR_LEN(env->sched_info));
83         return env->sched_info[idx].delay;
84 }
85
86 /**
87  * Set the current delay.
88  */
89 static inline void set_irn_delay(trace_env_t *env, ir_node *n, sched_timestep_t delay)
90 {
91         unsigned const idx = get_irn_idx(n);
92
93         assert(idx < ARR_LEN(env->sched_info));
94         env->sched_info[idx].delay = delay;
95 }
96
97 /**
98  * Get the current etime.
99  */
100 static inline sched_timestep_t get_irn_etime(trace_env_t *env, ir_node *n)
101 {
102         unsigned const idx = get_irn_idx(n);
103
104         assert(idx < ARR_LEN(env->sched_info));
105         return env->sched_info[idx].etime;
106 }
107
108 /**
109  * Set the current etime.
110  */
111 static inline void set_irn_etime(trace_env_t *env, ir_node *n, sched_timestep_t etime)
112 {
113         unsigned const idx = get_irn_idx(n);
114
115         assert(idx < ARR_LEN(env->sched_info));
116         env->sched_info[idx].etime = etime;
117 }
118
119 /**
120  * Get the number of users.
121  */
122 static inline unsigned get_irn_num_user(trace_env_t *env, ir_node *n)
123 {
124         unsigned const idx = get_irn_idx(n);
125
126         assert(idx < ARR_LEN(env->sched_info));
127         return env->sched_info[idx].num_user;
128 }
129
130 /**
131  * Set the number of users.
132  */
133 static inline void set_irn_num_user(trace_env_t *env, ir_node *n, unsigned num_user)
134 {
135         unsigned const idx = get_irn_idx(n);
136
137         assert(idx < ARR_LEN(env->sched_info));
138         env->sched_info[idx].num_user = num_user;
139 }
140
141 /**
142  * Get the register difference.
143  */
144 static inline int get_irn_reg_diff(trace_env_t *env, ir_node *n)
145 {
146         unsigned const idx = get_irn_idx(n);
147
148         assert(idx < ARR_LEN(env->sched_info));
149         return env->sched_info[idx].reg_diff;
150 }
151
152 /**
153  * Set the register difference.
154  */
155 static inline void set_irn_reg_diff(trace_env_t *env, ir_node *n, int reg_diff)
156 {
157         unsigned const idx = get_irn_idx(n);
158
159         assert(idx < ARR_LEN(env->sched_info));
160         env->sched_info[idx].reg_diff = reg_diff;
161 }
162
163 /**
164  * Get the pre-order position.
165  */
166 static inline int get_irn_preorder(trace_env_t *env, ir_node *n)
167 {
168         unsigned const idx = get_irn_idx(n);
169
170         assert(idx < ARR_LEN(env->sched_info));
171         return env->sched_info[idx].preorder;
172 }
173
174 /**
175  * Set the pre-order position.
176  */
177 static inline void set_irn_preorder(trace_env_t *env, ir_node *n, int pos)
178 {
179         unsigned const idx = get_irn_idx(n);
180
181         assert(idx < ARR_LEN(env->sched_info));
182         env->sched_info[idx].preorder = pos;
183 }
184
185 /**
186  * Get the pre-order position.
187  */
188 static inline unsigned get_irn_critical_path_len(trace_env_t *env, ir_node *n)
189 {
190         unsigned const idx = get_irn_idx(n);
191
192         assert(idx < ARR_LEN(env->sched_info));
193         return env->sched_info[idx].critical_path_len;
194 }
195
196 /**
197  * Set the pre-order position.
198  */
199 static inline void set_irn_critical_path_len(trace_env_t *env, ir_node *n, unsigned len)
200 {
201         unsigned const idx = get_irn_idx(n);
202
203         assert(idx < ARR_LEN(env->sched_info));
204         env->sched_info[idx].critical_path_len = len;
205 }
206
207 /**
208  * returns the exec-time for node n.
209  */
210 static sched_timestep_t exectime(trace_env_t *env, ir_node *n)
211 {
212         (void) env;
213         if (be_is_Keep(n) || is_Proj(n))
214                 return 0;
215         return 1;
216 }
217
218 /**
219  * Calculates the latency for between two ops
220  */
221 static sched_timestep_t latency(trace_env_t *env, ir_node *pred, int pred_cycle, ir_node *curr, int curr_cycle)
222 {
223         (void) pred_cycle;
224         (void) curr_cycle;
225         /* a Keep hides a root */
226         if (be_is_Keep(curr))
227                 return exectime(env, pred);
228
229         /* Proj's are executed immediately */
230         if (is_Proj(curr))
231                 return 0;
232
233         return 1;
234 }
235
236 /**
237  * Returns the number of users of a node having mode datab.
238  */
239 static int get_num_successors(ir_node *irn)
240 {
241         int sum = 0;
242
243         if (get_irn_mode(irn) == mode_T) {
244                 /* for mode_T nodes: count the users of all Projs */
245                 foreach_out_edge(irn, edge) {
246                         ir_node *proj = get_edge_src_irn(edge);
247                         ir_mode *mode = get_irn_mode(proj);
248
249                         if (mode == mode_T)
250                                 sum += get_num_successors(proj);
251                         else if (mode_is_datab(mode))
252                                 sum += get_irn_n_edges(proj);
253                 }
254         }
255         else {
256                 /* do not count keep-alive edges */
257                 foreach_out_edge(irn, edge) {
258                         if (get_irn_opcode(get_edge_src_irn(edge)) != iro_End)
259                                 sum++;
260                 }
261         }
262
263         return sum;
264 }
265
266 /**
267  * Returns the difference of regs_output - regs_input;
268  */
269 static int get_reg_difference(trace_env_t *env, ir_node *irn)
270 {
271         int num_out = 0;
272         int num_in  = 0;
273         int i;
274         ir_node *block = get_nodes_block(irn);
275
276         if (be_is_Call(irn)) {
277                 /* we want calls preferred */
278                 return -5;
279         }
280
281         if (get_irn_mode(irn) == mode_T) {
282                 /* mode_T nodes: num out regs == num Projs with mode datab */
283                 foreach_out_edge(irn, edge) {
284                         ir_node *proj = get_edge_src_irn(edge);
285                         if (mode_is_datab(get_irn_mode(proj)))
286                                 num_out++;
287                 }
288         }
289         else
290                 num_out = 1;
291
292         /* num in regs: number of ins with mode datab and not ignore */
293         for (i = get_irn_arity(irn) - 1; i >= 0; i--) {
294                 ir_node *in = get_irn_n(irn, i);
295
296                 if (!mode_is_datab(get_irn_mode(in)))
297                         continue;
298
299                 if (arch_irn_is_ignore(in))
300                         continue;
301
302                 if (be_is_live_end(env->liveness, block, in))
303                         continue;
304
305                 num_in++;
306         }
307
308         return num_out - num_in;
309 }
310
311 /**
312  * descent into a dag and create a pre-order list.
313  */
314 static void descent(ir_node *root, ir_node *block, ir_node **list, trace_env_t *env, unsigned path_len)
315 {
316         int i;
317
318         if (! is_Phi(root)) {
319                 path_len += exectime(env, root);
320                 if (get_irn_critical_path_len(env, root) < path_len) {
321                         set_irn_critical_path_len(env, root, path_len);
322                 }
323                 /* calculate number of users (needed for heuristic) */
324                 set_irn_num_user(env, root, get_num_successors(root));
325
326                 /* calculate register difference (needed for heuristic) */
327                 set_irn_reg_diff(env, root, get_reg_difference(env, root));
328
329                 /* Phi nodes always leave the block */
330                 for (i = get_irn_arity(root) - 1; i >= 0; --i) {
331                         ir_node *pred = get_irn_n(root, i);
332
333                         DBG((env->dbg, LEVEL_3, "   node %+F\n", pred));
334
335                         /* Blocks may happen as predecessors of End nodes */
336                         if (is_Block(pred))
337                                 continue;
338
339                         /* already seen nodes are not marked */
340                         if (get_irn_link(pred) != MARK)
341                                 continue;
342
343                         /* don't leave our block */
344                         if (get_nodes_block(pred) != block)
345                                 continue;
346
347                         set_irn_link(pred, NULL);
348
349                         descent(pred, block, list, env, path_len);
350                 }
351         }
352         set_irn_link(root, *list);
353         *list = root;
354 }
355
356 /**
357  * Returns non-zero if root is a root in the block block.
358  */
359 static int is_root(ir_node *root, ir_node *block)
360 {
361         foreach_out_edge(root, edge) {
362                 ir_node *succ = get_edge_src_irn(edge);
363
364                 if (is_Block(succ))
365                         continue;
366                 /* Phi nodes are always in "another block */
367                 if (is_Phi(succ))
368                         continue;
369                 if (get_nodes_block(succ) == block)
370                         return 0;
371         }
372         return 1;
373 }
374
375 /**
376  * Performs initial block calculations for trace scheduling.
377  */
378 static void trace_preprocess_block(trace_env_t *env, ir_node *block)
379 {
380         ir_node *root = NULL, *preord = NULL;
381         ir_node *curr, *irn;
382         int cur_pos;
383
384         /* First step: Find the root set. */
385         foreach_out_edge(block, edge) {
386                 ir_node *succ = get_edge_src_irn(edge);
387
388                 if (is_Anchor(succ)) {
389                         /* ignore a keep alive edge */
390                         continue;
391                 }
392                 if (is_root(succ, block)) {
393                         mark_root_node(env, succ);
394                         set_irn_link(succ, root);
395                         root = succ;
396                 }
397                 else
398                         set_irn_link(succ, MARK);
399         }
400
401         /* Second step: calculate the pre-order list. */
402         preord = NULL;
403         for (curr = root; curr; curr = irn) {
404                 irn = (ir_node*)get_irn_link(curr);
405                 DBG((env->dbg, LEVEL_2, "   DAG root %+F\n", curr));
406                 descent(curr, block, &preord, env, 0);
407         }
408         root = preord;
409
410         /* Third step: calculate the Delay. Note that our
411         * list is now in pre-order, starting at root
412         */
413         for (cur_pos = 0, curr = root; curr; curr = (ir_node*)get_irn_link(curr), cur_pos++) {
414                 sched_timestep_t d;
415
416                 if (is_cfop(curr)) {
417                         /* assure, that branches can be executed last */
418                         d = 0;
419                 }
420                 else {
421                         if (is_root_node(env, curr))
422                                 d = exectime(env, curr);
423                         else {
424                                 d = 0;
425                                 foreach_out_edge(curr, edge) {
426                                         ir_node *n = get_edge_src_irn(edge);
427
428                                         if (get_nodes_block(n) == block) {
429                                                 sched_timestep_t ld;
430
431                                                 ld = latency(env, curr, 1, n, 0) + get_irn_delay(env, n);
432                                                 d = ld > d ? ld : d;
433                                         }
434                                 }
435                         }
436                 }
437                 set_irn_delay(env, curr, d);
438                 DB((env->dbg, LEVEL_2, "\t%+F delay %u\n", curr, d));
439
440                 /* set the etime of all nodes to 0 */
441                 set_irn_etime(env, curr, 0);
442
443                 set_irn_preorder(env, curr, cur_pos);
444         }
445 }
446
447 /**
448  * This functions gets called after a node finally has been made ready.
449  */
450 static void trace_node_ready(void *data, ir_node *irn, ir_node *pred)
451 {
452         trace_env_t *env = (trace_env_t*)data;
453         sched_timestep_t etime_p, etime;
454
455         etime = env->curr_time;
456         if (pred) {
457                 etime_p = get_irn_etime(env, pred);
458                 etime  += latency(env, pred, 1, irn, 0);
459                 etime   = etime_p > etime ? etime_p : etime;
460         }
461
462         set_irn_etime(env, irn, etime);
463         DB((env->dbg, LEVEL_2, "\tset etime of %+F to %u\n", irn, etime));
464 }
465
466 /**
467  * Update the current time after irn has been selected.
468  */
469 static void trace_update_time(void *data, ir_node *irn)
470 {
471         trace_env_t *env = (trace_env_t*)data;
472         if (is_Phi(irn) || get_irn_opcode(irn) == beo_Start) {
473                 env->curr_time += get_irn_etime(env, irn);
474         }
475         else {
476                 env->curr_time += exectime(env, irn);
477         }
478 }
479
480 /**
481  * Allocates memory and initializes trace scheduling environment.
482  * @param irg   The backend irg object
483  * @return The environment
484  */
485 static trace_env_t *trace_init(ir_graph *irg)
486 {
487         trace_env_t *env = XMALLOCZ(trace_env_t);
488         int         nn   = get_irg_last_idx(irg);
489
490         env->curr_time  = 0;
491         env->sched_info = NEW_ARR_FZ(trace_irn_t, nn);
492         env->liveness   = be_get_irg_liveness(irg);
493         FIRM_DBG_REGISTER(env->dbg, "firm.be.sched.trace");
494
495         be_assure_live_chk(irg);
496
497         return env;
498 }
499
500 /**
501  * Frees all memory allocated for trace scheduling environment.
502  * @param env  The environment
503  */
504 static void trace_free(void *data)
505 {
506         trace_env_t *env = (trace_env_t*)data;
507         DEL_ARR_F(env->sched_info);
508         free(env);
509 }
510
511 /**
512  * Simple selector. Just assure that jumps are scheduled last.
513  */
514 static ir_node *basic_selection(ir_nodeset_t *ready_set)
515 {
516         /* assure that branches and constants are executed last */
517         foreach_ir_nodeset(ready_set, irn, iter) {
518                 if (!is_cfop(irn)) {
519                         return irn;
520                 }
521         }
522
523         /* at last: schedule branches */
524         return get_nodeset_node(ready_set);
525 }
526
527 /**
528 * The muchnik selector.
529 */
530 static ir_node *muchnik_select(void *block_env, ir_nodeset_t *ready_set)
531 {
532         trace_env_t *env = (trace_env_t*)block_env;
533         ir_nodeset_t mcands, ecands;
534         sched_timestep_t max_delay = 0;
535
536         /* calculate the max delay of all candidates */
537         foreach_ir_nodeset(ready_set, irn, iter) {
538                 sched_timestep_t d = get_irn_delay(env, irn);
539
540                 max_delay = d > max_delay ? d : max_delay;
541         }
542
543         ir_nodeset_init_size(&mcands, 8);
544         ir_nodeset_init_size(&ecands, 8);
545
546         /* build mcands and ecands */
547         foreach_ir_nodeset(ready_set, irn, iter) {
548                 if (get_irn_delay(env, irn) == max_delay) {
549                         ir_nodeset_insert(&mcands, irn);
550                         if (get_irn_etime(env, irn) <= env->curr_time)
551                                 ir_nodeset_insert(&ecands, irn);
552                 }
553         }
554
555         /* select a node */
556         ir_node *irn;
557         if (ir_nodeset_size(&mcands) == 1) {
558                 irn = get_nodeset_node(&mcands);
559                 DB((env->dbg, LEVEL_3, "\tirn = %+F, mcand = 1, max_delay = %u\n", irn, max_delay));
560         }
561         else {
562                 size_t cnt = ir_nodeset_size(&ecands);
563                 if (cnt == 1) {
564                         irn = get_nodeset_node(&ecands);
565
566                         if (is_cfop(irn)) {
567                                 /* BEWARE: don't select a JUMP if others are still possible */
568                                 goto force_mcands;
569                         }
570                         DB((env->dbg, LEVEL_3, "\tirn = %+F, ecand = 1, max_delay = %u\n", irn, max_delay));
571                 }
572                 else if (cnt > 1) {
573                         DB((env->dbg, LEVEL_3, "\tecand = %zu, max_delay = %u\n", cnt, max_delay));
574                         irn = basic_selection(&ecands);
575                 }
576                 else {
577 force_mcands:
578                         DB((env->dbg, LEVEL_3, "\tmcand = %zu\n", ir_nodeset_size(&mcands)));
579                         irn = basic_selection(&mcands);
580                 }
581         }
582
583         return irn;
584 }
585
586 static void *muchnik_init_graph(ir_graph *irg)
587 {
588         trace_env_t *env  = trace_init(irg);
589         return (void *)env;
590 }
591
592 static void *muchnik_init_block(void *graph_env, ir_node *bl)
593 {
594         trace_env_t *env = (trace_env_t*) graph_env;
595         trace_preprocess_block(env, bl);
596         return graph_env;
597 }
598
599 static void sched_muchnik(ir_graph *irg)
600 {
601         static const list_sched_selector_t muchnik_selector = {
602                 muchnik_init_graph,
603                 muchnik_init_block,
604                 muchnik_select,
605                 trace_node_ready,    /* node_ready */
606                 trace_update_time,   /* node_selected */
607                 NULL,                /* finish_block */
608                 trace_free           /* finish_graph */
609         };
610         be_list_sched_graph(irg, &muchnik_selector);
611 }
612
613 /**
614  * Execute the heuristic function.
615  */
616 static ir_node *heuristic_select(void *block_env, ir_nodeset_t *ns)
617 {
618         trace_env_t *trace_env   = (trace_env_t*)block_env;
619         ir_node     *cand        = NULL;
620         int         max_prio     = INT_MIN;
621         int         cur_prio     = INT_MIN;
622         int         reg_fact;
623         /* Note: register pressure calculation needs an overhaul, you need correct
624          * tracking for each register class indidually and weight by each class
625         int         cur_pressure = ir_nodeset_size(lv); */
626         int         cur_pressure = 1;
627
628         /* prefer instructions which can be scheduled early */
629 #define PRIO_TIME        3
630         /* prefer instructions with lots of successors */
631 #define PRIO_NUMSUCCS    8
632         /* prefer instructions with long critical path */
633 #define PRIO_LEVEL      12
634         /* prefer instructions coming early in preorder */
635 #define PRIO_PREORD      8
636         /* weight of current register pressure */
637 #define PRIO_CUR_PRESS  20
638         /* weight of register pressure difference */
639 #define PRIO_CHG_PRESS   8
640
641         /* priority based selection, heuristic inspired by mueller diss */
642         foreach_ir_nodeset(ns, irn, iter) {
643                 /* make sure that branches are scheduled last */
644                 if (!is_cfop(irn)) {
645                         int rdiff = get_irn_reg_diff(trace_env, irn);
646                         int sign  = rdiff < 0;
647                         int chg   = (rdiff < 0 ? -rdiff : rdiff) << PRIO_CHG_PRESS;
648
649                         reg_fact = chg * cur_pressure;
650                         if (reg_fact < chg)
651                                 reg_fact = INT_MAX - 2;
652                         reg_fact = sign ? -reg_fact : reg_fact;
653
654                         cur_prio = (get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL)
655                                 //- (get_irn_delay(trace_env, irn) << PRIO_LEVEL)
656                                 + (get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS)
657                                 - (get_irn_etime(trace_env, irn) << PRIO_TIME)
658                                 //- ((get_irn_reg_diff(trace_env, irn) >> PRIO_CHG_PRESS) << ((cur_pressure >> PRIO_CUR_PRESS) - 3))
659                                 - reg_fact
660                                 + (get_irn_preorder(trace_env, irn) << PRIO_PREORD); /* high preorder means early schedule */
661                         if (cur_prio > max_prio) {
662                                 cand          = irn;
663                                 max_prio      = cur_prio;
664                         }
665
666                         DBG((trace_env->dbg, LEVEL_4, "checked NODE %+F\n", irn));
667                         DBG((trace_env->dbg, LEVEL_4, "\tpriority: %d\n", cur_prio));
668                         DBG((trace_env->dbg, LEVEL_4, "\tpath len: %d (%d)\n", get_irn_critical_path_len(trace_env, irn), get_irn_critical_path_len(trace_env, irn) << PRIO_LEVEL));
669                         DBG((trace_env->dbg, LEVEL_4, "\tdelay:    %d (%d)\n", get_irn_delay(trace_env, irn), get_irn_delay(trace_env, irn) << PRIO_LEVEL));
670                         DBG((trace_env->dbg, LEVEL_4, "\t#user:    %d (%d)\n", get_irn_num_user(trace_env, irn), get_irn_num_user(trace_env, irn) << PRIO_NUMSUCCS));
671                         DBG((trace_env->dbg, LEVEL_4, "\tetime:    %d (%d)\n", get_irn_etime(trace_env, irn), 0 - (get_irn_etime(trace_env, irn) << PRIO_TIME)));
672                         DBG((trace_env->dbg, LEVEL_4, "\tpreorder: %d (%d)\n", get_irn_preorder(trace_env, irn), get_irn_preorder(trace_env, irn) << PRIO_PREORD));
673                         DBG((trace_env->dbg, LEVEL_4, "\treg diff: %d (%d)\n", get_irn_reg_diff(trace_env, irn), 0 - reg_fact));
674                         DBG((trace_env->dbg, LEVEL_4, "\tpressure: %d\n", cur_pressure));
675                 }
676         }
677
678         if (cand) {
679                 DBG((trace_env->dbg, LEVEL_4, "heuristic selected %+F:\n", cand));
680         }
681         else {
682                 cand = basic_selection(ns);
683         }
684
685         return cand;
686 }
687
688 static void sched_heuristic(ir_graph *irg)
689 {
690         static const list_sched_selector_t heuristic_selector = {
691                 muchnik_init_graph,
692                 muchnik_init_block,
693                 heuristic_select,
694                 trace_node_ready,    /* node_ready */
695                 trace_update_time,   /* node_selected */
696                 NULL,                /* finish_block */
697                 trace_free           /* finish_graph */
698         };
699         be_list_sched_graph(irg, &heuristic_selector);
700 }
701
702 BE_REGISTER_MODULE_CONSTRUCTOR(be_init_sched_trace)
703 void be_init_sched_trace(void)
704 {
705         be_register_scheduler("heur", sched_heuristic);
706         be_register_scheduler("muchnik", sched_muchnik);
707 }