- refactor emitter next/prev block handling a bit
[libfirm] / ir / be / ia32 / ia32_optimize.c
1 /*
2  * Copyright (C) 1995-2008 University of Karlsruhe.  All right reserved.
3  *
4  * This file is part of libFirm.
5  *
6  * This file may be distributed and/or modified under the terms of the
7  * GNU General Public License version 2 as published by the Free Software
8  * Foundation and appearing in the file LICENSE.GPL included in the
9  * packaging of this file.
10  *
11  * Licensees holding valid libFirm Professional Edition licenses may use
12  * this file in accordance with the libFirm Commercial License.
13  * Agreement provided with the Software.
14  *
15  * This file is provided AS IS with NO WARRANTY OF ANY KIND, INCLUDING THE
16  * WARRANTY OF DESIGN, MERCHANTABILITY AND FITNESS FOR A PARTICULAR
17  * PURPOSE.
18  */
19
20 /**
21  * @file
22  * @brief       Implements several optimizations for IA32.
23  * @author      Matthias Braun, Christian Wuerdig
24  * @version     $Id$
25  */
26 #ifdef HAVE_CONFIG_H
27 #include "config.h"
28 #endif
29
30 #include "irnode.h"
31 #include "irprog_t.h"
32 #include "ircons.h"
33 #include "irtools.h"
34 #include "firm_types.h"
35 #include "iredges.h"
36 #include "tv.h"
37 #include "irgmod.h"
38 #include "irgwalk.h"
39 #include "height.h"
40 #include "irbitset.h"
41 #include "irprintf.h"
42 #include "error.h"
43
44 #include "../be_t.h"
45 #include "../beabi.h"
46 #include "../benode_t.h"
47 #include "../besched_t.h"
48 #include "../bepeephole.h"
49
50 #include "ia32_new_nodes.h"
51 #include "ia32_optimize.h"
52 #include "bearch_ia32_t.h"
53 #include "gen_ia32_regalloc_if.h"
54 #include "ia32_transform.h"
55 #include "ia32_dbg_stat.h"
56 #include "ia32_util.h"
57 #include "ia32_architecture.h"
58
59 DEBUG_ONLY(static firm_dbg_module_t *dbg = NULL;)
60
61 static const arch_env_t *arch_env;
62 static ia32_code_gen_t  *cg;
63
64 /**
65  * Returns non-zero if the given node produces
66  * a zero flag.
67  *
68  * @param node  the node to check
69  * @param pn    if >= 0, the projection number of the used result
70  */
71 static int produces_zero_flag(ir_node *node, int pn)
72 {
73         ir_node                     *count;
74         const ia32_immediate_attr_t *imm_attr;
75
76         if (!is_ia32_irn(node))
77                 return 0;
78
79         if (pn >= 0) {
80                 if (pn != pn_ia32_res)
81                         return 0;
82         }
83
84         switch (get_ia32_irn_opcode(node)) {
85         case iro_ia32_Add:
86         case iro_ia32_Adc:
87         case iro_ia32_And:
88         case iro_ia32_Or:
89         case iro_ia32_Xor:
90         case iro_ia32_Sub:
91         case iro_ia32_Sbb:
92         case iro_ia32_Neg:
93         case iro_ia32_Inc:
94         case iro_ia32_Dec:
95                 return 1;
96
97         case iro_ia32_ShlD:
98         case iro_ia32_ShrD:
99         case iro_ia32_Shl:
100         case iro_ia32_Shr:
101         case iro_ia32_Sar:
102                 assert(n_ia32_ShlD_count == n_ia32_ShrD_count);
103                 assert(n_ia32_Shl_count == n_ia32_Shr_count
104                                 && n_ia32_Shl_count == n_ia32_Sar_count);
105                 if (is_ia32_ShlD(node) || is_ia32_ShrD(node)) {
106                         count = get_irn_n(node, n_ia32_ShlD_count);
107                 } else {
108                         count = get_irn_n(node, n_ia32_Shl_count);
109                 }
110                 /* when shift count is zero the flags are not affected, so we can only
111                  * do this for constants != 0 */
112                 if (!is_ia32_Immediate(count))
113                         return 0;
114
115                 imm_attr = get_ia32_immediate_attr_const(count);
116                 if (imm_attr->symconst != NULL)
117                         return 0;
118                 if ((imm_attr->offset & 0x1f) == 0)
119                         return 0;
120                 return 1;
121
122         default:
123                 break;
124         }
125         return 0;
126 }
127
128 /**
129  * If the given node has not mode_T, creates a mode_T version (with a result Proj).
130  *
131  * @param node  the node to change
132  *
133  * @return the new mode_T node (if the mode was changed) or node itself
134  */
135 static ir_node *turn_into_mode_t(ir_node *node)
136 {
137         ir_node               *block;
138         ir_node               *res_proj;
139         ir_node               *new_node;
140         const arch_register_t *reg;
141
142         if(get_irn_mode(node) == mode_T)
143                 return node;
144
145         assert(get_irn_mode(node) == mode_Iu);
146
147         new_node = exact_copy(node);
148         set_irn_mode(new_node, mode_T);
149
150         block    = get_nodes_block(new_node);
151         res_proj = new_r_Proj(current_ir_graph, block, new_node, mode_Iu,
152                               pn_ia32_res);
153
154         reg = arch_get_irn_register(arch_env, node);
155         arch_set_irn_register(arch_env, res_proj, reg);
156
157         be_peephole_before_exchange(node, res_proj);
158         sched_add_before(node, new_node);
159         sched_remove(node);
160         exchange(node, res_proj);
161         be_peephole_after_exchange(res_proj);
162
163         return new_node;
164 }
165
166 /**
167  * Peephole optimization for Test instructions.
168  * We can remove the Test, if a zero flags was produced which is still
169  * live.
170  */
171 static void peephole_ia32_Test(ir_node *node)
172 {
173         ir_node         *left  = get_irn_n(node, n_ia32_Test_left);
174         ir_node         *right = get_irn_n(node, n_ia32_Test_right);
175         ir_node         *flags_proj;
176         ir_node         *block;
177         ir_mode         *flags_mode;
178         int              pn    = -1;
179         ir_node         *schedpoint;
180         const ir_edge_t *edge;
181
182         assert(n_ia32_Test_left == n_ia32_Test8Bit_left
183                         && n_ia32_Test_right == n_ia32_Test8Bit_right);
184
185         /* we need a test for 0 */
186         if(left != right)
187                 return;
188
189         block = get_nodes_block(node);
190         if(get_nodes_block(left) != block)
191                 return;
192
193         if(is_Proj(left)) {
194                 pn   = get_Proj_proj(left);
195                 left = get_Proj_pred(left);
196         }
197
198         /* happens rarely, but if it does code will panic' */
199         if (is_ia32_Unknown_GP(left))
200                 return;
201
202         /* walk schedule up and abort when we find left or some other node destroys
203            the flags */
204         schedpoint = sched_prev(node);
205         while(schedpoint != left) {
206                 schedpoint = sched_prev(schedpoint);
207                 if(arch_irn_is(arch_env, schedpoint, modify_flags))
208                         return;
209                 if(schedpoint == block)
210                         panic("couldn't find left");
211         }
212
213         /* make sure only Lg/Eq tests are used */
214         foreach_out_edge(node, edge) {
215                 ir_node *user = get_edge_src_irn(edge);
216                 int      pnc  = get_ia32_condcode(user);
217
218                 if(pnc != pn_Cmp_Eq && pnc != pn_Cmp_Lg) {
219                         return;
220                 }
221         }
222
223         if(!produces_zero_flag(left, pn))
224                 return;
225
226         left = turn_into_mode_t(left);
227
228         flags_mode = ia32_reg_classes[CLASS_ia32_flags].mode;
229         flags_proj = new_r_Proj(current_ir_graph, block, left, flags_mode,
230                                 pn_ia32_flags);
231         arch_set_irn_register(arch_env, flags_proj, &ia32_flags_regs[REG_EFLAGS]);
232
233         assert(get_irn_mode(node) != mode_T);
234
235         be_peephole_before_exchange(node, flags_proj);
236         exchange(node, flags_proj);
237         sched_remove(node);
238         be_peephole_after_exchange(flags_proj);
239 }
240
241 /**
242  * AMD Athlon works faster when RET is not destination of
243  * conditional jump or directly preceded by other jump instruction.
244  * Can be avoided by placing a Rep prefix before the return.
245  */
246 static void peephole_ia32_Return(ir_node *node) {
247         ir_node *block, *irn;
248
249         if (!ia32_cg_config.use_pad_return)
250                 return;
251
252         block = get_nodes_block(node);
253
254         /* check if this return is the first on the block */
255         sched_foreach_reverse_from(node, irn) {
256                 switch (get_irn_opcode(irn)) {
257                 case beo_Return:
258                         /* the return node itself, ignore */
259                         continue;
260                 case beo_Barrier:
261                         /* ignore the barrier, no code generated */
262                         continue;
263                 case beo_IncSP:
264                         /* arg, IncSP 0 nodes might occur, ignore these */
265                         if (be_get_IncSP_offset(irn) == 0)
266                                 continue;
267                         return;
268                 case iro_Phi:
269                         continue;
270                 default:
271                         return;
272                 }
273         }
274
275         /* ensure, that the 3 byte return is generated
276          * actually the emitter tests again if the block beginning has a label and
277          * isn't just a fallthrough */
278         be_Return_set_emit_pop(node, 1);
279 }
280
281 /* only optimize up to 48 stores behind IncSPs */
282 #define MAXPUSH_OPTIMIZE        48
283
284 /**
285  * Tries to create Push's from IncSP, Store combinations.
286  * The Stores are replaced by Push's, the IncSP is modified
287  * (possibly into IncSP 0, but not removed).
288  */
289 static void peephole_IncSP_Store_to_push(ir_node *irn)
290 {
291         int      i, maxslot, inc_ofs;
292         ir_node  *node;
293         ir_node  *stores[MAXPUSH_OPTIMIZE];
294         ir_node  *block;
295         ir_graph *irg;
296         ir_node  *curr_sp;
297         ir_mode  *spmode;
298
299         memset(stores, 0, sizeof(stores));
300
301         assert(be_is_IncSP(irn));
302
303         inc_ofs = be_get_IncSP_offset(irn);
304         if (inc_ofs < 4)
305                 return;
306
307         /*
308          * We first walk the schedule after the IncSP node as long as we find
309          * suitable Stores that could be transformed to a Push.
310          * We save them into the stores array which is sorted by the frame offset/4
311          * attached to the node
312          */
313         maxslot = -1;
314         for (node = sched_next(irn); !sched_is_end(node); node = sched_next(node)) {
315                 ir_node *mem;
316                 int offset;
317                 int storeslot;
318
319                 /* it has to be a Store */
320                 if (!is_ia32_Store(node))
321                         break;
322
323                 /* it has to use our sp value */
324                 if (get_irn_n(node, n_ia32_base) != irn)
325                         continue;
326                 /* Store has to be attached to NoMem */
327                 mem = get_irn_n(node, n_ia32_mem);
328                 if (!is_NoMem(mem))
329                         continue;
330
331                 /* unfortunately we can't support the full AMs possible for push at the
332                  * moment. TODO: fix this */
333                 if (get_ia32_am_scale(node) > 0 || !is_ia32_NoReg_GP(get_irn_n(node, n_ia32_index)))
334                         break;
335
336                 offset = get_ia32_am_offs_int(node);
337                 /* we should NEVER access uninitialized stack BELOW the current SP */
338                 assert(offset >= 0);
339
340                 offset = inc_ofs - 4 - offset;
341
342                 /* storing at half-slots is bad */
343                 if ((offset & 3) != 0)
344                         break;
345
346                 if (offset < 0 || offset >= MAXPUSH_OPTIMIZE * 4)
347                         continue;
348                 storeslot = offset >> 2;
349
350                 /* storing into the same slot twice is bad (and shouldn't happen...) */
351                 if (stores[storeslot] != NULL)
352                         break;
353
354                 stores[storeslot] = node;
355                 if (storeslot > maxslot)
356                         maxslot = storeslot;
357         }
358
359         curr_sp = be_get_IncSP_pred(irn);
360
361         /* walk through the Stores and create Pushs for them */
362         block  = get_nodes_block(irn);
363         spmode = get_irn_mode(irn);
364         irg    = cg->irg;
365         for (i = 0; i <= maxslot; ++i) {
366                 const arch_register_t *spreg;
367                 ir_node *push;
368                 ir_node *val, *mem, *mem_proj;
369                 ir_node *store = stores[i];
370                 ir_node *noreg = ia32_new_NoReg_gp(cg);
371
372                 if (store == NULL)
373                         break;
374
375                 val = get_irn_n(store, n_ia32_unary_op);
376                 mem = get_irn_n(store, n_ia32_mem);
377                 spreg = arch_get_irn_register(cg->arch_env, curr_sp);
378
379                 push = new_rd_ia32_Push(get_irn_dbg_info(store), irg, block, noreg, noreg, mem, val, curr_sp);
380
381                 sched_add_before(irn, push);
382
383                 /* create stackpointer Proj */
384                 curr_sp = new_r_Proj(irg, block, push, spmode, pn_ia32_Push_stack);
385                 arch_set_irn_register(cg->arch_env, curr_sp, spreg);
386
387                 /* create memory Proj */
388                 mem_proj = new_r_Proj(irg, block, push, mode_M, pn_ia32_Push_M);
389
390                 /* use the memproj now */
391                 exchange(store, mem_proj);
392
393                 /* we can remove the Store now */
394                 sched_remove(store);
395
396                 inc_ofs -= 4;
397         }
398
399         be_set_IncSP_offset(irn, inc_ofs);
400         be_set_IncSP_pred(irn, curr_sp);
401 }
402
403 /**
404  * Return true if a mode can be stored in the GP register set
405  */
406 static INLINE int mode_needs_gp_reg(ir_mode *mode) {
407         if (mode == mode_fpcw)
408                 return 0;
409         if (get_mode_size_bits(mode) > 32)
410                 return 0;
411         return mode_is_int(mode) || mode_is_reference(mode) || mode == mode_b;
412 }
413
414 /**
415  * Tries to create Pops from Load, IncSP combinations.
416  * The Loads are replaced by Pops, the IncSP is modified
417  * (possibly into IncSP 0, but not removed).
418  */
419 static void peephole_Load_IncSP_to_pop(ir_node *irn)
420 {
421         const arch_register_t *esp = &ia32_gp_regs[REG_ESP];
422         int      i, maxslot, inc_ofs, ofs;
423         ir_node  *node, *pred_sp, *block;
424         ir_node  *loads[MAXPUSH_OPTIMIZE];
425         ir_graph *irg;
426         unsigned regmask = 0;
427         unsigned copymask = ~0;
428
429         memset(loads, 0, sizeof(loads));
430         assert(be_is_IncSP(irn));
431
432         inc_ofs = -be_get_IncSP_offset(irn);
433         if (inc_ofs < 4)
434                 return;
435
436         /*
437          * We first walk the schedule before the IncSP node as long as we find
438          * suitable Loads that could be transformed to a Pop.
439          * We save them into the stores array which is sorted by the frame offset/4
440          * attached to the node
441          */
442         maxslot = -1;
443         pred_sp = be_get_IncSP_pred(irn);
444         for (node = sched_prev(irn); !sched_is_end(node); node = sched_prev(node)) {
445                 ir_node *mem;
446                 int offset;
447                 int loadslot;
448                 const arch_register_t *sreg, *dreg;
449
450                 /* it has to be a Load */
451                 if (!is_ia32_Load(node)) {
452                         if (be_is_Copy(node)) {
453                                 if (!mode_needs_gp_reg(get_irn_mode(node))) {
454                                         /* not a GP copy, ignore */
455                                         continue;
456                                 }
457                                 dreg = arch_get_irn_register(arch_env, node);
458                                 sreg = arch_get_irn_register(arch_env, be_get_Copy_op(node));
459                                 if (regmask & copymask & (1 << sreg->index)) {
460                                         break;
461                                 }
462                                 if (regmask & copymask & (1 << dreg->index)) {
463                                         break;
464                                 }
465                                 /* we CAN skip Copies if neither the destination nor the source
466                                  * is not in our regmask, ie none of our future Pop will overwrite it */
467                                 regmask |= (1 << dreg->index) | (1 << sreg->index);
468                                 copymask &= ~((1 << dreg->index) | (1 << sreg->index));
469                                 continue;
470                         }
471                         break;
472                 }
473
474                 /* we can handle only GP loads */
475                 if (!mode_needs_gp_reg(get_ia32_ls_mode(node)))
476                         continue;
477
478                 /* it has to use our predecessor sp value */
479                 if (get_irn_n(node, n_ia32_base) != pred_sp) {
480                         /* it would be ok if this load does not use a Pop result,
481                          * but we do not check this */
482                         break;
483                 }
484                 /* Load has to be attached to Spill-Mem */
485                 mem = skip_Proj(get_irn_n(node, n_ia32_mem));
486                 if (!is_Phi(mem) && !is_ia32_Store(mem) && !is_ia32_Push(mem))
487                         break;
488
489                 /* should have NO index */
490                 if (get_ia32_am_scale(node) > 0 || !is_ia32_NoReg_GP(get_irn_n(node, n_ia32_index)))
491                         break;
492
493                 offset = get_ia32_am_offs_int(node);
494                 /* we should NEVER access uninitialized stack BELOW the current SP */
495                 assert(offset >= 0);
496
497                 /* storing at half-slots is bad */
498                 if ((offset & 3) != 0)
499                         break;
500
501                 if (offset < 0 || offset >= MAXPUSH_OPTIMIZE * 4)
502                         continue;
503                 /* ignore those outside the possible windows */
504                 if (offset > inc_ofs - 4)
505                         continue;
506                 loadslot = offset >> 2;
507
508                 /* loading from the same slot twice is bad (and shouldn't happen...) */
509                 if (loads[loadslot] != NULL)
510                         break;
511
512                 dreg = arch_get_irn_register(arch_env, node);
513                 if (regmask & (1 << dreg->index)) {
514                         /* this register is already used */
515                         break;
516                 }
517                 regmask |= 1 << dreg->index;
518
519                 loads[loadslot] = node;
520                 if (loadslot > maxslot)
521                         maxslot = loadslot;
522         }
523
524         if (maxslot < 0)
525                 return;
526
527         /* find the first slot */
528         for (i = maxslot; i >= 0; --i) {
529                 ir_node *load = loads[i];
530
531                 if (load == NULL)
532                         break;
533         }
534
535         ofs = inc_ofs - (maxslot + 1) * 4;
536         inc_ofs = (i+1) * 4;
537
538         /* create a new IncSP if needed */
539         block = get_nodes_block(irn);
540         irg   = cg->irg;
541         if (inc_ofs > 0) {
542                 pred_sp = be_new_IncSP(esp, irg, block, pred_sp, -inc_ofs, be_get_IncSP_align(irn));
543                 sched_add_before(irn, pred_sp);
544         }
545
546         /* walk through the Loads and create Pops for them */
547         for (++i; i <= maxslot; ++i) {
548                 ir_node *load = loads[i];
549                 ir_node *mem, *pop;
550                 const ir_edge_t *edge, *tmp;
551                 const arch_register_t *reg;
552
553                 mem = get_irn_n(load, n_ia32_mem);
554                 reg = arch_get_irn_register(arch_env, load);
555
556                 pop = new_rd_ia32_Pop(get_irn_dbg_info(load), irg, block, mem, pred_sp);
557                 arch_set_irn_register(arch_env, pop, reg);
558
559                 /* create stackpointer Proj */
560                 pred_sp = new_r_Proj(irg, block, pop, mode_Iu, pn_ia32_Pop_stack);
561                 arch_set_irn_register(arch_env, pred_sp, esp);
562
563                 sched_add_before(irn, pop);
564
565                 /* rewire now */
566                 foreach_out_edge_safe(load, edge, tmp) {
567                         ir_node *proj = get_edge_src_irn(edge);
568
569                         set_Proj_pred(proj, pop);
570                 }
571
572
573                 /* we can remove the Load now */
574                 sched_remove(load);
575                 kill_node(load);
576         }
577         be_set_IncSP_offset(irn, -ofs);
578         be_set_IncSP_pred(irn, pred_sp);
579
580 }
581
582
583 /**
584  * Find a free GP register if possible, else return NULL.
585  */
586 static const arch_register_t *get_free_gp_reg(void)
587 {
588         int i;
589
590         for(i = 0; i < N_ia32_gp_REGS; ++i) {
591                 const arch_register_t *reg = &ia32_gp_regs[i];
592                 if(arch_register_type_is(reg, ignore))
593                         continue;
594
595                 if(be_peephole_get_value(CLASS_ia32_gp, i) == NULL)
596                         return &ia32_gp_regs[i];
597         }
598
599         return NULL;
600 }
601
602 /**
603  * Creates a Pop instruction before the given schedule point.
604  *
605  * @param dbgi        debug info
606  * @param irg         the graph
607  * @param block       the block
608  * @param stack       the previous stack value
609  * @param schedpoint  the new node is added before this node
610  * @param reg         the register to pop
611  *
612  * @return the new stack value
613  */
614 static ir_node *create_pop(dbg_info *dbgi, ir_graph *irg, ir_node *block,
615                            ir_node *stack, ir_node *schedpoint,
616                            const arch_register_t *reg)
617 {
618         const arch_register_t *esp = &ia32_gp_regs[REG_ESP];
619         ir_node *pop;
620         ir_node *keep;
621         ir_node *val;
622         ir_node *in[1];
623
624         pop   = new_rd_ia32_Pop(dbgi, irg, block, new_NoMem(), stack);
625
626         stack = new_r_Proj(irg, block, pop, mode_Iu, pn_ia32_Pop_stack);
627         arch_set_irn_register(arch_env, stack, esp);
628         val   = new_r_Proj(irg, block, pop, mode_Iu, pn_ia32_Pop_res);
629         arch_set_irn_register(arch_env, val, reg);
630
631         sched_add_before(schedpoint, pop);
632
633         in[0] = val;
634         keep = be_new_Keep(&ia32_reg_classes[CLASS_ia32_gp], irg, block, 1, in);
635         sched_add_before(schedpoint, keep);
636
637         return stack;
638 }
639
640 /**
641  * Creates a Push instruction before the given schedule point.
642  *
643  * @param dbgi        debug info
644  * @param irg         the graph
645  * @param block       the block
646  * @param stack       the previous stack value
647  * @param schedpoint  the new node is added before this node
648  * @param reg         the register to pop
649  *
650  * @return the new stack value
651  */
652 static ir_node *create_push(dbg_info *dbgi, ir_graph *irg, ir_node *block,
653                             ir_node *stack, ir_node *schedpoint,
654                             const arch_register_t *reg)
655 {
656         const arch_register_t *esp = &ia32_gp_regs[REG_ESP];
657         ir_node *noreg, *nomem, *push, *val;
658
659         val  = new_rd_ia32_ProduceVal(NULL, irg, block);
660         arch_set_irn_register(arch_env, val, reg);
661         sched_add_before(schedpoint, val);
662
663         noreg = ia32_new_NoReg_gp(cg);
664         nomem = get_irg_no_mem(irg);
665         push  = new_rd_ia32_Push(dbgi, irg, block, noreg, noreg, nomem, val, stack);
666         sched_add_before(schedpoint, push);
667
668         stack = new_r_Proj(irg, block, push, mode_Iu, pn_ia32_Push_stack);
669         arch_set_irn_register(arch_env, stack, esp);
670
671         return stack;
672 }
673
674 /**
675  * Optimize an IncSp by replacing it with Push/Pop.
676  */
677 static void peephole_be_IncSP(ir_node *node)
678 {
679         const arch_register_t *esp = &ia32_gp_regs[REG_ESP];
680         const arch_register_t *reg;
681         ir_graph              *irg = current_ir_graph;
682         dbg_info              *dbgi;
683         ir_node               *block;
684         ir_node               *stack;
685         int                    offset;
686
687         /* first optimize incsp->incsp combinations */
688         node = be_peephole_IncSP_IncSP(node);
689
690         /* transform IncSP->Store combinations to Push where possible */
691         peephole_IncSP_Store_to_push(node);
692
693         /* transform Load->IncSP combinations to Pop where possible */
694         peephole_Load_IncSP_to_pop(node);
695
696         if (arch_get_irn_register(arch_env, node) != esp)
697                 return;
698
699         /* replace IncSP -4 by Pop freereg when possible */
700         offset = be_get_IncSP_offset(node);
701         if ((offset != -8 || ia32_cg_config.use_add_esp_8) &&
702             (offset != -4 || ia32_cg_config.use_add_esp_4) &&
703             (offset != +4 || ia32_cg_config.use_sub_esp_4) &&
704             (offset != +8 || ia32_cg_config.use_sub_esp_8))
705                 return;
706
707         if (offset < 0) {
708                 /* we need a free register for pop */
709                 reg = get_free_gp_reg();
710                 if (reg == NULL)
711                         return;
712
713                 dbgi  = get_irn_dbg_info(node);
714                 block = get_nodes_block(node);
715                 stack = be_get_IncSP_pred(node);
716
717                 stack = create_pop(dbgi, irg, block, stack, node, reg);
718
719                 if (offset == -8) {
720                         stack = create_pop(dbgi, irg, block, stack, node, reg);
721                 }
722         } else {
723                 dbgi  = get_irn_dbg_info(node);
724                 block = get_nodes_block(node);
725                 stack = be_get_IncSP_pred(node);
726                 reg   = &ia32_gp_regs[REG_EAX];
727
728                 stack = create_push(dbgi, irg, block, stack, node, reg);
729
730                 if (offset == +8) {
731                         stack = create_push(dbgi, irg, block, stack, node, reg);
732                 }
733         }
734
735         be_peephole_before_exchange(node, stack);
736         sched_remove(node);
737         exchange(node, stack);
738         be_peephole_after_exchange(stack);
739 }
740
741 /**
742  * Peephole optimisation for ia32_Const's
743  */
744 static void peephole_ia32_Const(ir_node *node)
745 {
746         const ia32_immediate_attr_t *attr = get_ia32_immediate_attr_const(node);
747         const arch_register_t       *reg;
748         ir_graph                    *irg = current_ir_graph;
749         ir_node                     *block;
750         dbg_info                    *dbgi;
751         ir_node                     *produceval;
752         ir_node                     *xor;
753         ir_node                     *noreg;
754
755         /* try to transform a mov 0, reg to xor reg reg */
756         if (attr->offset != 0 || attr->symconst != NULL)
757                 return;
758         if (ia32_cg_config.use_mov_0)
759                 return;
760         /* xor destroys the flags, so no-one must be using them */
761         if (be_peephole_get_value(CLASS_ia32_flags, REG_EFLAGS) != NULL)
762                 return;
763
764         reg = arch_get_irn_register(arch_env, node);
765         assert(be_peephole_get_reg_value(reg) == NULL);
766
767         /* create xor(produceval, produceval) */
768         block      = get_nodes_block(node);
769         dbgi       = get_irn_dbg_info(node);
770         produceval = new_rd_ia32_ProduceVal(dbgi, irg, block);
771         arch_set_irn_register(arch_env, produceval, reg);
772
773         noreg = ia32_new_NoReg_gp(cg);
774         xor   = new_rd_ia32_Xor(dbgi, irg, block, noreg, noreg, new_NoMem(),
775                                 produceval, produceval);
776         arch_set_irn_register(arch_env, xor, reg);
777
778         sched_add_before(node, produceval);
779         sched_add_before(node, xor);
780
781         be_peephole_before_exchange(node, xor);
782         exchange(node, xor);
783         sched_remove(node);
784         be_peephole_after_exchange(xor);
785 }
786
787 static INLINE int is_noreg(ia32_code_gen_t *cg, const ir_node *node)
788 {
789         return node == cg->noreg_gp;
790 }
791
792 static ir_node *create_immediate_from_int(ia32_code_gen_t *cg, int val)
793 {
794         ir_graph *irg         = current_ir_graph;
795         ir_node  *start_block = get_irg_start_block(irg);
796         ir_node  *immediate   = new_rd_ia32_Immediate(NULL, irg, start_block, NULL,
797                                                       0, val);
798         arch_set_irn_register(cg->arch_env, immediate, &ia32_gp_regs[REG_GP_NOREG]);
799
800         return immediate;
801 }
802
803 static ir_node *create_immediate_from_am(ia32_code_gen_t *cg,
804                                          const ir_node *node)
805 {
806         ir_graph  *irg     = get_irn_irg(node);
807         ir_node   *block   = get_nodes_block(node);
808         int        offset  = get_ia32_am_offs_int(node);
809         int        sc_sign = is_ia32_am_sc_sign(node);
810         ir_entity *entity  = get_ia32_am_sc(node);
811         ir_node   *res;
812
813         res = new_rd_ia32_Immediate(NULL, irg, block, entity, sc_sign, offset);
814         arch_set_irn_register(cg->arch_env, res, &ia32_gp_regs[REG_GP_NOREG]);
815         return res;
816 }
817
818 static int is_am_one(const ir_node *node)
819 {
820         int        offset  = get_ia32_am_offs_int(node);
821         ir_entity *entity  = get_ia32_am_sc(node);
822
823         return offset == 1 && entity == NULL;
824 }
825
826 static int is_am_minus_one(const ir_node *node)
827 {
828         int        offset  = get_ia32_am_offs_int(node);
829         ir_entity *entity  = get_ia32_am_sc(node);
830
831         return offset == -1 && entity == NULL;
832 }
833
834 /**
835  * Transforms a LEA into an Add or SHL if possible.
836  */
837 static void peephole_ia32_Lea(ir_node *node)
838 {
839         const arch_env_t      *arch_env = cg->arch_env;
840         ir_graph              *irg      = current_ir_graph;
841         ir_node               *base;
842         ir_node               *index;
843         const arch_register_t *base_reg;
844         const arch_register_t *index_reg;
845         const arch_register_t *out_reg;
846         int                    scale;
847         int                    has_immediates;
848         ir_node               *op1;
849         ir_node               *op2;
850         dbg_info              *dbgi;
851         ir_node               *block;
852         ir_node               *res;
853         ir_node               *noreg;
854         ir_node               *nomem;
855
856         assert(is_ia32_Lea(node));
857
858         /* we can only do this if are allowed to globber the flags */
859         if(be_peephole_get_value(CLASS_ia32_flags, REG_EFLAGS) != NULL)
860                 return;
861
862         base  = get_irn_n(node, n_ia32_Lea_base);
863         index = get_irn_n(node, n_ia32_Lea_index);
864
865         if(is_noreg(cg, base)) {
866                 base     = NULL;
867                 base_reg = NULL;
868         } else {
869                 base_reg = arch_get_irn_register(arch_env, base);
870         }
871         if(is_noreg(cg, index)) {
872                 index     = NULL;
873                 index_reg = NULL;
874         } else {
875                 index_reg = arch_get_irn_register(arch_env, index);
876         }
877
878         if(base == NULL && index == NULL) {
879                 /* we shouldn't construct these in the first place... */
880 #ifdef DEBUG_libfirm
881                 ir_fprintf(stderr, "Optimisation warning: found immediate only lea\n");
882 #endif
883                 return;
884         }
885
886         out_reg = arch_get_irn_register(arch_env, node);
887         scale   = get_ia32_am_scale(node);
888         assert(!is_ia32_need_stackent(node) || get_ia32_frame_ent(node) != NULL);
889         /* check if we have immediates values (frame entities should already be
890          * expressed in the offsets) */
891         if(get_ia32_am_offs_int(node) != 0 || get_ia32_am_sc(node) != NULL) {
892                 has_immediates = 1;
893         } else {
894                 has_immediates = 0;
895         }
896
897         /* we can transform leas where the out register is the same as either the
898          * base or index register back to an Add or Shl */
899         if(out_reg == base_reg) {
900                 if(index == NULL) {
901 #ifdef DEBUG_libfirm
902                         if(!has_immediates) {
903                                 ir_fprintf(stderr, "Optimisation warning: found lea which is "
904                                            "just a copy\n");
905                         }
906 #endif
907                         op1 = base;
908                         goto make_add_immediate;
909                 }
910                 if(scale == 0 && !has_immediates) {
911                         op1 = base;
912                         op2 = index;
913                         goto make_add;
914                 }
915                 /* can't create an add */
916                 return;
917         } else if(out_reg == index_reg) {
918                 if(base == NULL) {
919                         if(has_immediates && scale == 0) {
920                                 op1 = index;
921                                 goto make_add_immediate;
922                         } else if(!has_immediates && scale > 0) {
923                                 op1 = index;
924                                 op2 = create_immediate_from_int(cg, scale);
925                                 goto make_shl;
926                         } else if(!has_immediates) {
927 #ifdef DEBUG_libfirm
928                                 ir_fprintf(stderr, "Optimisation warning: found lea which is "
929                                            "just a copy\n");
930 #endif
931                         }
932                 } else if(scale == 0 && !has_immediates) {
933                         op1 = index;
934                         op2 = base;
935                         goto make_add;
936                 }
937                 /* can't create an add */
938                 return;
939         } else {
940                 /* can't create an add */
941                 return;
942         }
943
944 make_add_immediate:
945         if(ia32_cg_config.use_incdec) {
946                 if(is_am_one(node)) {
947                         dbgi  = get_irn_dbg_info(node);
948                         block = get_nodes_block(node);
949                         res   = new_rd_ia32_Inc(dbgi, irg, block, op1);
950                         arch_set_irn_register(arch_env, res, out_reg);
951                         goto exchange;
952                 }
953                 if(is_am_minus_one(node)) {
954                         dbgi  = get_irn_dbg_info(node);
955                         block = get_nodes_block(node);
956                         res   = new_rd_ia32_Dec(dbgi, irg, block, op1);
957                         arch_set_irn_register(arch_env, res, out_reg);
958                         goto exchange;
959                 }
960         }
961         op2 = create_immediate_from_am(cg, node);
962
963 make_add:
964         dbgi  = get_irn_dbg_info(node);
965         block = get_nodes_block(node);
966         noreg = ia32_new_NoReg_gp(cg);
967         nomem = new_NoMem();
968         res   = new_rd_ia32_Add(dbgi, irg, block, noreg, noreg, nomem, op1, op2);
969         arch_set_irn_register(arch_env, res, out_reg);
970         set_ia32_commutative(res);
971         goto exchange;
972
973 make_shl:
974         dbgi  = get_irn_dbg_info(node);
975         block = get_nodes_block(node);
976         noreg = ia32_new_NoReg_gp(cg);
977         nomem = new_NoMem();
978         res   = new_rd_ia32_Shl(dbgi, irg, block, op1, op2);
979         arch_set_irn_register(arch_env, res, out_reg);
980         goto exchange;
981
982 exchange:
983         SET_IA32_ORIG_NODE(res, ia32_get_old_node_name(cg, node));
984
985         /* add new ADD/SHL to schedule */
986         DBG_OPT_LEA2ADD(node, res);
987
988         /* exchange the Add and the LEA */
989         be_peephole_before_exchange(node, res);
990         sched_add_before(node, res);
991         sched_remove(node);
992         exchange(node, res);
993         be_peephole_after_exchange(res);
994 }
995
996 /**
997  * Split a Imul mem, imm into a Load mem and Imul reg, imm if possible.
998  */
999 static void peephole_ia32_Imul_split(ir_node *imul) {
1000         const ir_node         *right = get_irn_n(imul, n_ia32_IMul_right);
1001         const arch_register_t *reg;
1002         ir_node               *load, *block, *base, *index, *mem, *res, *noreg;
1003         dbg_info              *dbgi;
1004         ir_graph              *irg;
1005
1006         if (! is_ia32_Immediate(right) || get_ia32_op_type(imul) != ia32_AddrModeS) {
1007                 /* no memory, imm form ignore */
1008                 return;
1009         }
1010         /* we need a free register */
1011         reg = get_free_gp_reg();
1012         if (reg == NULL)
1013                 return;
1014
1015         /* fine, we can rebuild it */
1016         dbgi  = get_irn_dbg_info(imul);
1017         block = get_nodes_block(imul);
1018         irg   = current_ir_graph;
1019         base  = get_irn_n(imul, n_ia32_IMul_base);
1020         index = get_irn_n(imul, n_ia32_IMul_index);
1021         mem   = get_irn_n(imul, n_ia32_IMul_mem);
1022         load = new_rd_ia32_Load(dbgi, irg, block, base, index, mem);
1023
1024         /* copy all attributes */
1025         set_irn_pinned(load, get_irn_pinned(imul));
1026         set_ia32_op_type(load, ia32_AddrModeS);
1027         set_ia32_ls_mode(load, get_ia32_ls_mode(imul));
1028
1029         set_ia32_am_scale(load, get_ia32_am_scale(imul));
1030         set_ia32_am_sc(load, get_ia32_am_sc(imul));
1031         set_ia32_am_offs_int(load, get_ia32_am_offs_int(imul));
1032         if (is_ia32_am_sc_sign(imul))
1033                 set_ia32_am_sc_sign(load);
1034         if (is_ia32_use_frame(imul))
1035                 set_ia32_use_frame(load);
1036         set_ia32_frame_ent(load, get_ia32_frame_ent(imul));
1037
1038         sched_add_before(imul, load);
1039
1040         mem = new_rd_Proj(dbgi, irg, block, load, mode_M, pn_ia32_Load_M);
1041         res = new_rd_Proj(dbgi, irg, block, load, mode_Iu, pn_ia32_Load_res);
1042
1043         arch_set_irn_register(arch_env, res, reg);
1044         be_peephole_after_exchange(res);
1045
1046         set_irn_n(imul, n_ia32_IMul_mem, mem);
1047         noreg = get_irn_n(imul, n_ia32_IMul_left);
1048         set_irn_n(imul, n_ia32_IMul_left, res);
1049         set_ia32_op_type(imul, ia32_Normal);
1050 }
1051
1052 /**
1053  * Replace xorps r,r and xorpd r,r by pxor r,r
1054  */
1055 static void peephole_ia32_xZero(ir_node *xor) {
1056         set_irn_op(xor, op_ia32_xPzero);
1057 }
1058
1059 /**
1060  * Register a peephole optimisation function.
1061  */
1062 static void register_peephole_optimisation(ir_op *op, peephole_opt_func func) {
1063         assert(op->ops.generic == NULL);
1064         op->ops.generic = (op_func)func;
1065 }
1066
1067 /* Perform peephole-optimizations. */
1068 void ia32_peephole_optimization(ia32_code_gen_t *new_cg)
1069 {
1070         cg       = new_cg;
1071         arch_env = cg->arch_env;
1072
1073         /* register peephole optimisations */
1074         clear_irp_opcodes_generic_func();
1075         register_peephole_optimisation(op_ia32_Const, peephole_ia32_Const);
1076         register_peephole_optimisation(op_be_IncSP, peephole_be_IncSP);
1077         register_peephole_optimisation(op_ia32_Lea, peephole_ia32_Lea);
1078         register_peephole_optimisation(op_ia32_Test, peephole_ia32_Test);
1079         register_peephole_optimisation(op_ia32_Test8Bit, peephole_ia32_Test);
1080         register_peephole_optimisation(op_be_Return, peephole_ia32_Return);
1081         if (! ia32_cg_config.use_imul_mem_imm32)
1082                 register_peephole_optimisation(op_ia32_IMul, peephole_ia32_Imul_split);
1083         if (ia32_cg_config.use_pxor)
1084                 register_peephole_optimisation(op_ia32_xZero, peephole_ia32_xZero);
1085
1086         be_peephole_opt(cg->birg);
1087 }
1088
1089 /**
1090  * Removes node from schedule if it is not used anymore. If irn is a mode_T node
1091  * all it's Projs are removed as well.
1092  * @param irn  The irn to be removed from schedule
1093  */
1094 static INLINE void try_kill(ir_node *node)
1095 {
1096         if(get_irn_mode(node) == mode_T) {
1097                 const ir_edge_t *edge, *next;
1098                 foreach_out_edge_safe(node, edge, next) {
1099                         ir_node *proj = get_edge_src_irn(edge);
1100                         try_kill(proj);
1101                 }
1102         }
1103
1104         if(get_irn_n_edges(node) != 0)
1105                 return;
1106
1107         if (sched_is_scheduled(node)) {
1108                 sched_remove(node);
1109         }
1110
1111         be_kill_node(node);
1112 }
1113
1114 static void optimize_conv_store(ir_node *node)
1115 {
1116         ir_node *pred;
1117         ir_node *pred_proj;
1118         ir_mode *conv_mode;
1119         ir_mode *store_mode;
1120
1121         if(!is_ia32_Store(node) && !is_ia32_Store8Bit(node))
1122                 return;
1123
1124         assert(n_ia32_Store_val == n_ia32_Store8Bit_val);
1125         pred_proj = get_irn_n(node, n_ia32_Store_val);
1126         if(is_Proj(pred_proj)) {
1127                 pred = get_Proj_pred(pred_proj);
1128         } else {
1129                 pred = pred_proj;
1130         }
1131         if(!is_ia32_Conv_I2I(pred) && !is_ia32_Conv_I2I8Bit(pred))
1132                 return;
1133         if(get_ia32_op_type(pred) != ia32_Normal)
1134                 return;
1135
1136         /* the store only stores the lower bits, so we only need the conv
1137          * it it shrinks the mode */
1138         conv_mode  = get_ia32_ls_mode(pred);
1139         store_mode = get_ia32_ls_mode(node);
1140         if(get_mode_size_bits(conv_mode) < get_mode_size_bits(store_mode))
1141                 return;
1142
1143         set_irn_n(node, n_ia32_Store_val, get_irn_n(pred, n_ia32_Conv_I2I_val));
1144         if(get_irn_n_edges(pred_proj) == 0) {
1145                 be_kill_node(pred_proj);
1146                 if(pred != pred_proj)
1147                         be_kill_node(pred);
1148         }
1149 }
1150
1151 static void optimize_load_conv(ir_node *node)
1152 {
1153         ir_node *pred, *predpred;
1154         ir_mode *load_mode;
1155         ir_mode *conv_mode;
1156
1157         if (!is_ia32_Conv_I2I(node) && !is_ia32_Conv_I2I8Bit(node))
1158                 return;
1159
1160         assert(n_ia32_Conv_I2I_val == n_ia32_Conv_I2I8Bit_val);
1161         pred = get_irn_n(node, n_ia32_Conv_I2I_val);
1162         if(!is_Proj(pred))
1163                 return;
1164
1165         predpred = get_Proj_pred(pred);
1166         if(!is_ia32_Load(predpred))
1167                 return;
1168
1169         /* the load is sign extending the upper bits, so we only need the conv
1170          * if it shrinks the mode */
1171         load_mode = get_ia32_ls_mode(predpred);
1172         conv_mode = get_ia32_ls_mode(node);
1173         if(get_mode_size_bits(conv_mode) < get_mode_size_bits(load_mode))
1174                 return;
1175
1176         if(get_mode_sign(conv_mode) != get_mode_sign(load_mode)) {
1177                 /* change the load if it has only 1 user */
1178                 if(get_irn_n_edges(pred) == 1) {
1179                         ir_mode *newmode;
1180                         if(get_mode_sign(conv_mode)) {
1181                                 newmode = find_signed_mode(load_mode);
1182                         } else {
1183                                 newmode = find_unsigned_mode(load_mode);
1184                         }
1185                         assert(newmode != NULL);
1186                         set_ia32_ls_mode(predpred, newmode);
1187                 } else {
1188                         /* otherwise we have to keep the conv */
1189                         return;
1190                 }
1191         }
1192
1193         /* kill the conv */
1194         exchange(node, pred);
1195 }
1196
1197 static void optimize_conv_conv(ir_node *node)
1198 {
1199         ir_node *pred_proj, *pred, *result_conv;
1200         ir_mode *pred_mode, *conv_mode;
1201         int      conv_mode_bits;
1202         int      pred_mode_bits;
1203
1204         if (!is_ia32_Conv_I2I(node) && !is_ia32_Conv_I2I8Bit(node))
1205                 return;
1206
1207         assert(n_ia32_Conv_I2I_val == n_ia32_Conv_I2I8Bit_val);
1208         pred_proj = get_irn_n(node, n_ia32_Conv_I2I_val);
1209         if(is_Proj(pred_proj))
1210                 pred = get_Proj_pred(pred_proj);
1211         else
1212                 pred = pred_proj;
1213
1214         if(!is_ia32_Conv_I2I(pred) && !is_ia32_Conv_I2I8Bit(pred))
1215                 return;
1216
1217         /* we know that after a conv, the upper bits are sign extended
1218          * so we only need the 2nd conv if it shrinks the mode */
1219         conv_mode      = get_ia32_ls_mode(node);
1220         conv_mode_bits = get_mode_size_bits(conv_mode);
1221         pred_mode      = get_ia32_ls_mode(pred);
1222         pred_mode_bits = get_mode_size_bits(pred_mode);
1223
1224         if(conv_mode_bits == pred_mode_bits
1225                         && get_mode_sign(conv_mode) == get_mode_sign(pred_mode)) {
1226                 result_conv = pred_proj;
1227         } else if(conv_mode_bits <= pred_mode_bits) {
1228                 /* if 2nd conv is smaller then first conv, then we can always take the
1229                  * 2nd conv */
1230                 if(get_irn_n_edges(pred_proj) == 1) {
1231                         result_conv = pred_proj;
1232                         set_ia32_ls_mode(pred, conv_mode);
1233
1234                         /* Argh:We must change the opcode to 8bit AND copy the register constraints */
1235                         if (get_mode_size_bits(conv_mode) == 8) {
1236                                 set_irn_op(pred, op_ia32_Conv_I2I8Bit);
1237                                 set_ia32_in_req_all(pred, get_ia32_in_req_all(node));
1238                         }
1239                 } else {
1240                         /* we don't want to end up with 2 loads, so we better do nothing */
1241                         if(get_irn_mode(pred) == mode_T) {
1242                                 return;
1243                         }
1244
1245                         result_conv = exact_copy(pred);
1246                         set_ia32_ls_mode(result_conv, conv_mode);
1247
1248                         /* Argh:We must change the opcode to 8bit AND copy the register constraints */
1249                         if (get_mode_size_bits(conv_mode) == 8) {
1250                                 set_irn_op(result_conv, op_ia32_Conv_I2I8Bit);
1251                                 set_ia32_in_req_all(result_conv, get_ia32_in_req_all(node));
1252                         }
1253                 }
1254         } else {
1255                 /* if both convs have the same sign, then we can take the smaller one */
1256                 if(get_mode_sign(conv_mode) == get_mode_sign(pred_mode)) {
1257                         result_conv = pred_proj;
1258                 } else {
1259                         /* no optimisation possible if smaller conv is sign-extend */
1260                         if(mode_is_signed(pred_mode)) {
1261                                 return;
1262                         }
1263                         /* we can take the smaller conv if it is unsigned */
1264                         result_conv = pred_proj;
1265                 }
1266         }
1267
1268         /* kill the conv */
1269         exchange(node, result_conv);
1270
1271         if(get_irn_n_edges(pred_proj) == 0) {
1272                 be_kill_node(pred_proj);
1273                 if(pred != pred_proj)
1274                         be_kill_node(pred);
1275         }
1276         optimize_conv_conv(result_conv);
1277 }
1278
1279 static void optimize_node(ir_node *node, void *env)
1280 {
1281         (void) env;
1282
1283         optimize_load_conv(node);
1284         optimize_conv_store(node);
1285         optimize_conv_conv(node);
1286 }
1287
1288 /**
1289  * Performs conv and address mode optimization.
1290  */
1291 void ia32_optimize_graph(ia32_code_gen_t *cg)
1292 {
1293         irg_walk_blkwise_graph(cg->irg, NULL, optimize_node, cg);
1294
1295         if (cg->dump)
1296                 be_dump(cg->irg, "-opt", dump_ir_block_graph_sched);
1297 }
1298
1299 void ia32_init_optimize(void)
1300 {
1301         FIRM_DBG_REGISTER(dbg, "firm.be.ia32.optimize");
1302 }