Allow loading of stack parameters with a different mode than the parameter mode....
[libfirm] / ir / be / ia32 / bearch_ia32.c
index f26ccce..bb7e0c8 100644 (file)
@@ -66,6 +66,7 @@
 #include "../bemodule.h"
 #include "../begnuas.h"
 #include "../bestate.h"
+#include "../beflags.h"
 
 #include "bearch_ia32_t.h"
 
@@ -90,6 +91,24 @@ static set *cur_reg_set = NULL;
 ir_mode         *mode_fpcw       = NULL;
 ia32_code_gen_t *ia32_current_cg = NULL;
 
+/**
+ * The environment for the intrinsic mapping.
+ */
+static ia32_intrinsic_env_t intrinsic_env = {
+       NULL,    /* the isa */
+       NULL,    /* the irg, these entities belong to */
+       NULL,    /* entity for first div operand (move into FPU) */
+       NULL,    /* entity for second div operand (move into FPU) */
+       NULL,    /* entity for converts ll -> d */
+       NULL,    /* entity for converts d -> ll */
+       NULL,    /* entity for __divdi3 library call */
+       NULL,    /* entity for __moddi3 library call */
+       NULL,    /* entity for __udivdi3 library call */
+       NULL,    /* entity for __umoddi3 library call */
+       NULL,    /* bias value for conversion from float to unsigned 64 */
+};
+
+
 typedef ir_node *(*create_const_node_func) (dbg_info *dbg, ir_graph *irg, ir_node *block);
 
 static INLINE ir_node *create_const(ia32_code_gen_t *cg, ir_node **place,
@@ -275,6 +294,7 @@ static const arch_register_t *ia32_get_irn_reg(const void *self,
        if (is_ia32_irn(irn)) {
                const arch_register_t **slots;
                slots = get_ia32_slots(irn);
+               assert(pos < get_ia32_n_res(irn));
                reg   = slots[pos];
        } else {
                reg = ia32_get_firm_reg(irn, cur_reg_set);
@@ -423,7 +443,7 @@ static const arch_register_t *ia32_abi_prologue(void *self, ir_node **mem, pmap
                be_node_set_flags(get_Proj_pred(curr_bp), BE_OUT_POS(get_Proj_proj(curr_bp)), arch_irn_flags_ignore);
 
                /* push ebp */
-               push    = new_rd_ia32_Push(NULL, env->irg, bl, noreg, noreg, curr_bp, curr_sp, *mem);
+               push    = new_rd_ia32_Push(NULL, env->irg, bl, noreg, noreg, *mem, curr_sp, curr_bp);
                curr_sp = new_r_Proj(env->irg, bl, push, get_irn_mode(curr_sp), pn_ia32_Push_stack);
                *mem    = new_r_Proj(env->irg, bl, push, mode_M, pn_ia32_Push_M);
 
@@ -475,31 +495,37 @@ static void ia32_abi_epilogue(void *self, ir_node *bl, ir_node **mem, pmap *reg_
        } else {
                const ia32_isa_t *isa     = (ia32_isa_t *)env->isa;
                ia32_code_gen_t *cg = isa->cg;
-               ir_mode          *mode_bp = env->isa->bp->reg_class->mode;
+               ir_mode         *mode_bp = env->isa->bp->reg_class->mode;
+               ir_graph        *irg     = current_ir_graph;
 
-               /* gcc always emits a leave at the end of a routine */
-               if (1 || ARCH_AMD(isa->opt_arch)) {
+               if (ARCH_AMD(isa->opt_arch)) {
                        ir_node *leave;
 
                        /* leave */
-                       leave   = new_rd_ia32_Leave(NULL, env->irg, bl, curr_sp, curr_bp);
+                       leave   = new_rd_ia32_Leave(NULL, irg, bl, curr_sp, curr_bp);
                        set_ia32_flags(leave, arch_irn_flags_ignore);
-                       curr_bp = new_r_Proj(current_ir_graph, bl, leave, mode_bp, pn_ia32_Leave_frame);
-                       curr_sp = new_r_Proj(current_ir_graph, bl, leave, get_irn_mode(curr_sp), pn_ia32_Leave_stack);
+                       curr_bp = new_r_Proj(irg, bl, leave, mode_bp, pn_ia32_Leave_frame);
+                       curr_sp = new_r_Proj(irg, bl, leave, get_irn_mode(curr_sp), pn_ia32_Leave_stack);
                } else {
                        ir_node *noreg = ia32_new_NoReg_gp(cg);
                        ir_node *pop;
 
+                       /* the old SP is not needed anymore (kill the proj) */
+                       assert(is_Proj(curr_sp));
+                       be_kill_node(curr_sp);
+
                        /* copy ebp to esp */
-                       curr_sp = be_new_SetSP(env->isa->sp, env->irg, bl, curr_sp, curr_bp, *mem);
+                       curr_sp = be_new_Copy(&ia32_reg_classes[CLASS_ia32_gp], irg, bl, curr_bp);
+                       arch_set_irn_register(env->aenv, curr_sp, env->isa->sp);
+                       be_node_set_flags(curr_sp, BE_OUT_POS(0), arch_irn_flags_ignore);
 
                        /* pop ebp */
-                       pop     = new_rd_ia32_Pop(NULL, env->irg, bl, noreg, noreg, curr_sp, *mem);
+                       pop     = new_rd_ia32_Pop(NULL, env->irg, bl, noreg, noreg, *mem, curr_sp);
                        set_ia32_flags(pop, arch_irn_flags_ignore);
-                       curr_bp = new_r_Proj(current_ir_graph, bl, pop, mode_bp, pn_ia32_Pop_res);
-                       curr_sp = new_r_Proj(current_ir_graph, bl, pop, get_irn_mode(curr_sp), pn_ia32_Pop_stack);
+                       curr_bp = new_r_Proj(irg, bl, pop, mode_bp, pn_ia32_Pop_res);
+                       curr_sp = new_r_Proj(irg, bl, pop, get_irn_mode(curr_sp), pn_ia32_Pop_stack);
 
-                       *mem = new_r_Proj(current_ir_graph, bl, pop, mode_M, pn_ia32_Pop_M);
+                       *mem = new_r_Proj(irg, bl, pop, mode_M, pn_ia32_Pop_M);
                }
                arch_set_irn_register(env->aenv, curr_sp, env->isa->sp);
                arch_set_irn_register(env->aenv, curr_bp, env->isa->bp);
@@ -653,7 +679,7 @@ static arch_inverse_t *ia32_get_inverse(const void *self, const ir_node *irn, in
                return NULL;
 
        /* operand must always be a real operand (not base, index or mem) */
-       if (i != 2 && i != 3)
+       if (i != n_ia32_binary_left && i != n_ia32_binary_right)
                return NULL;
 
        /* we don't invert address mode operations */
@@ -684,7 +710,7 @@ static arch_inverse_t *ia32_get_inverse(const void *self, const ir_node *irn, in
                        if (get_ia32_immop_type(irn) == ia32_ImmConst) {
                                /* we have an add with a const here */
                                /* invers == add with negated const */
-                               inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, get_irn_n(irn, i), noreg, nomem);
+                               inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, nomem, get_irn_n(irn, i), noreg);
                                inverse->costs   += 1;
                                copy_ia32_Immop_attr(inverse->nodes[0], (ir_node *)irn);
                                set_ia32_Immop_tarval(inverse->nodes[0], tarval_neg(get_ia32_Immop_tarval(irn)));
@@ -693,13 +719,13 @@ static arch_inverse_t *ia32_get_inverse(const void *self, const ir_node *irn, in
                        else if (get_ia32_immop_type(irn) == ia32_ImmSymConst) {
                                /* we have an add with a symconst here */
                                /* invers == sub with const */
-                               inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, get_irn_n(irn, i), noreg, nomem);
+                               inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, nomem, get_irn_n(irn, i), noreg);
                                inverse->costs   += 2;
                                copy_ia32_Immop_attr(inverse->nodes[0], (ir_node *)irn);
                        }
                        else {
                                /* normal add: inverse == sub */
-                               inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, (ir_node*) irn, get_irn_n(irn, i ^ 1), nomem);
+                               inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, nomem, (ir_node*) irn, get_irn_n(irn, i ^ 1));
                                inverse->costs   += 2;
                        }
 #endif
@@ -709,17 +735,17 @@ static arch_inverse_t *ia32_get_inverse(const void *self, const ir_node *irn, in
                        if (get_ia32_immop_type(irn) != ia32_ImmNone) {
                                /* we have a sub with a const/symconst here */
                                /* invers == add with this const */
-                               inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, get_irn_n(irn, i), noreg, nomem);
+                               inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, nomem, get_irn_n(irn, i), noreg);
                                inverse->costs   += (get_ia32_immop_type(irn) == ia32_ImmSymConst) ? 5 : 1;
                                copy_ia32_Immop_attr(inverse->nodes[0], (ir_node *)irn);
                        }
                        else {
                                /* normal sub */
-                               if (i == 2) {
-                                       inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, (ir_node*) irn, get_irn_n(irn, 3), nomem);
+                               if (i == n_ia32_binary_left) {
+                                       inverse->nodes[0] = new_rd_ia32_Add(dbg, irg, block, noreg, noreg, nomem, (ir_node*) irn, get_irn_n(irn, 3));
                                }
                                else {
-                                       inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, get_irn_n(irn, 2), (ir_node*) irn, nomem);
+                                       inverse->nodes[0] = new_rd_ia32_Sub(dbg, irg, block, noreg, noreg, nomem, get_irn_n(irn, n_ia32_binary_left), (ir_node*) irn);
                                }
                                inverse->costs += 1;
                        }
@@ -729,13 +755,13 @@ static arch_inverse_t *ia32_get_inverse(const void *self, const ir_node *irn, in
 #if 0
                        if (get_ia32_immop_type(irn) != ia32_ImmNone) {
                                /* xor with const: inverse = xor */
-                               inverse->nodes[0] = new_rd_ia32_Xor(dbg, irg, block, noreg, noreg, get_irn_n(irn, i), noreg, nomem);
+                               inverse->nodes[0] = new_rd_ia32_Xor(dbg, irg, block, noreg, noreg, nomem, get_irn_n(irn, i), noreg);
                                inverse->costs   += (get_ia32_immop_type(irn) == ia32_ImmSymConst) ? 5 : 1;
                                copy_ia32_Immop_attr(inverse->nodes[0], (ir_node *)irn);
                        }
                        else {
                                /* normal xor */
-                               inverse->nodes[0] = new_rd_ia32_Xor(dbg, irg, block, noreg, noreg, (ir_node *) irn, get_irn_n(irn, i), nomem);
+                               inverse->nodes[0] = new_rd_ia32_Xor(dbg, irg, block, noreg, noreg, nomem, (ir_node *) irn, get_irn_n(irn, i));
                                inverse->costs   += 1;
                        }
 #endif
@@ -801,23 +827,23 @@ static int ia32_possible_memory_operand(const void *self, const ir_node *irn, un
        const ir_mode *spillmode = get_spill_mode(op);
        (void) self;
 
-       if (! is_ia32_irn(irn)                            ||  /* must be an ia32 irn */
-               get_irn_arity(irn) != 5                       ||  /* must be a binary operation */
-               get_ia32_op_type(irn) != ia32_Normal          ||  /* must not already be a addressmode irn */
-               ! (get_ia32_am_support(irn) & ia32_am_Source) ||  /* must be capable of source addressmode */
-               ! ia32_is_spillmode_compatible(mode, spillmode) ||
-               (i != 2 && i != 3)                            ||  /* a "real" operand position must be requested */
-               is_ia32_use_frame(irn))                           /* must not already use frame */
+       if (! is_ia32_irn(irn)                                  ||  /* must be an ia32 irn */
+               get_ia32_am_arity(irn) != ia32_am_binary              ||  /* must be a binary operation TODO is this necessary? */
+               get_ia32_op_type(irn) != ia32_Normal                  ||  /* must not already be a addressmode irn */
+               ! (get_ia32_am_support(irn) & ia32_am_Source)         ||  /* must be capable of source addressmode */
+               ! ia32_is_spillmode_compatible(mode, spillmode)       ||
+               (i != n_ia32_binary_left && i != n_ia32_binary_right) || /* a "real" operand position must be requested */
+               is_ia32_use_frame(irn))                                  /* must not already use frame */
                return 0;
 
-       if(i == 2) {
+       if (i == n_ia32_binary_left) {
                const arch_register_req_t *req;
                if(!is_ia32_commutative(irn))
                        return 0;
                /* we can't swap left/right for limited registers
                 * (As this (currently) breaks constraint handling copies)
                 */
-               req = get_ia32_in_req(irn, 2);
+               req = get_ia32_in_req(irn, n_ia32_binary_left);
                if(req->type & arch_register_req_type_limited) {
                        return 0;
                }
@@ -834,7 +860,7 @@ static void ia32_perform_memory_operand(const void *self, ir_node *irn,
 
        assert(ia32_possible_memory_operand(self, irn, i) && "Cannot perform memory operand change");
 
-       if (i == 2) {
+       if (i == n_ia32_binary_left) {
                ia32_swap_left_right(irn);
        }
 
@@ -843,12 +869,12 @@ static void ia32_perform_memory_operand(const void *self, ir_node *irn,
        set_ia32_use_frame(irn);
        set_ia32_need_stackent(irn);
 
-       set_irn_n(irn, 0, get_irg_frame(get_irn_irg(irn)));
-       set_irn_n(irn, 3, ia32_get_admissible_noreg(cg, irn, 3));
-       set_irn_n(irn, 4, spill);
+       set_irn_n(irn, n_ia32_base, get_irg_frame(get_irn_irg(irn)));
+       set_irn_n(irn, n_ia32_binary_right, ia32_get_admissible_noreg(cg, irn, n_ia32_binary_right));
+       set_irn_n(irn, n_ia32_mem, spill);
 
        /* immediates are only allowed on the right side */
-       if(i == 2 && is_ia32_Immediate(get_irn_n(irn, 2))) {
+       if (i == n_ia32_binary_left && is_ia32_Immediate(get_irn_n(irn, n_ia32_binary_left))) {
                ia32_swap_left_right(irn);
        }
 }
@@ -898,6 +924,14 @@ ia32_irn_ops_t ia32_irn_ops = {
  *                       |___/
  **************************************************/
 
+static void ia32_before_abi(void *self) {
+       ia32_code_gen_t *cg = self;
+
+       ir_lower_mode_b(cg->irg, mode_Iu, 0);
+       if(cg->dump)
+               be_dump(cg->irg, "-lower_modeb", dump_ir_block_graph_sched);
+}
+
 /**
  * Transforms the standard firm graph into
  * an ia32 firm graph
@@ -905,11 +939,19 @@ ia32_irn_ops_t ia32_irn_ops = {
 static void ia32_prepare_graph(void *self) {
        ia32_code_gen_t *cg = self;
 
-       ir_lower_mode_b(cg->irg, mode_Iu, 0);
        /* do local optimisations */
        optimize_graph_df(cg->irg);
+
+       /* TODO: we often have dead code reachable through out-edges here. So for
+        * now we rebuild edges (as we need correct user count for code selection)
+        */
+#if 1
+       edges_deactivate(cg->irg);
+       edges_activate(cg->irg);
+#endif
+
        if(cg->dump)
-               be_dump(cg->irg, "-lower_modeb", dump_ir_block_graph_sched);
+               be_dump(cg->irg, "-pre_transform", dump_ir_block_graph_sched);
 
        /* transform nodes into assembler instructions */
        ia32_transform_graph(cg);
@@ -940,16 +982,123 @@ static void ia32_before_sched(void *self) {
        (void) self;
 }
 
+static void turn_back_am(ir_node *node)
+{
+       ir_graph *irg   = current_ir_graph;
+       dbg_info *dbgi  = get_irn_dbg_info(node);
+       ir_node  *block = get_nodes_block(node);
+       ir_node  *base  = get_irn_n(node, n_ia32_base);
+       ir_node  *index = get_irn_n(node, n_ia32_index);
+       ir_node  *mem   = get_irn_n(node, n_ia32_mem);
+       ir_node  *noreg = ia32_new_NoReg_gp(ia32_current_cg);
+       ir_node  *load;
+       ir_node  *load_res;
+       ir_node  *mem_proj;
+       const ir_edge_t *edge;
+
+       load     = new_rd_ia32_Load(dbgi, irg, block, base, index, mem);
+       load_res = new_rd_Proj(dbgi, irg, block, load, mode_Iu, pn_ia32_Load_res);
+
+       ia32_copy_am_attrs(load, node);
+       set_irn_n(node, n_ia32_mem, new_NoMem());
+
+       switch (get_ia32_am_arity(node)) {
+               case ia32_am_unary:
+                       set_irn_n(node, n_ia32_unary_op, load_res);
+                       break;
+
+               case ia32_am_binary:
+                       if (is_ia32_Immediate(get_irn_n(node, n_ia32_Cmp_right))) {
+                               assert(is_ia32_Cmp(node)  || is_ia32_Cmp8Bit(node) ||
+                                      is_ia32_Test(node) || is_ia32_Test8Bit(node));
+                               set_irn_n(node, n_ia32_binary_left, load_res);
+                       } else {
+                               set_irn_n(node, n_ia32_binary_right, load_res);
+                       }
+                       break;
+
+               case ia32_am_ternary:
+                       set_irn_n(node, n_ia32_binary_right, load_res);
+                       break;
+
+               default: break;
+       }
+       set_irn_n(node, n_ia32_base, noreg);
+       set_irn_n(node, n_ia32_index, noreg);
+       set_ia32_am_offs_int(node, 0);
+       set_ia32_am_sc(node, NULL);
+       set_ia32_am_scale(node, 0);
+       clear_ia32_am_sc_sign(node);
+
+       /* rewire mem-proj */
+       if(get_irn_mode(node) == mode_T) {
+               mem_proj = NULL;
+               foreach_out_edge(node, edge) {
+                       ir_node *out = get_edge_src_irn(edge);
+                       if(get_Proj_proj(out) == pn_ia32_mem) {
+                               mem_proj = out;
+                               break;
+                       }
+               }
+
+               if(mem_proj != NULL) {
+                       set_Proj_pred(mem_proj, load);
+                       set_Proj_proj(mem_proj, pn_ia32_Load_M);
+               }
+       }
+
+       set_ia32_op_type(node, ia32_Normal);
+       if(sched_is_scheduled(node))
+               sched_add_before(node, load);
+}
+
+static ir_node *flags_remat(ir_node *node, ir_node *after)
+{
+       /* we should turn back source address mode when rematerializing nodes */
+       ia32_op_type_t  type = get_ia32_op_type(node);
+       ir_node        *block;
+       ir_node        *copy;
+
+       if(is_Block(after)) {
+               block = after;
+       } else {
+               block = get_nodes_block(after);
+       }
+
+       switch (type) {
+               case ia32_AddrModeS: turn_back_am(node); break;
+
+               case ia32_AddrModeD:
+                       /* TODO implement this later... */
+                       panic("found DestAM with flag user %+F this should not happen", node);
+                       break;
+
+               default: assert(type == ia32_Normal); break;
+       }
+
+       copy = exact_copy(node);
+       set_nodes_block(copy, block);
+       sched_add_after(after, copy);
+
+       return copy;
+}
+
 /**
  * Called before the register allocator.
  * Calculate a block schedule here. We need it for the x87
  * simulator and the emitter.
  */
 static void ia32_before_ra(void *self) {
-       ia32_code_gen_t *cg              = self;
+       ia32_code_gen_t *cg = self;
 
        /* setup fpu rounding modes */
        ia32_setup_fpu_mode(cg);
+
+       /* fixup flags */
+       be_sched_fix_flags(cg->birg, &ia32_reg_classes[CLASS_ia32_flags],
+                          &flags_remat);
+
+       ia32_add_missing_keeps(cg);
 }
 
 
@@ -1045,16 +1194,16 @@ static void transform_to_Store(ia32_code_gen_t *cg, ir_node *node) {
 
        if (mode_is_float(mode)) {
                if (USE_SSE2(cg))
-                       store = new_rd_ia32_xStore(dbg, irg, block, ptr, noreg, val, nomem);
+                       store = new_rd_ia32_xStore(dbg, irg, block, ptr, noreg, nomem, val);
                else
-                       store = new_rd_ia32_vfst(dbg, irg, block, ptr, noreg, val, nomem, mode);
+                       store = new_rd_ia32_vfst(dbg, irg, block, ptr, noreg, nomem, val, mode);
        } else if (get_mode_size_bits(mode) == 128) {
                // Spill 128 bit SSE registers
-               store = new_rd_ia32_xxStore(dbg, irg, block, ptr, noreg, val, nomem);
+               store = new_rd_ia32_xxStore(dbg, irg, block, ptr, noreg, nomem, val);
        } else if (get_mode_size_bits(mode) == 8) {
-               store = new_rd_ia32_Store8Bit(dbg, irg, block, ptr, noreg, val, nomem);
+               store = new_rd_ia32_Store8Bit(dbg, irg, block, ptr, noreg, nomem, val);
        } else {
-               store = new_rd_ia32_Store(dbg, irg, block, ptr, noreg, val, nomem);
+               store = new_rd_ia32_Store(dbg, irg, block, ptr, noreg, nomem, val);
        }
 
        set_ia32_op_type(store, ia32_AddrModeD);
@@ -1079,7 +1228,7 @@ static ir_node *create_push(ia32_code_gen_t *cg, ir_node *node, ir_node *schedpo
        ir_node *noreg = ia32_new_NoReg_gp(cg);
        ir_node *frame = get_irg_frame(irg);
 
-       ir_node *push = new_rd_ia32_Push(dbg, irg, block, frame, noreg, noreg, sp, mem);
+       ir_node *push = new_rd_ia32_Push(dbg, irg, block, frame, noreg, mem, sp, noreg);
 
        set_ia32_frame_ent(push, ent);
        set_ia32_use_frame(push);
@@ -1097,7 +1246,7 @@ static ir_node *create_pop(ia32_code_gen_t *cg, ir_node *node, ir_node *schedpoi
        ir_node *noreg = ia32_new_NoReg_gp(cg);
        ir_node *frame = get_irg_frame(irg);
 
-       ir_node *pop = new_rd_ia32_Pop(dbg, irg, block, frame, noreg, sp, new_NoMem());
+       ir_node *pop = new_rd_ia32_Pop(dbg, irg, block, frame, noreg, new_NoMem(), sp);
 
        set_ia32_frame_ent(pop, ent);
        set_ia32_use_frame(pop);
@@ -1319,12 +1468,12 @@ static void ia32_finish(void *self) {
                x87_simulate_graph(cg->arch_env, cg->birg);
        }
 
+       /* do peephole optimisations */
+       ia32_peephole_optimization(cg);
+
        /* create block schedule, this also removes empty blocks which might
         * produce critical edges */
        cg->blk_sched = be_create_block_schedule(irg, cg->birg->exec_freq);
-
-       /* do peephole optimisations */
-       ia32_peephole_optimization(irg, cg);
 }
 
 /**
@@ -1354,7 +1503,7 @@ static void *ia32_cg_init(be_irg_t *birg);
 
 static const arch_code_generator_if_t ia32_code_gen_if = {
        ia32_cg_init,
-       NULL,                /* before abi introduce hook */
+       ia32_before_abi,     /* before abi introduce hook */
        ia32_prepare_graph,
        NULL,                /* spill */
        ia32_before_sched,   /* before scheduling hook */
@@ -1459,7 +1608,6 @@ static ia32_isa_t ia32_isa_template = {
                7,                       /* costs for a spill instruction */
                5,                       /* costs for a reload instruction */
        },
-       NULL_EMITTER,                /* emitter environment */
        NULL,                    /* 16bit register names */
        NULL,                    /* 8bit register names */
        NULL,                    /* 8bit register names high */
@@ -1467,11 +1615,7 @@ static ia32_isa_t ia32_isa_template = {
        NULL,                    /* tv_ents */
        (0                 |
        IA32_OPT_INCDEC    |     /* optimize add 1, sub 1 into inc/dec               default: on */
-       IA32_OPT_DOAM      |     /* optimize address mode                            default: on */
-       IA32_OPT_LEA       |     /* optimize for LEAs                                default: on */
-       IA32_OPT_PLACECNST |     /* place constants immediately before instructions, default: on */
-       IA32_OPT_IMMOPS    |     /* operations can use immediates,                   default: on */
-       IA32_OPT_PUSHARGS),      /* create pushs for function argument passing,      default: on */
+       IA32_OPT_CC),
        arch_pentium_4,          /* instruction architecture */
        arch_pentium_4,          /* optimize for architecture */
        fp_x87,                  /* floating point mode */
@@ -1519,7 +1663,7 @@ static void *ia32_init(FILE *file_handle) {
                isa->opt &= ~IA32_OPT_INCDEC;
        }
 
-       be_emit_init_env(&isa->emit, file_handle);
+       be_emit_init(file_handle);
        isa->regs_16bit     = pmap_create();
        isa->regs_8bit      = pmap_create();
        isa->regs_8bit_high = pmap_create();
@@ -1536,12 +1680,14 @@ static void *ia32_init(FILE *file_handle) {
        obstack_init(isa->name_obst);
 #endif /* NDEBUG */
 
+       /* enter the ISA object into the intrinsic environment */
+       intrinsic_env.isa = isa;
        ia32_handle_intrinsics();
 
        /* needed for the debug support */
-       be_gas_emit_switch_section(&isa->emit, GAS_SECTION_TEXT);
-       be_emit_cstring(&isa->emit, ".Ltext0:\n");
-       be_emit_write_line(&isa->emit);
+       be_gas_emit_switch_section(GAS_SECTION_TEXT);
+       be_emit_cstring(".Ltext0:\n");
+       be_emit_write_line();
 
        /* we mark referenced global entities, so we can only emit those which
         * are actually referenced. (Note: you mustn't use the type visited flag
@@ -1561,7 +1707,7 @@ static void ia32_done(void *self) {
        ia32_isa_t *isa = self;
 
        /* emit now all global declarations */
-       be_gas_emit_decls(&isa->emit, isa->arch_isa.main_env, 1);
+       be_gas_emit_decls(isa->arch_isa.main_env, 1);
 
        pmap_destroy(isa->regs_16bit);
        pmap_destroy(isa->regs_8bit);
@@ -1573,7 +1719,7 @@ static void ia32_done(void *self) {
        obstack_free(isa->name_obst, NULL);
 #endif /* NDEBUG */
 
-       be_emit_destroy_env(&isa->emit);
+       be_emit_exit();
 
        free(self);
 }
@@ -1587,7 +1733,7 @@ static void ia32_done(void *self) {
  *  - the virtual floating point registers
  *  - the SSE vector register set
  */
-static int ia32_get_n_reg_class(const void *self) {
+static unsigned ia32_get_n_reg_class(const void *self) {
        (void) self;
        return N_CLASSES;
 }
@@ -1595,10 +1741,11 @@ static int ia32_get_n_reg_class(const void *self) {
 /**
  * Return the register class for index i.
  */
-static const arch_register_class_t *ia32_get_reg_class(const void *self, int i)
+static const arch_register_class_t *ia32_get_reg_class(const void *self,
+                                                       unsigned i)
 {
        (void) self;
-       assert(i >= 0 && i < N_CLASSES);
+       assert(i < N_CLASSES);
        return &ia32_reg_classes[i];
 }
 
@@ -1631,11 +1778,9 @@ static void ia32_get_call_abi(const void *self, ir_type *method_type, be_abi_cal
        int       n, i, regnum;
        be_abi_call_flags_t call_flags = be_abi_call_get_flags(abi);
 
-       unsigned use_push = !IS_P6_ARCH(isa->opt_arch);
-
        /* set abi flags for calls */
        call_flags.bits.left_to_right         = 0;  /* always last arg first on stack */
-       call_flags.bits.store_args_sequential = use_push;
+       call_flags.bits.store_args_sequential = 0;
        /* call_flags.bits.try_omit_fp                 not changed: can handle both settings */
        call_flags.bits.fp_free               = 0;  /* the frame pointer is fixed in IA32 */
        call_flags.bits.call_has_imm          = 1;  /* IA32 calls can have immediate address */
@@ -1648,14 +1793,22 @@ static void ia32_get_call_abi(const void *self, ir_type *method_type, be_abi_cal
                cc = cc_cdecl_set;
        } else {
                cc = get_method_calling_convention(method_type);
-               if (get_method_additional_properties(method_type) & mtp_property_private) {
+               if (get_method_additional_properties(method_type) & mtp_property_private
+                               && (ia32_isa_template.opt & IA32_OPT_CC)) {
                        /* set the calling conventions to register parameter */
                        cc = (cc & ~cc_bits) | cc_reg_param;
                }
        }
+
+       /* we have to pop the shadow parameter ourself for compound calls */
+       if( (get_method_calling_convention(method_type) & cc_compound_ret)
+                       && !(cc & cc_reg_param)) {
+               be_abi_call_set_pop(abi, get_mode_size_bytes(mode_P_data));
+       }
+
        n = get_method_n_params(method_type);
        for (i = regnum = 0; i < n; i++) {
-               const ir_mode         *mode;
+               ir_mode               *mode;
                const arch_register_t *reg = NULL;
 
                tp   = get_method_param_type(method_type, i);
@@ -1667,7 +1820,11 @@ static void ia32_get_call_abi(const void *self, ir_type *method_type, be_abi_cal
                        be_abi_call_param_reg(abi, i, reg);
                        ++regnum;
                } else {
-                       be_abi_call_param_stack(abi, i, 4, 0, 0);
+                       /* Micro optimisation: if the mode is shorter than 4 bytes, load 4 bytes.
+                        * movl has a shorter opcode than mov[sz][bw]l */
+                       ir_mode *load_mode = mode;
+                       if (mode != NULL && get_mode_size_bytes(mode) < 4) load_mode = mode_Iu;
+                       be_abi_call_param_stack(abi, i, load_mode, 4, 0, 0);
                }
        }
 
@@ -1881,17 +2038,16 @@ static int ia32_is_psi_allowed(ir_node *sel, ir_node *phi_list, int i, int j)
        (void)i;
        (void)j;
 
-#if 1
+       /* we can't handle psis with 64bit compares yet */
        if(is_Proj(sel)) {
                ir_node *pred = get_Proj_pred(sel);
                if(is_Cmp(pred)) {
                        ir_node *left     = get_Cmp_left(pred);
                        ir_mode *cmp_mode = get_irn_mode(left);
-                       if(mode_is_float(cmp_mode))
+                       if(!mode_is_float(cmp_mode) && get_mode_size_bits(cmp_mode) > 32)
                                return 0;
                }
        }
-#endif
 
        /* check the Phi nodes */
        for (phi = phi_list; phi; phi = get_irn_link(phi)) {
@@ -2025,6 +2181,7 @@ static void set_arch_costs(enum cpu_support arch) {
                arch_costs = &k6_cost;
                break;
        case arch_athlon:
+       case arch_athlon_xp:
        case arch_athlon_64:
        case arch_opteron:
                arch_costs = &athlon_cost;
@@ -2070,18 +2227,6 @@ static int ia32_evaluate_insn(insn_kind kind, tarval *tv) {
        }
 }
 
-static ia32_intrinsic_env_t intrinsic_env = {
-       NULL,    /**< the irg, these entities belong to */
-       NULL,    /**< entity for first div operand (move into FPU) */
-       NULL,    /**< entity for second div operand (move into FPU) */
-       NULL,    /**< entity for converts ll -> d */
-       NULL,    /**< entity for converts d -> ll */
-       NULL,    /**< entity for __divdi3 library call */
-       NULL,    /**< entity for __moddi3 library call */
-       NULL,    /**< entity for __udivdi3 library call */
-       NULL,    /**< entity for __umoddi3 library call */
-};
-
 /**
  * Returns the libFirm configuration parameter for this backend.
  */
@@ -2135,6 +2280,7 @@ static const lc_opt_enum_int_items_t arch_items[] = {
        { "core",       arch_core, },
        { "k6",         arch_k6, },
        { "athlon",     arch_athlon, },
+       { "athlon-xp",  arch_athlon_xp, },
        { "athlon64",   arch_athlon_64, },
        { "opteron",    arch_opteron, },
        { "generic",    arch_generic, },
@@ -2173,11 +2319,7 @@ static const lc_opt_table_entry_t ia32_options[] = {
        LC_OPT_ENT_ENUM_INT("arch",      "select the instruction architecture", &arch_var),
        LC_OPT_ENT_ENUM_INT("opt",       "optimize for instruction architecture", &opt_arch_var),
        LC_OPT_ENT_ENUM_INT("fpunit",    "select the floating point unit", &fp_unit_var),
-       LC_OPT_ENT_NEGBIT("noaddrmode",  "do not use address mode", &ia32_isa_template.opt, IA32_OPT_DOAM),
-       LC_OPT_ENT_NEGBIT("nolea",       "do not optimize for LEAs", &ia32_isa_template.opt, IA32_OPT_LEA),
-       LC_OPT_ENT_NEGBIT("noplacecnst", "do not place constants", &ia32_isa_template.opt, IA32_OPT_PLACECNST),
-       LC_OPT_ENT_NEGBIT("noimmop",     "no operations with immediates", &ia32_isa_template.opt, IA32_OPT_IMMOPS),
-       LC_OPT_ENT_NEGBIT("nopushargs",  "do not create pushs for function arguments", &ia32_isa_template.opt, IA32_OPT_PUSHARGS),
+       LC_OPT_ENT_NEGBIT("nooptcc",  "do not optimize calling convention", &ia32_isa_template.opt, IA32_OPT_CC),
        LC_OPT_ENT_ENUM_INT("gasmode",   "set the GAS compatibility mode", &gas_var),
        LC_OPT_LAST
 };