fix r19298: offsets must be fixed for PopMem
[libfirm] / ir / be / beabi.c
index c6050e9..d8dafd9 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (C) 1995-2007 University of Karlsruhe.  All right reserved.
+ * Copyright (C) 1995-2008 University of Karlsruhe.  All right reserved.
  *
  * This file is part of libFirm.
  *
@@ -108,7 +108,7 @@ struct _be_abi_irg_t {
        arch_register_req_t sp_req;
        arch_register_req_t sp_cls_req;
 
-       DEBUG_ONLY(firm_dbg_module_t    *dbg;)          /**< The debugging module. */
+       DEBUG_ONLY(firm_dbg_module_t    *dbg;)  /**< The debugging module. */
 };
 
 static heights_t *ir_heights;
@@ -270,7 +270,8 @@ static void be_abi_call_free(be_abi_call_t *call)
      and the spills.
 */
 
-static int get_stack_entity_offset(be_stack_layout_t *frame, ir_entity *ent, int bias)
+static int get_stack_entity_offset(be_stack_layout_t *frame, ir_entity *ent,
+                                   int bias)
 {
        ir_type *t = get_entity_owner(ent);
        int ofs    = get_entity_offset(ent);
@@ -408,11 +409,11 @@ static INLINE int is_on_stack(be_abi_call_t *call, int pos)
 static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
 {
        ir_graph *irg              = env->birg->irg;
-       const arch_env_t *arch_env = env->birg->main_env->arch_env;
+       const arch_env_t *arch_env = &env->birg->main_env->arch_env;
        const arch_isa_t *isa      = arch_env->isa;
-       ir_type *mt                = get_Call_type(irn);
+       ir_type *call_tp           = get_Call_type(irn);
        ir_node *call_ptr          = get_Call_ptr(irn);
-       int n_params               = get_method_n_params(mt);
+       int n_params               = get_method_n_params(call_tp);
        ir_node *curr_mem          = get_Call_mem(irn);
        ir_node *bl                = get_nodes_block(irn);
        pset *results              = pset_new_ptr(8);
@@ -425,7 +426,8 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
        ir_mode *mach_mode         = sp->reg_class->mode;
        struct obstack *obst       = &env->obst;
        int no_alloc               = call->flags.bits.frame_is_setup_on_call;
-       int n_res                  = get_method_n_ress(mt);
+       int n_res                  = get_method_n_ress(call_tp);
+       int do_seq                 = call->flags.bits.store_args_sequential && !no_alloc;
 
        ir_node *res_proj  = NULL;
        int n_reg_params   = 0;
@@ -443,7 +445,7 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
        int i, n;
 
        /* Let the isa fill out the abi description for that call node. */
-       arch_isa_get_call_abi(isa, mt, call);
+       arch_isa_get_call_abi(isa, call_tp, call);
 
        /* Insert code to put the stack arguments on the stack. */
        assert(get_Call_n_params(irn) == n_params);
@@ -451,7 +453,7 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                be_abi_call_arg_t *arg = get_call_arg(call, 0, i);
                assert(arg);
                if (arg->on_stack) {
-                       int arg_size = get_type_size_bytes(get_method_param_type(mt, i));
+                       int arg_size = get_type_size_bytes(get_method_param_type(call_tp, i));
 
                        stack_size += round_up2(arg->space_before, arg->alignment);
                        stack_size += round_up2(arg_size, arg->alignment);
@@ -472,10 +474,22 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
        }
        reg_param_idxs = obstack_finish(obst);
 
+       /*
+        * If the stack is decreasing and we do not want to store sequentially,
+        * or someone else allocated the call frame
+        * we allocate as much space on the stack all parameters need, by
+        * moving the stack pointer along the stack's direction.
+        *
+        * Note: we also have to do this for stack_size == 0, because we may have
+        * to adjust stack alignment for the call.
+        */
+       if (stack_dir < 0 && !do_seq && !no_alloc) {
+               curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, stack_size, 1);
+       }
+
        /* If there are some parameters which shall be passed on the stack. */
        if (n_stack_params > 0) {
                int curr_ofs      = 0;
-               int do_seq        = call->flags.bits.store_args_sequential && !no_alloc;
 
                /*
                 * Reverse list of stack parameters if call arguments are from left to right.
@@ -491,16 +505,6 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                        }
                }
 
-               /*
-                * If the stack is decreasing and we do not want to store sequentially,
-                * or someone else allocated the call frame
-                * we allocate as much space on the stack all parameters need, by
-                * moving the stack pointer along the stack's direction.
-                */
-               if (stack_dir < 0 && !do_seq && !no_alloc) {
-                       curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, stack_size);
-               }
-
                curr_mem = get_Call_mem(irn);
                if (! do_seq) {
                        obstack_ptr_grow(obst, curr_mem);
@@ -512,7 +516,7 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                        ir_node *param         = get_Call_param(irn, p);
                        ir_node *addr          = curr_sp;
                        ir_node *mem           = NULL;
-                       ir_type *param_type    = get_method_param_type(mt, p);
+                       ir_type *param_type    = get_method_param_type(call_tp, p);
                        int param_size         = get_type_size_bytes(param_type) + arg->space_after;
 
                        /*
@@ -522,7 +526,7 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                         */
                        if (do_seq) {
                                curr_ofs = 0;
-                               addr = curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, param_size + arg->space_before);
+                               addr = curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, param_size + arg->space_before, 0);
                                add_irn_dep(curr_sp, curr_mem);
                        }
                        else {
@@ -684,7 +688,7 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                pn = i + pn_be_Call_first_res;
 
                if(proj == NULL) {
-                       ir_type *res_type = get_method_res_type(mt, i);
+                       ir_type *res_type = get_method_res_type(call_tp, i);
                        ir_mode *mode     = get_type_mode(res_type);
                        proj              = new_r_Proj(irg, bl, low_call, mode, pn);
                        res_projs[i]      = proj;
@@ -804,11 +808,10 @@ static ir_node *adjust_call(be_abi_irg_t *env, ir_node *irn, ir_node *curr_sp)
                        mem_proj = new_r_Proj(irg, bl, low_call, mode_M, pn_be_Call_M_regular);
                        keep_alive(mem_proj);
                }
-
-                /* Clean up the stack frame if we allocated it */
-               if (! no_alloc) {
-                       curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, -stack_size);
-               }
+       }
+       /* Clean up the stack frame or revert alignment fixes if we allocated it */
+       if (! no_alloc) {
+               curr_sp = be_new_IncSP(sp, irg, bl, curr_sp, -stack_size, 0);
        }
 
        be_abi_call_free(call);
@@ -835,10 +838,15 @@ static ir_node *adjust_alloc_size(unsigned stack_alignment, ir_node *size,
                                   ir_graph *irg, ir_node *block, dbg_info *dbg)
 {
        if (stack_alignment > 1) {
-               ir_mode *mode = get_irn_mode(size);
-               tarval  *tv   = new_tarval_from_long(stack_alignment-1, mode);
-               ir_node *mask = new_r_Const(irg, block, mode, tv);
+               ir_mode *mode;
+               tarval  *tv;
+               ir_node *mask;
+
+               assert(is_po2(stack_alignment));
 
+               mode = get_irn_mode(size);
+               tv   = new_tarval_from_long(stack_alignment-1, mode);
+               mask = new_r_Const(irg, block, mode, tv);
                size = new_rd_Add(dbg, irg, block, size, mask, mode);
 
                tv   = new_tarval_from_long(-(long)stack_alignment, mode);
@@ -917,9 +925,7 @@ static ir_node *adjust_alloc(be_abi_irg_t *env, ir_node *alloc, ir_node *curr_sp
           We cannot omit it. */
        env->call->flags.bits.try_omit_fp = 0;
 
-       /* FIXME: size must be here round up for the stack alignment, but
-          this must be transmitted from the backend. */
-       stack_alignment = 4;
+       stack_alignment = env->isa->stack_alignment;
        size            = adjust_alloc_size(stack_alignment, size, irg, block, dbg);
        new_alloc       = be_new_AddSP(env->isa->sp, irg, block, curr_sp, size);
        set_irn_dbg_info(new_alloc, dbg);
@@ -988,10 +994,8 @@ static ir_node *adjust_free(be_abi_irg_t *env, ir_node *free, ir_node *curr_sp)
                size = get_Free_size(free);
        }
 
-       /* FIXME: size must be here round up for the stack alignment, but
-          this must be transmitted from the backend. */
-       stack_alignment = 4;
-       size = adjust_alloc_size(stack_alignment, size, irg, block, dbg);
+       stack_alignment = env->isa->stack_alignment;
+       size            = adjust_alloc_size(stack_alignment, size, irg, block, dbg);
 
        /* The stack pointer will be modified in an unknown manner.
           We cannot omit it. */
@@ -1197,7 +1201,7 @@ static void process_calls(be_abi_irg_t *env)
 static ir_type *compute_arg_type(be_abi_irg_t *env, be_abi_call_t *call, ir_type *method_type, ir_entity ***param_map)
 {
        int dir  = env->call->flags.bits.left_to_right ? 1 : -1;
-       int inc  = env->birg->main_env->arch_env->isa->stack_dir * dir;
+       int inc  = env->birg->main_env->arch_env.isa->stack_dir * dir;
        int n    = get_method_n_params(method_type);
        int curr = inc > 0 ? 0 : n - 1;
        int ofs  = 0;
@@ -1310,7 +1314,7 @@ static reg_node_map_t *reg_map_to_arr(struct obstack *obst, pmap *reg_map)
        int i = 0;
        reg_node_map_t *res = obstack_alloc(obst, n * sizeof(res[0]));
 
-       pmap_foreach(reg_map, ent) {
+       foreach_pmap(reg_map, ent) {
                res[i].reg = ent->key;
                res[i].irn = ent->value;
                i++;
@@ -1358,13 +1362,13 @@ static ir_node *create_barrier(be_abi_irg_t *env, ir_node *bl, ir_node **mem, pm
                        be_set_constr_single_reg(irn, n, reg);
                be_set_constr_single_reg(irn, pos, reg);
                be_node_set_reg_class(irn, pos, reg->reg_class);
-               arch_set_irn_register(env->birg->main_env->arch_env, proj, reg);
+               arch_set_irn_register(&env->birg->main_env->arch_env, proj, reg);
 
                /* if the proj projects a ignore register or a node which is set to ignore, propagate this property. */
-               if(arch_register_type_is(reg, ignore) || arch_irn_is(env->birg->main_env->arch_env, in[n], ignore))
+               if(arch_register_type_is(reg, ignore) || arch_irn_is(&env->birg->main_env->arch_env, in[n], ignore))
                        flags |= arch_irn_flags_ignore;
 
-               if(arch_irn_is(env->birg->main_env->arch_env, in[n], modify_sp))
+               if(arch_irn_is(&env->birg->main_env->arch_env, in[n], modify_sp))
                        flags |= arch_irn_flags_modify_sp;
 
                be_node_set_flags(irn, pos, flags);
@@ -1392,8 +1396,8 @@ static ir_node *create_barrier(be_abi_irg_t *env, ir_node *bl, ir_node **mem, pm
 static ir_node *create_be_return(be_abi_irg_t *env, ir_node *irn, ir_node *bl,
                ir_node *mem, int n_res)
 {
-       be_abi_call_t *call        = env->call;
-       const arch_isa_t *isa = env->birg->main_env->arch_env->isa;
+       be_abi_call_t *call   = env->call;
+       const arch_isa_t *isa = env->birg->main_env->arch_env.isa;
        dbg_info *dbgi;
        pmap *reg_map  = pmap_create();
        ir_node *keep  = pmap_get(env->keep_map, bl);
@@ -1429,7 +1433,7 @@ static ir_node *create_be_return(be_abi_irg_t *env, ir_node *irn, ir_node *bl,
        }
 
        /* Add uses of the callee save registers. */
-       pmap_foreach(env->regs, ent) {
+       foreach_pmap(env->regs, ent) {
                const arch_register_t *reg = ent->key;
                if(arch_register_type_is(reg, callee_save) || arch_register_type_is(reg, ignore))
                        pmap_insert(reg_map, ent->key, ent->value);
@@ -1469,7 +1473,7 @@ static ir_node *create_be_return(be_abi_irg_t *env, ir_node *irn, ir_node *bl,
        }
 
        /* grow the rest of the stuff. */
-       pmap_foreach(reg_map, ent) {
+       foreach_pmap(reg_map, ent) {
                if(ent->value) {
                        in[n]     = ent->value;
                        regs[n++] = ent->key;
@@ -1629,6 +1633,10 @@ static void fix_address_of_parameter_access(be_abi_irg_t *env, ir_entity *value_
                /* move all entities to the frame type */
                frame_tp = get_irg_frame_type(irg);
                offset   = get_type_size_bytes(frame_tp);
+
+               /* we will add new entities: set the layout to undefined */
+               assert(get_type_state(frame_tp) == layout_fixed);
+               set_type_state(frame_tp, layout_undefined);
                for (ent = new_list; ent; ent = get_entity_link(ent)) {
                        ir_type  *tp   = get_entity_type(ent);
                        unsigned align = get_type_alignment_bytes(tp);
@@ -1643,6 +1651,8 @@ static void fix_address_of_parameter_access(be_abi_irg_t *env, ir_entity *value_
                        offset += get_type_size_bytes(tp);
                }
                set_type_size_bytes(frame_tp, offset);
+               /* fix the layout again */
+               set_type_state(frame_tp, layout_fixed);
        }
 }
 
@@ -1685,7 +1695,7 @@ static void fix_start_block(ir_node *block, void *env) {
 static void modify_irg(be_abi_irg_t *env)
 {
        be_abi_call_t *call       = env->call;
-       const arch_isa_t *isa     = env->birg->main_env->arch_env->isa;
+       const arch_isa_t *isa     = env->birg->main_env->arch_env.isa;
        const arch_register_t *sp = arch_isa_sp(isa);
        ir_graph *irg             = env->birg->irg;
        ir_node *bl               = get_irg_start_block(irg);
@@ -1826,7 +1836,7 @@ static void modify_irg(be_abi_irg_t *env)
                proj = new_r_Proj(irg, reg_params_bl, env->reg_params, mode, nr);
                pmap_insert(env->regs, (void *) reg, proj);
                be_set_constr_single_reg(env->reg_params, pos, reg);
-               arch_set_irn_register(env->birg->main_env->arch_env, proj, reg);
+               arch_set_irn_register(&env->birg->main_env->arch_env, proj, reg);
 
                /*
                 * If the register is an ignore register,
@@ -1857,13 +1867,13 @@ static void modify_irg(be_abi_irg_t *env)
        /* do the stack allocation BEFORE the barrier, or spill code
           might be added before it */
        env->init_sp = be_abi_reg_map_get(env->regs, sp);
-       env->init_sp = be_new_IncSP(sp, irg, bl, env->init_sp, BE_STACK_FRAME_SIZE_EXPAND);
+       env->init_sp = be_new_IncSP(sp, irg, bl, env->init_sp, BE_STACK_FRAME_SIZE_EXPAND, 0);
        be_abi_reg_map_set(env->regs, sp, env->init_sp);
 
        create_barrier(env, bl, &mem, env->regs, 0);
 
        env->init_sp = be_abi_reg_map_get(env->regs, sp);
-       arch_set_irn_register(env->birg->main_env->arch_env, env->init_sp, sp);
+       arch_set_irn_register(&env->birg->main_env->arch_env, env->init_sp, sp);
 
        frame_pointer = be_abi_reg_map_get(env->regs, fp_reg);
        set_irg_frame(irg, frame_pointer);
@@ -1937,7 +1947,9 @@ static void modify_irg(be_abi_irg_t *env)
                ir_node *irn = get_Block_cfgpred(end, i);
 
                if (is_Return(irn)) {
-                       ir_node *ret = create_be_return(env, irn, get_nodes_block(irn), get_Return_mem(irn), get_Return_n_ress(irn));
+                       ir_node *blk = get_nodes_block(irn);
+                       ir_node *mem = get_Return_mem(irn);
+                       ir_node *ret = create_be_return(env, irn, blk, mem, get_Return_n_ress(irn));
                        exchange(irn, ret);
                }
        }
@@ -1981,7 +1993,7 @@ void fix_call_state_inputs(be_abi_irg_t *env)
 
                arity = get_irn_arity(call);
 
-               /* the statereg inputs are the last n inputs of the calls */
+               /* the state reg inputs are the last n inputs of the calls */
                for(s = 0; s < n_states; ++s) {
                        int inp = arity - n_states + s;
                        const arch_register_t *reg = stateregs[s];
@@ -1992,6 +2004,115 @@ void fix_call_state_inputs(be_abi_irg_t *env)
        }
 }
 
+/**
+ * Create a trampoline entity for the given method.
+ */
+static ir_entity *create_trampoline(be_main_env_t *be, ir_entity *method)
+{
+       ir_type   *type   = get_entity_type(method);
+       ident     *old_id = get_entity_ld_ident(method);
+       ident     *id     = mangle3("L", old_id, "$stub");
+       ir_type   *parent = be->pic_trampolines_type;
+       ir_entity *ent    = new_entity(parent, old_id, type);
+       set_entity_ld_ident(ent, id);
+       set_entity_visibility(ent, visibility_local);
+       set_entity_variability(ent, variability_uninitialized);
+
+       return ent;
+}
+
+/**
+ * Returns the trampoline entity for the given method.
+ */
+static ir_entity *get_trampoline(be_main_env_t *env, ir_entity *method)
+{
+       ir_entity *result = pmap_get(env->ent_trampoline_map, method);
+       if (result == NULL) {
+               result = create_trampoline(env, method);
+               pmap_insert(env->ent_trampoline_map, method, result);
+       }
+
+       return result;
+}
+
+/**
+ * Returns non-zero if a given entity can be accessed using a relative address.
+ */
+static int can_address_relative(ir_entity *entity)
+{
+       return get_entity_variability(entity) == variability_initialized
+               || get_entity_visibility(entity) == visibility_local;
+}
+
+/** patches SymConsts to work in position independent code */
+static void fix_pic_symconsts(ir_node *node, void *data)
+{
+       ir_graph     *irg;
+       ir_node      *pic_base;
+       ir_node      *add;
+       ir_node      *block;
+       ir_node      *unknown;
+       ir_mode      *mode;
+       ir_node      *load;
+       ir_node      *load_res;
+       be_abi_irg_t *env = data;
+       int           arity, i;
+       be_main_env_t *be = env->birg->main_env;
+
+       arity = get_irn_arity(node);
+       for (i = 0; i < arity; ++i) {
+               ir_node   *pred = get_irn_n(node, i);
+               ir_entity *entity;
+               if (!is_SymConst(pred))
+                       continue;
+
+               entity = get_SymConst_entity(pred);
+               block  = get_nodes_block(pred);
+               irg    = get_irn_irg(pred);
+
+               /* calls can jump to relative addresses, so we can directly jump to
+                  the (relatively) known call address or the trampoline */
+               if (is_Call(node) && i == 1) {
+                       dbg_info  *dbgi;
+                       ir_entity *trampoline;
+                       ir_node   *trampoline_const;
+
+                       if (can_address_relative(entity))
+                               continue;
+
+                       dbgi             = get_irn_dbg_info(pred);
+                       trampoline       = get_trampoline(be, entity);
+                       trampoline_const = new_rd_SymConst_addr_ent(dbgi, irg, mode_P_code, trampoline, NULL);
+                       set_irn_n(node, i, trampoline_const);
+                       continue;
+               }
+
+               /* everything else is accessed relative to EIP */
+               mode     = get_irn_mode(pred);
+               unknown  = new_r_Unknown(irg, mode);
+               pic_base = arch_code_generator_get_pic_base(env->birg->cg);
+               add      = new_r_Add(irg, block, pic_base, pred, mode);
+
+               /* make sure the walker doesn't visit this add again */
+               mark_irn_visited(add);
+
+               /* all ok now for locally constructed stuff */
+               if (can_address_relative(entity)) {
+                       set_irn_n(node, i, add);
+                       continue;
+               }
+
+               /* we need an extra indirection for global data outside our current
+                  module. The loads are always safe and can therefore float
+                  and need no memory input */
+               load     = new_r_Load(irg, block, new_NoMem(), add, mode);
+               load_res = new_r_Proj(irg, block, load, mode, pn_Load_res);
+               set_irn_pinned(load, op_pin_state_floats);
+
+               set_irn_n(node, i, load_res);
+       }
+}
+
 be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
 {
        be_abi_irg_t *env  = xmalloc(sizeof(env[0]));
@@ -2007,7 +2128,7 @@ be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
 
        obstack_init(&env->obst);
 
-       env->isa         = birg->main_env->arch_env->isa;
+       env->isa         = birg->main_env->arch_env.isa;
        env->method_type = get_entity_type(get_irg_entity(irg));
        env->call        = be_abi_call_new(env->isa->sp->reg_class);
        arch_isa_get_call_abi(env->isa, env->method_type, env->call);
@@ -2036,6 +2157,10 @@ be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
 
        env->calls = NEW_ARR_F(ir_node*, 0);
 
+       if (birg->main_env->options->pic) {
+               irg_walk_graph(irg, fix_pic_symconsts, NULL, env);
+       }
+
        /* Lower all call nodes in the IRG. */
        process_calls(env);
 
@@ -2043,7 +2168,7 @@ be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
                Beware: init backend abi call object after processing calls,
                otherwise some information might be not yet available.
        */
-       env->cb = env->call->cb->init(env->call, birg->main_env->arch_env, irg);
+       env->cb = env->call->cb->init(env->call, &birg->main_env->arch_env, irg);
 
        /* Process the IRG */
        modify_irg(env);
@@ -2053,9 +2178,11 @@ be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
 
        /* We don't need the keep map anymore. */
        pmap_destroy(env->keep_map);
+       env->keep_map = NULL;
 
        /* calls array is not needed anymore */
        DEL_ARR_F(env->calls);
+       env->calls = NULL;
 
        /* reroute the stack origin of the calls to the true stack origin. */
        exchange(dummy, env->init_sp);
@@ -2063,7 +2190,7 @@ be_abi_irg_t *be_abi_introduce(be_irg_t *birg)
 
        /* Make some important node pointers survive the dead node elimination. */
        survive_dce_register_irn(env->dce_survivor, &env->init_sp);
-       pmap_foreach(env->regs, ent) {
+       foreach_pmap(env->regs, ent) {
                survive_dce_register_irn(env->dce_survivor, (ir_node **) &ent->value);
        }
 
@@ -2137,7 +2264,7 @@ void be_abi_fix_stack_nodes(be_abi_irg_t *env)
        arch_isa_t *isa;
 
        walker_env.sp_nodes = NEW_ARR_F(ir_node*, 0);
-       walker_env.arch_env = birg->main_env->arch_env;
+       walker_env.arch_env = &birg->main_env->arch_env;
        isa = walker_env.arch_env->isa;
 
        irg_walk_graph(birg->irg, collect_stack_nodes_walker, NULL, &walker_env);
@@ -2181,11 +2308,12 @@ void be_abi_fix_stack_nodes(be_abi_irg_t *env)
        DEL_ARR_F(walker_env.sp_nodes);
 }
 
-static int process_stack_bias(be_abi_irg_t *env, ir_node *bl, int bias)
+static int process_stack_bias(be_abi_irg_t *env, ir_node *bl, int real_bias)
 {
-       const arch_env_t *arch_env = env->birg->main_env->arch_env;
-       int omit_fp            = env->call->flags.bits.try_omit_fp;
-       ir_node *irn;
+       const arch_env_t *arch_env = &env->birg->main_env->arch_env;
+       int               omit_fp  = env->call->flags.bits.try_omit_fp;
+       ir_node          *irn;
+       int               wanted_bias = real_bias;
 
        sched_foreach(bl, irn) {
                int ofs;
@@ -2197,34 +2325,59 @@ static int process_stack_bias(be_abi_irg_t *env, ir_node *bl, int bias)
                 */
                ir_entity *ent = arch_get_frame_entity(arch_env, irn);
                if(ent) {
+                       int bias   = omit_fp ? real_bias : 0;
                        int offset = get_stack_entity_offset(env->frame, ent, bias);
                        arch_set_frame_offset(arch_env, irn, offset);
-                       DBG((env->dbg, LEVEL_2, "%F has offset %d (including bias %d)\n", ent, offset, bias));
+                       DBG((env->dbg, LEVEL_2, "%F has offset %d (including bias %d)\n",
+                            ent, offset, bias));
                }
 
-               if(omit_fp || be_is_IncSP(irn)) {
-                       /*
-                        * If the node modifies the stack pointer by a constant offset,
-                        * record that in the bias.
-                        */
-                       ofs = arch_get_sp_bias(arch_env, irn);
-
-                       if(be_is_IncSP(irn)) {
-                               if(ofs == BE_STACK_FRAME_SIZE_EXPAND) {
-                                       ofs = (int)get_type_size_bytes(get_irg_frame_type(env->birg->irg));
-                                       be_set_IncSP_offset(irn, ofs);
-                               } else if(ofs == BE_STACK_FRAME_SIZE_SHRINK) {
-                                       ofs = - (int)get_type_size_bytes(get_irg_frame_type(env->birg->irg));
-                                       be_set_IncSP_offset(irn, ofs);
+               /*
+                * If the node modifies the stack pointer by a constant offset,
+                * record that in the bias.
+                */
+               ofs = arch_get_sp_bias(arch_env, irn);
+
+               if(be_is_IncSP(irn)) {
+                       /* fill in real stack frame size */
+                       if(ofs == BE_STACK_FRAME_SIZE_EXPAND) {
+                               ir_type *frame_type = get_irg_frame_type(env->birg->irg);
+                               ofs = (int) get_type_size_bytes(frame_type);
+                               be_set_IncSP_offset(irn, ofs);
+                       } else if(ofs == BE_STACK_FRAME_SIZE_SHRINK) {
+                               ir_type *frame_type = get_irg_frame_type(env->birg->irg);
+                               ofs = - (int)get_type_size_bytes(frame_type);
+                               be_set_IncSP_offset(irn, ofs);
+                       } else {
+                               if (be_get_IncSP_align(irn)) {
+                                       /* patch IncSP to produce an aligned stack pointer */
+                                       ir_type *between_type = env->frame->between_type;
+                                       int      between_size = get_type_size_bytes(between_type);
+                                       int      alignment    = env->isa->stack_alignment;
+                                       int      delta        = (real_bias + ofs + between_size) % env->isa->stack_alignment;
+                                       assert(ofs >= 0);
+                                       if (delta > 0) {
+                                               be_set_IncSP_offset(irn, ofs + alignment - delta);
+                                               real_bias += alignment - delta;
+                                       }
+                               } else {
+                                       /* adjust so real_bias corresponds with wanted_bias */
+                                       int delta = wanted_bias - real_bias;
+                                       assert(delta <= 0);
+                                       if(delta != 0) {
+                                               be_set_IncSP_offset(irn, ofs + delta);
+                                               real_bias += delta;
+                                       }
                                }
                        }
-
-                       if(omit_fp)
-                               bias += ofs;
                }
+
+               real_bias   += ofs;
+               wanted_bias += ofs;
        }
 
-       return bias;
+       assert(real_bias == wanted_bias);
+       return real_bias;
 }
 
 /**
@@ -2232,8 +2385,9 @@ static int process_stack_bias(be_abi_irg_t *env, ir_node *bl, int bias)
  */
 struct bias_walk {
        be_abi_irg_t *env;     /**< The ABI irg environment. */
-       int start_block_bias;  /**< The bias at the end of the start block. */
-       ir_node *start_block;  /**< The start block of the current graph. */
+       int           start_block_bias;  /**< The bias at the end of the start block. */
+       int           between_size;
+       ir_node      *start_block;  /**< The start block of the current graph. */
 };
 
 /**
@@ -2257,6 +2411,7 @@ void be_abi_fix_stack_bias(be_abi_irg_t *env)
 
        /* Determine the stack bias at the end of the start block. */
        bw.start_block_bias = process_stack_bias(env, get_irg_start_block(irg), 0);
+       bw.between_size     = get_type_size_bytes(env->frame->between_type);
 
        /* fix the bias is all other blocks */
        bw.env = env;