in case SS is used: copy call floating point result from ST0 into SSE register
[libfirm] / ir / be / ia32 / ia32_optimize.c
index 3307735..c464538 100644 (file)
@@ -21,6 +21,7 @@
 #include "irgmod.h"
 #include "irgwalk.h"
 #include "height.h"
+#include "irbitset.h"
 
 #include "../be_t.h"
 #include "../beabi.h"
 #include "gen_ia32_regalloc_if.h"     /* the generated interface (register type and class defenitions) */
 #include "ia32_transform.h"
 #include "ia32_dbg_stat.h"
+#include "ia32_util.h"
+
+typedef struct _ia32_place_env_t {
+       ia32_code_gen_t *cg;
+       bitset_t        *visited;
+} ia32_place_env_t;
 
 typedef enum {
        IA32_AM_CAND_NONE  = 0,
@@ -219,30 +226,74 @@ static ir_node *gen_Const(ia32_transform_env_t *env) {
        return cnst;
 }
 
-
-
 /**
  * Transforms (all) Const's into ia32_Const and places them in the
  * block where they are used (or in the cfg-pred Block in case of Phi's).
  * Additionally all reference nodes are changed into mode_Is nodes.
+ * NOTE: irn must be a firm constant!
  */
-void ia32_place_consts_set_modes(ir_node *irn, void *env) {
-       ia32_code_gen_t      *cg = env;
-       ia32_transform_env_t  tenv;
-       ir_mode              *mode;
-       ir_node              *pred, *cnst;
-       int                   i;
-       opcode                opc;
+static void ia32_transform_const(ir_node *irn, void *env) {
+       ia32_code_gen_t      *cg   = env;
+       ir_node              *cnst = NULL;
+       ia32_transform_env_t tenv;
+
+       tenv.cg   = cg;
+       tenv.irg  = cg->irg;
+       tenv.mode = get_irn_mode(irn);
+       tenv.dbg  = get_irn_dbg_info(irn);
+       tenv.irn  = irn;
+       DEBUG_ONLY(tenv.mod = cg->mod;)
 
-       if (is_Block(irn))
+       /* place const either in the smallest dominator of all its users or the original block */
+       if (cg->opt & IA32_OPT_PLACECNST)
+               tenv.block = node_users_smallest_common_dominator(irn, 1);
+       else
+               tenv.block = get_nodes_block(irn);
+
+       switch (get_irn_opcode(irn)) {
+               case iro_Const:
+                       cnst = gen_Const(&tenv);
+                       break;
+               case iro_SymConst:
+                       cnst = gen_SymConst(&tenv);
+                       break;
+               default:
+                       assert(0 && "Wrong usage of ia32_transform_const!");
+       }
+
+       assert(cnst && "Could not create ia32 Const");
+
+       /* set the new ia32 const */
+       exchange(irn, cnst);
+}
+
+/**
+ * Transform all firm consts and assure, we visit each const only once.
+ */
+static void ia32_place_consts_walker(ir_node *irn, void *env) {
+       ia32_place_env_t *penv = env;
+       opcode           opc   = get_irn_opcode(irn);
+
+       /* transform only firm consts which are not already visited */
+       if ((opc != iro_Const && opc != iro_SymConst) || bitset_is_set(penv->visited, get_irn_idx(irn)))
                return;
 
-       mode = get_irn_mode(irn);
+       /* mark const visited */
+       bitset_set(penv->visited, get_irn_idx(irn));
+
+       ia32_transform_const(irn, penv->cg);
+}
 
-       /* transform all reference nodes into mode_Is nodes */
-       if (mode_is_reference(mode)) {
-               mode = mode_Is;
-               set_irn_mode(irn, mode);
+/**
+ * Replace reference modes with mode_Iu and preserve store value modes.
+ */
+static void ia32_set_modes(ir_node *irn, void *env) {
+       if (is_Block(irn))
+               return;
+
+       /* transform all reference nodes into mode_Iu nodes */
+       if (mode_is_reference(get_irn_mode(irn))) {
+               set_irn_mode(irn, mode_Iu);
        }
 
        /*
@@ -253,51 +304,33 @@ void ia32_place_consts_set_modes(ir_node *irn, void *env) {
        if (get_irn_opcode(irn) == iro_Store) {
                set_irn_link(irn, get_irn_mode(get_Store_value(irn)));
        }
+}
 
-       tenv.block    = get_nodes_block(irn);
-       tenv.cg       = cg;
-       tenv.irg      = cg->irg;
-       DEBUG_ONLY(tenv.mod = cg->mod;)
-
-       /* Loop over all predecessors and check for Sym/Const nodes */
-       for (i = get_irn_arity(irn) - 1; i >= 0; --i) {
-               pred      = get_irn_n(irn, i);
-               cnst      = NULL;
-               opc       = get_irn_opcode(pred);
-               tenv.irn  = pred;
-               tenv.mode = get_irn_mode(pred);
-               tenv.dbg  = get_irn_dbg_info(pred);
-
-               /* If it's a Phi, then we need to create the */
-               /* new Const in it's predecessor block       */
-               if (is_Phi(irn)) {
-                       tenv.block = get_Block_cfgpred_block(get_nodes_block(irn), i);
-               }
-
-               /* put the const into the block where the original const was */
-               if (! (cg->opt & IA32_OPT_PLACECNST)) {
-                       tenv.block = get_nodes_block(pred);
-               }
-
-               switch (opc) {
-                       case iro_Const:
-                               cnst = gen_Const(&tenv);
-                               break;
-                       case iro_SymConst:
-                               cnst = gen_SymConst(&tenv);
-                               break;
-                       default:
-                               break;
-               }
+/**
+ * Walks over the graph, transforms all firm consts into ia32 consts
+ * and places them into the "best" block.
+ * @param cg  The ia32 codegenerator object
+ */
+static void ia32_transform_all_firm_consts(ia32_code_gen_t *cg) {
+       ia32_place_env_t penv;
 
-               /* if we found a const, then set it */
-               if (cnst) {
-                       set_irn_n(irn, i, cnst);
-               }
-       }
+       penv.cg      = cg;
+       penv.visited = bitset_irg_malloc(cg->irg);
+       irg_walk_graph(cg->irg, NULL, ia32_place_consts_walker, &penv);
+       bitset_free(penv.visited);
 }
 
-
+/* Place all consts and change pointer arithmetics into unsigned integer arithmetics. */
+void ia32_pre_transform_phase(ia32_code_gen_t *cg) {
+       /*
+               We need to transform the consts twice:
+               - the psi condition tree transformer needs existing constants to be ia32 constants
+               - the psi condition tree transformer inserts new firm constants which need to be transformed
+       */
+       ia32_transform_all_firm_consts(cg);
+       irg_walk_graph(cg->irg, ia32_set_modes, ia32_transform_psi_cond_tree, cg);
+       ia32_transform_all_firm_consts(cg);
+}
 
 /********************************************************************************************************
  *  _____                _           _         ____        _   _           _          _   _
@@ -626,8 +659,8 @@ void ia32_peephole_optimization(ir_node *irn, void *env) {
                        ia32_optimize_CondJmp(irn, cg);
        }
        /* seems to be buggy when using Pushes */
-//     else if (be_is_IncSP(irn))
-//             ia32_optimize_IncSP(irn, cg);
+       else if (be_is_IncSP(irn))
+               ia32_optimize_IncSP(irn, cg);
        else if (is_ia32_Store(irn))
                ia32_create_Push(irn, cg);
 }
@@ -664,48 +697,6 @@ static int ia32_get_irn_n_edges(const ir_node *irn) {
        return cnt;
 }
 
-/**
- * Returns the first mode_M Proj connected to irn.
- */
-static ir_node *get_mem_proj(const ir_node *irn) {
-       const ir_edge_t *edge;
-       ir_node         *src;
-
-       assert(get_irn_mode(irn) == mode_T && "expected mode_T node");
-
-       foreach_out_edge(irn, edge) {
-               src = get_edge_src_irn(edge);
-
-               assert(is_Proj(src) && "Proj expected");
-
-               if (get_irn_mode(src) == mode_M)
-                       return src;
-       }
-
-       return NULL;
-}
-
-/**
- * Returns the first Proj with mode != mode_M connected to irn.
- */
-static ir_node *get_res_proj(const ir_node *irn) {
-       const ir_edge_t *edge;
-       ir_node         *src;
-
-       assert(get_irn_mode(irn) == mode_T && "expected mode_T node");
-
-       foreach_out_edge(irn, edge) {
-               src = get_edge_src_irn(edge);
-
-               assert(is_Proj(src) && "Proj expected");
-
-               if (get_irn_mode(src) != mode_M)
-                       return src;
-       }
-
-       return NULL;
-}
-
 /**
  * Determines if pred is a Proj and if is_op_func returns true for it's predecessor.
  *
@@ -798,7 +789,8 @@ static ia32_am_cand_t is_am_candidate(ia32_code_gen_t *cg, heights_t *h, const i
        ir_node *in, *load, *other, *left, *right;
        int      n, is_cand = 0, cand;
 
-       if (is_ia32_Ld(irn) || is_ia32_St(irn) || is_ia32_Store8Bit(irn) || is_ia32_vfild(irn) || is_ia32_vfist(irn))
+       if (is_ia32_Ld(irn) || is_ia32_St(irn) || is_ia32_Store8Bit(irn) || is_ia32_vfild(irn) || is_ia32_vfist(irn) ||
+               is_ia32_GetST0(irn) || is_ia32_SetST0(irn))
                return 0;
 
        left  = get_irn_n(irn, 2);
@@ -813,10 +805,16 @@ static ia32_am_cand_t is_am_candidate(ia32_code_gen_t *cg, heights_t *h, const i
                load  = get_Proj_pred(in);
                other = right;
 
+               /* 8bit Loads are not supported, they cannot be used with every register */
+               if (get_mode_size_bits(get_ia32_ls_mode(load)) < 16)
+                       is_cand = 0;
+
                /* If there is a data dependency of other irn from load: cannot use AM */
-               if (get_nodes_block(other) == block) {
+               if (is_cand && get_nodes_block(other) == block) {
                        other   = skip_Proj(other);
                        is_cand = heights_reachable_in_block(h, other, load) ? 0 : is_cand;
+                       /* this could happen in loops */
+                       is_cand = heights_reachable_in_block(h, load, irn) ? 0 : is_cand;
                }
        }
 
@@ -831,10 +829,16 @@ static ia32_am_cand_t is_am_candidate(ia32_code_gen_t *cg, heights_t *h, const i
                load  = get_Proj_pred(in);
                other = left;
 
+               /* 8bit Loads are not supported, they cannot be used with every register */
+               if (get_mode_size_bits(get_ia32_ls_mode(load)) < 16)
+                       is_cand = 0;
+
                /* If there is a data dependency of other irn from load: cannot use load */
-               if (get_nodes_block(other) == block) {
+               if (is_cand && get_nodes_block(other) == block) {
                        other   = skip_Proj(other);
                        is_cand = heights_reachable_in_block(h, other, load) ? 0 : is_cand;
+                       /* this could happen in loops */
+                       is_cand = heights_reachable_in_block(h, load, irn) ? 0 : is_cand;
                }
        }
 
@@ -905,8 +909,6 @@ typedef enum _ia32_take_lea_attr {
 static int do_new_lea(ir_node *irn, ir_node *base, ir_node *index, ir_node *lea,
                int have_am_sc, ia32_code_gen_t *cg)
 {
-       ir_node *lea_base = get_irn_n(lea, 0);
-       ir_node *lea_idx  = get_irn_n(lea, 1);
        entity  *irn_ent  = get_ia32_frame_ent(irn);
        entity  *lea_ent  = get_ia32_frame_ent(lea);
        int      ret_val  = 0;
@@ -996,6 +998,34 @@ static int do_new_lea(ir_node *irn, ir_node *base, ir_node *index, ir_node *lea,
        return ret_val;
 }
 
+/**
+ * Adds res before irn into schedule if irn was scheduled.
+ * @param irn  The schedule point
+ * @param res  The node to be scheduled
+ */
+static INLINE void try_add_to_sched(ir_node *irn, ir_node *res) {
+       if (sched_is_scheduled(irn))
+               sched_add_before(irn, res);
+}
+
+/**
+ * Removes irn from schedule if it was scheduled. If irn is a mode_T node
+ * all it's Projs are removed as well.
+ * @param irn  The irn to be removed from schedule
+ */
+static INLINE void try_remove_from_sched(ir_node *irn) {
+       if (sched_is_scheduled(irn)) {
+               if (get_irn_mode(irn) == mode_T) {
+                       const ir_edge_t *edge;
+                       foreach_out_edge(irn, edge) {
+                               ir_node *proj = get_edge_src_irn(edge);
+                               if (sched_is_scheduled(proj))
+                                       sched_remove(proj);
+                       }
+               }
+               sched_remove(irn);
+       }
+}
 
 /**
  * Folds Add or Sub to LEA if possible
@@ -1261,25 +1291,46 @@ static ir_node *fold_addr(ia32_code_gen_t *cg, ir_node *irn, ir_node *noreg) {
                DBG((mod, LEVEL_1, "\tLEA [%+F + %+F * %d + %s]\n", base, index, scale, get_ia32_am_offs(res)));
 
                /* we will exchange it, report here before the Proj is created */
-               if (shift && lea && lea_o)
+               if (shift && lea && lea_o) {
+                       try_remove_from_sched(shift);
+                       try_remove_from_sched(lea);
+                       try_remove_from_sched(lea_o);
                        DBG_OPT_LEA4(irn, lea_o, lea, shift, res);
-               else if (shift && lea)
+               }
+               else if (shift && lea) {
+                       try_remove_from_sched(shift);
+                       try_remove_from_sched(lea);
                        DBG_OPT_LEA3(irn, lea, shift, res);
-               else if (shift && lea_o)
+               }
+               else if (shift && lea_o) {
+                       try_remove_from_sched(shift);
+                       try_remove_from_sched(lea_o);
                        DBG_OPT_LEA3(irn, lea_o, shift, res);
-               else if (lea && lea_o)
+               }
+               else if (lea && lea_o) {
+                       try_remove_from_sched(lea);
+                       try_remove_from_sched(lea_o);
                        DBG_OPT_LEA3(irn, lea_o, lea, res);
-               else if (shift)
+               }
+               else if (shift) {
+                       try_remove_from_sched(shift);
                        DBG_OPT_LEA2(irn, shift, res);
-               else if (lea)
+               }
+               else if (lea) {
+                       try_remove_from_sched(lea);
                        DBG_OPT_LEA2(irn, lea, res);
-               else if (lea_o)
+               }
+               else if (lea_o) {
+                       try_remove_from_sched(lea_o);
                        DBG_OPT_LEA2(irn, lea_o, res);
+               }
                else
                        DBG_OPT_LEA1(irn, res);
 
                /* get the result Proj of the Add/Sub */
-               irn = get_res_proj(irn);
+               try_add_to_sched(irn, res);
+               try_remove_from_sched(irn);
+               irn = ia32_get_res_proj(irn);
 
                assert(irn && "Couldn't find result proj");
 
@@ -1323,6 +1374,8 @@ static void merge_loadstore_lea(ir_node *irn, ir_node *lea) {
        set_irn_n(irn, 0, get_irn_n(lea, 0));
        set_irn_n(irn, 1, get_irn_n(lea, 1));
 
+       try_remove_from_sched(lea);
+
        /* clear remat flag */
        set_ia32_flags(irn, get_ia32_flags(irn) & ~arch_irn_flags_rematerializable);
 
@@ -1501,7 +1554,7 @@ static void optimize_am(ir_node *irn, void *env) {
                        /* check further, otherwise we check for Store and remember the address, */
                        /* the Store points to. */
 
-                       succ = get_res_proj(irn);
+                       succ = ia32_get_res_proj(irn);
                        assert(succ && "Couldn't find result proj");
 
                        addr_b = NULL;
@@ -1574,13 +1627,15 @@ static void optimize_am(ir_node *irn, void *env) {
                                        }
 
                                        /* connect the memory Proj of the Store to the op */
-                                       mem_proj = get_mem_proj(store);
+                                       mem_proj = ia32_get_proj_for_mode(store, mode_M);
                                        set_Proj_pred(mem_proj, irn);
                                        set_Proj_proj(mem_proj, 1);
 
                                        /* clear remat flag */
                                        set_ia32_flags(irn, get_ia32_flags(irn) & ~arch_irn_flags_rematerializable);
 
+                                       try_remove_from_sched(load);
+                                       try_remove_from_sched(store);
                                        DBG_OPT_AM_D(load, store, irn);
 
                                        DB((mod, LEVEL_1, "merged with %+F and %+F into dest AM\n", load, store));
@@ -1666,12 +1721,14 @@ static void optimize_am(ir_node *irn, void *env) {
                        DBG_OPT_AM_S(right, irn);
 
                        /* If Load has a memory Proj, connect it to the op */
-                       mem_proj = get_mem_proj(right);
+                       mem_proj = ia32_get_proj_for_mode(right, mode_M);
                        if (mem_proj) {
                                set_Proj_pred(mem_proj, irn);
                                set_Proj_proj(mem_proj, 1);
                        }
 
+                       try_remove_from_sched(right);
+
                        DB((mod, LEVEL_1, "merged with %+F into source AM\n", right));
                }
                else {