Имхо, согласен с a-v, очень похоже на несовместимость... вообще, если есть возможность - сдай старую планку и возьми одной серии с новой... я всегда так делаю (хоть и теряешь деньги при "сдаче" старой планки, зато нервы 100% будут целые).
1) Как вариант, воткнуть одну планку, посмотреть в биосе тайминги, воткнуть вторую, тоже посмотреть тайминги, и выставить руками в биосе _наибольшие_ тайминги (возможно они разные, и мать криво определяет их, т.е. берет не большие, а какие нравятся). Не знаю поможет тебе или нет, но из личного опыта по разгону озухи... вот такие непонятные затыки как раз и случаются если "перебрал" немного, и вроде все работает, но подвисает.

2) В биосе, поставить режим работы памяти в single mode, наверняка твоя мамка пытается "напрячь" их в dual mode (дабы чуть быстрее работало). Не уверен, но может сработать...