Ранетка, могу сказать, что перевод от одного педагога к другому - всегда проблематичное мероприятие, травматичное для "неустроившего" педагога. Но раз уж он не устроил (можно сослаться на несовместимость характеров, а если совсем уж никак не занимается, то просто на отсутствие профессионализма и заинтересованности на уроках. Всяко бывает, в конце концов. Даже примеры есть...). И надо заранее обговорить всё это с "принимающей стороной", чтоб не оказаться ни с чем и ни с кем. Посоветуйтесь с деканом или зав.кафедрой, расскажите ситуацию, постарайтесь убедить их в необходимости принятия такого решения, они поймут и помогут, если совсем беда. Но для начала хорошо подумайте, кто виноват в том, что не смогли найти общий язык? 
p.s. на экзаменах (и не только) негативное отношение от педагога, от которого уйдёте, конечно, будет (в большей или меньшей степени), но это не значит, что это отразится на оценке. Тут уж всё будет зависеть от показанного результата (если только бывший педагог не зав. кафедрой;)), так что удачи в принятии решения!