Хочу разменять квартиру, но все против

Здравствуйте! У меня вопрос насчет размена квартиры. В квартире прописаны трое: я, мама и бабушка. Квартира приватизирована на меня. В квартире живет еще мой муж и отчим. Обстановка дома напряженная, потому что мама и отчим пьют. В свое время мать была лишена родительских прав. По документам маме оформлена большая часть квартиры. Хочу разменяться, но все против. Бабушка не хочет, ее все устраивает и она даже хочет с ними жить, а мы в такой обстановке не можем, нам и детей хочется. Дома все время накурено, мама ничего дома не делает. Снимать квартиру нет возможности. Если вас интересует, мама и отчим работают.
Что я могу сделать и какие у меня права? Спасибо!