Первое упоминание о доме относится к 1791 году. Разрешение на постройку здания получил управляющий Монетным двором Иван Совков. Затем домом владел авантюрист и торговец водкой Василий Злобин. У Злобина дом купил управляющий Кыштымского горного округа Григорий Зотов. Он вошел в историю как крепостной, которому удалось поразить императора Александра I, получить вольную и жениться на одной из самых богатых наследниц. На закате своей карьеры он продал построенный им дом на набережной семье Тарасовых.
Когда усадьба строилась, в Екатеринбурге господствовала мода на архитектуру в стиле классицизма. При Тарасове преобразился внешний вид дома, при нем были перестроены и внутренние помещения.
Купец облагородил прилегавшую к усадьбе набережную, которая потом еще долго называлась Тарасовской
В советский период здесь был «Дом учителя». В 1997 году осенью комплекс зданий, составлявший усадьбу купца Тарасова, подвергся масштабной реконструкции по проекту архитектора Аркадия Заславского. В нем разместили резиденцию губернатора Эдуарда Росселя.
При подготовке саммита ШОС усадьбу Тарасова объединили в один комплекс с особняком Николая Севастьянова и окружили фигурной изгородью
На территории усадьбы Тарасова был достроен четырехэтажный комплекс, в котором расположен зал приемов и выставочный зал резиденции.