Несколько громадных белых зданий с колоннами, бельведерами, балконами и какими-то странной формы куполами выходили главным фасадом на небольшую площадь, а великолепными воротами в форме триумфальной арки, на Нагорную улицу». Спустя почти сто лет в Харитоновском парке Ярополк Лапшин снимал сцены фильма «Приваловские миллионы».
За самой роскошной усадьбой Среднего Урала закрепилось имя двух его владельцев – Льва Расторгуева и Петра Харитонова. Но её первостроительница – титулярная советница Наталья Токарева. Именно она заложила величественный дом в конце XVIII века. В 1806 году продала его вместе с землей купцу-старообрядцу Расторгуеву, а от него дом отошел золотопромышленнику Харитонову – мужу одной из дочерей Льва Ивановича.
Заканчивал дворец самый известный архитектор дореволюционного Екатеринбурга Михаил Малахов. Образец классического стиля, несмотря на приличный возраст и некоторые утраты, дворец по-прежнему удивляет своей статью и стильностью. В состав усадьбы входит барский дом, английский сад, искусственное озеро, ротонда, фонтаны, ажурные чугунные решетки, арки.
В середине 19 века дворцово-парковый ансамбль стал первым общественным садом Екатеринбурга
До сих пор история Дворца полна тайн, загадок, недосказанностей и вымыслов.
Одна из самых живучих легенд – подземные ходы, которые, якобы, извилистой сеткой вьются под территорией усадьбы
В пользу этого говорит и долгий срок строительства, и обнаруженные ходы под землей. Возможно, старовер Расторгуев проложил тайные ходы под Вознесенской площадью. По ним приверженцы старой веры расходились во все части города. Возможно, это тайные штольни, где добывали золото.
С 1837 года усадьба пришла в запустение.
Дом целое столетие был бесхозным, менял квартирантов и только 1 сентября 1937 года архитектурный комплекс превратили сначала в Дом пионеров, а потом в Дворец детского и юношеского творчества.