История усадьбы, в которой сейчас размещается Государственный музей А. С. Пушкина, очень увлекательна. Прежде чем стать музеем, усадьба часто меняла владельцев, но, несмотря на это, смогла в значительной степени сохранить первоначальный облик замечательного архитектурного памятника первой трети XIX века.
Первыми хозяевами дома были князья Барятинские. Остатки особняка, уцелевшие после пожара 1812 года купил участник войны с французами, гвардии прапорщик в отставке Александр Петрович Хрущев. На вечерах в доме Хрущевых обедала, танцевала, слушала музыку, развлекалась вся Москва. Во времена Хрущевых дом был отделан белыми колоннами, лепным декором по фасадам и просторными террасами. К дому примыкали многочисленные служебные постройки и небольшой живописный сад с садовым павильоном.
Следующими хозяевами усадьбы были торговцы чаем Рудаковы. Они приобрели имение в середине 1940-х годов. После них перешла к семье штабс-капитана в отставке Селезнева. Дочь хозяина дома уже в начале XX столетия решила увековечить память о своих родителях, передав усадьбу московскому дворянству для устройства в ней детского приюта имени Анны Александровны и Дмитрия Степановича Селезневых.
После революции в усадьбе размещались различные государственные учреждения, работа которых была связана с сохранением памятников архитектуры и искусства. В течение семи лет (1924 — 1931) ее занимал Музей игрушки. Затем, в апреле 1940 года, здание было передано Литературному музею для создания в нем постоянной экспозиции, посвященной Владимиру Маяковскому. Дата открытия выставки совпала с началом Великой Отечественной войны, и идея «поселения» в усадьбе Маяковского реализована не была. В первые послевоенные годы особняк принадлежал Министерству иностранных дел, а потом его вновь возвратили Литературному музею. В августе 1949 года здесь открылась юбилейная выставка «А.С. Пушкин. 150 лет со дня рождения». После ее закрытия хозяевами дома на какое-то время стали академические учреждения: сначала Институт востоковедения, затем — Институт славяноведения и балканистики. Наконец 5 октября 1957 года был подписан правительственный указ о создании в Москве в этом доме музея А. С. Пушкина.