Komitet Żołnierza Polskiego zbierał środki na ten cel, ale Piłsudski nie chciał przyjąć takiego daru. Ostatecznie zgodził się na rozwiązanie kompromisowe, aby fundusz Komitetu zasilić pieniędzmi ze sprzedaży własnego domu w Sulejówku i wtedy, jak wspominała Aleksandra Piłsudska: „Pieniądz każdego dnia tracił na wartości. Okazało się, że nieruchomości poszły tak znacznie w górę, że nie wystarczyło na zakup murowanego domu. Wobec tego zdecydowano wystawić w środku lasku na naszym gruncie dom murowany”. Willę w stylu dworkowym zaprojektował wybitny architekt Kazimierz Skórewicz. Budowę zrealizowano w szybkim tempie, częściowo siłami żołnierzy. Komitet zajął się również wyposażeniem domu, przy czym część mebli, obrazów i przedmiotów dekoracyjnych pochodziła z darów. Dom nie był jeszcze ostatecznie wykończony, kiedy po sporze z gen. Władysławem Sikorskim o ustrój najważniejszych władz wojskowych, Piłsudski 30 maja 1923 r. złożył dymisję ze stanowiska szefa Sztabu Generalnego i przeniósł się do Sulejówka, wycofując się z życia publicznego. Dworek Milusin na trzy lata stał się jego domem rodzinnym, miejscem pracy i spotkań z byłymi podkomendnymi. Tam powstały książki: „Moje pierwsze boje”, „Rok 1920”, „O wartości żołnierza legionów”, „Rok 1863” i „Wspomnienia o Gabrielu Narutowiczu”. W tym czasie odwiedzali Milusin liczni politycy i osoby prywatne.
Po powrocie do działalności politycznej rodzina Piłsudskich zamieszkała w Belwederze, a Sulejówek pozostał miejscem letniego i świątecznego wypoczynku, również po śmierci Marszałka w 1935 roku.
We wrześniu 1939 roku Aleksandra Piłsudska wyemigrowała z córkami do Londynu. Podczas okupacji dworek z otoczeniem zajęli Niemcy, a w 1947 r. dom przejęły władze komunistyczne, które później zadecydowały o wywiezieniu przez wojsko pamiątek po Piłsudskim. Do 1956 r. dworek pozostawał do dyspozycji ambasadora ZSRR, a w 1956 roku został przekazany gminie, która utworzyła w nim przedszkole.
W 1994 roku córki Józefa Piłsudskiego utworzyły Fundację Rodziny Józefa Piłsudskiego, której celem było odzyskanie dworku i otwarcie muzeum biograficznego Ojca. W 2000 roku Urząd Miasta Sulejówka przekazał Fundacji aktem notarialnym nieruchomość „Willa Milusin”.
10 listopada 2008 roku, w dworku Piłsudskich, została zawarta przez Fundację Rodziny Józefa Piłsudskiego i Ministerstwo Kultury i Dziedzictwa Narodowego umowa dotycząca utworzenia Muzeum Józefa Piłsudskiego w Sulejówku. Od tego czasu udostępniona była do zwiedzania skromna ekspozycja i organizowano wystawy okolicznościowe. Przez cały czas Fundacja gromadzi rozproszone fragmenty pierwotnego wyposażenia. W 2014 roku w ośrodku MON w Hellenowie odnaleziono m.in. przedmioty wywiezione przez wojsko w 1947 roku. Decyzją Ministra Obrony Narodowej zostały one zwrócone Fundacji. Wśród nich są m.in. meble kupione w 1923 roku z funduszy Komitetu Daru Żołnierza. Do muzeum wróciły także dwa pejzaże miejskie z Wilna autorstwa Ignacego Pinkasa, obraz Kazimierza Stabrowskiego „Staw w parku” oraz „Szaman” – rzeźba autorstwa jego żony, Julii Stabrowskiej i inne elementy dekoracyjne. Muzeum pozyskało również oryginalny akt przekazania „Milusina” Piłsudskiemu.
Zespół dworku „Milusin” to dziś wyjątkowe miejsce, świadek historii związany z Józefem Piłsudskim jako jedyny Jego dom własny. Nie bez znaczenia jest fakt, iż powstał dzięki szerokiemu zaangażowaniu społecznemu, głównie staraniom Komitetu Żołnierza Polskiego. Największym walorem zabytkowym domu jest niewątpliwie jego autentyczność. Pierwszy dom, drewniany, stojący na leśnej działce w chwili zakupu posesji, w którym rodzina Piłsudskich spędzała lato, zachował się bez zasadniczych zmian. Natomiast dworek pozostaje niezmieniony od czasu budowy w 1923 roku. Zachowany został jego układ przestrzenny, cała stolarka okienna i drzwiowa, łącznie z okuciami i oszkleniem. Zachowane są oryginalne parkiety i podłogi oraz skromna dekoracja architektoniczna wnętrz, z fasetami i kominkami, a nawet takie drobiazgi jak porcelanowe wyłączniki elektryczne. Zachowała się wreszcie część pierwotnego wyposażenia, meble, obrazy i przedmioty dekoracyjne, a także meble z innych mieszkań córek Józefa Piłsudskiego. Taka autentyczność jest w polskiej zabytkowej architekturze dworkowej czymś niespotykanym i unikalnym.