Astor zaręczył się z Eileen Sherman Gillespie (1915–2008), starszą córką porucznika Lawrence Lewisa Gillespiego (1876–1940) i Irene Muriel Augusta Sherman (1887–1972) , na początku grudnia 1933 r. Rodzicami Irene byli biznesmen William Watts Sherman (1842–1912) z firmy Duncan, Sherman & Company i Sophia Augusta Brown (1867–1947). Planowali wyszła za mąż 6 lutego 1934 r., ale odwołała ślub 22 stycznia po gorzkiej kłótni. Ze złamanym sercem Astor wyjechała do Szanghaju wkrótce potem w żałobę, wracając do Ameryki na początku maja 1934 r. Obwinił jej rodziców o zakłócanie związku. Kiedyś zasugerował, że mogą się pogodzić, mówiąc: „Byłem gotów ją poślubić i gdybym miał o tym pomyśleć, nadal mógłbym ją poślubić”. Córka Eileen, Marguerite „Margy” Slocum powiedziała później o nim: „Czuła, że dorastał samotnie… Był trochę ekscentrykiem, a ona czuła, że nie jest na tyle dojrzały, by zostać marr ied. ”

Kilka tygodni po powrocie z Szanghaju Astor zaręczył się z bliską przyjaciółką Eileen Ellen Tuck„ Tucky ”French (1915–1974), starszą córką Francisa Ormonda„ Franka ”French II (1888–1962) i Eleanor Livingston Burrill (1891–1974). Pobrali się 30 czerwca 1934 roku w Trinity Church w Newport w stanie Rhode Island. Tucky była wnuczką Amosa Tucka Frencha i kuzynką gubernatora Rhode Island Williama Henry’ego Vanderbilta III (1901–1981). Jakey pociągał go, gdy był zaręczony z Eileen. Wraz z siostrą Eileen, Phyllis, Tucky miała być druhną na ślubie Jakeya i Eileen. Para miała jednego syna przed rozwodem w maju 1943 roku.

• William Backhouse Astor III (1935–2008), który był bankierem inwestycyjnym. Ożenił się, a później rozwiódł z Charlotte Ann Fisk (1936–2008), córką Earla Ellswortha Fiska i Florence Leavitt.

W czasie narodzin syna Astor pracowała w International Mercantile Marine Co. Inna z sióstr Tucky, Virginia Middleton French (1917–2011), poślubiła Williama Force Dick, przyrodni brat Astor przez swoją matkę, 18 grudnia 1941 r., Przed ślubem z Philipem B. Poolem. Obaj byli odpowiednio matroną honorową i zapowiedzią ślubu Astor i Tucky’ego. Astor służył jako woźny, a Tucky była matroną honorową na ślubie Virginii i Williama. Virginia i Vincent zostali mianowani rodzicami chrzestnymi Williama Backhouse Astora III.

18 września 1944 roku w Nowym Jorku, Astor ożenił się po raz drugi z Gertrude Gretsch (1923–1999), córką Waltera i Gertrude Gretsch. Rozwiedli się 2 sierpnia 1954 r. Po czteroletniej separacji, chociaż meksykański rozwód został unieważniony w 1956 r. Wkrótce nastąpił amerykański rozwód. Przed separacją i rozwodem para miała córkę:

• Mary Jacqueline „Jackie” Astor (ur. 1949), która poślubiła Johna Rozeta Drexela IV (ur. 1945) , syn Johna Rozeta Drexela III (1919–2007) i Mildred Sophia Noreen Stonor (1922–2012), w 1984 r. John jest dwukrotnym prawnukiem bankiera Anthony’ego Josepha Drexela i wnukiem Ralpha Stonora, 5. barona Camoysa.

6 sierpnia 1954 roku Astor ożenił się po raz trzeci z Dolores Margaret „Dolly” Fullman (ur. ok. 1928) w Arlington w Wirginii. było drugim małżeństwem 26-letniej Dolly. Rozstali się wkrótce po powrocie z miesiąca miodowego i rozwiedli się.

Astor poślubił swoją czwartą i ostatnią żonę, Sue Sandford, w 1956 roku. Pozostali małżeństwem aż do jej śmierci w 1985 roku.

Astor zmarła w Miami Beach na Florydzie w 1992 r. w wieku 79 lat. Jego ciało wróciło do Nowego Jorku w celu pochówku z rodzicami na cmentarzu Trinity Church. Pozostawił syna, córkę, trzech wnuków i młodszego przyrodniego brata.

DescendantsEdit

Poprzez swoją córkę Astor był dziadkiem Nicholasa Astora Drexela (ur. 1988).