Astor se zasnoubil s Eileen Sherman Gillespie (1915–2008), starší dcerou poručíka Lawrencea Lewise Gillespieho (1876–1940) a Irene Muriel Augusty Shermanové (1887–1972) , na začátku prosince 1933. Ireninými rodiči byli podnikatel William Watts Sherman (1842–1912) ze společnosti Duncan, Sherman & a Sophia Augusta Brownová (1867–1947). oženit se 6. února 1934, ale po hořké hádce svatbu 22. ledna odvolala. Heartoroken, Astor odešla krátce nato truchlit do Šanghaje a do Ameriky se vrátila počátkem května 1934. Obvinil její rodiče ze zasahování do vztahu. Jednou navrhl, aby se mohli smířit, a řekl: „Byl jsem ochoten si ji vzít, a kdybych o tom měl přemýšlet, mohl bych být stále ochotný si ji vzít.“ Eileenina dcera Marguerite „Margy“ Slocum o něm později řekla: „Cítila, že vyrostl osamělý … Byl trochu výstřední a cítila, že není dost zralý na to, aby se oženil Ied. „

Několik týdnů po návratu ze Šanghaje se Astor zasnoubil s Eileeninou blízkou přítelkyní Ellen Tuck„ Tucky “French (1915–1974), starší dcerou Francise Ormonda„ Franka “Frencha II (1888–1962) a Eleanor Livingston Burrill (1891–1974). Vzali se 30. června 1934 v Trinity Church v Newportu na Rhode Island. Tucky byla vnučkou Amos Tuck French a bratrancem guvernéra ostrova Rhode Island Williama Henryho Vanderbilta III (1901–1981) a byl přitahován k Jakeyovi, zatímco byl zasnoubený s Eileen. Spolu s Eileeninou sestrou Phyllis měla být Tucky družičkou na svatbě Jakey a Eileen. Pár měl před rozvedením v květnu 1943 jednoho syna.

• William Backhouse Astor III (1935–2008), který byl investičním bankéřem. Oženil se a později se rozvedl s Charlotte Ann Fisk (1936–2008), dcerou hraběte Ellswortha Fiska a Florence Leavitt.

V době narození jejich syna pracoval Astor v International Mercantile Marine Co. Další ze sester Tucky, Virginia Middleton French (1917–2011), se provdala za Williama Force Dick, Astorův nevlastní bratr prostřednictvím své matky, 18. prosince 1941, před jejím sňatkem s Philipem B. Poolem. Ti dva sloužili jako čestná matka a ohlašovatelka Astorovy a Tuckyho svatby. Astor sloužil jako uvaděč a Tucky byl čestným matronem svatby Virginie a Williama. Virginie a Vincent byli jmenováni za kmotry Williama Backhouse Astora III.

18. září 1944 v New Yorku, Astor se podruhé oženil s Gertrudou Gretschovou (1923–1999), dcerou Waltera a Gertrudy Gretschových, kteří se po čtyřletém odloučení rozvedli 2. srpna 1954, ačkoli mexický rozvod byl v roce 1956 prohlášen za neplatný. Americký rozvod brzy následoval. Před jejich rozchodem a rozvodem měl pár dceru:

• Mary Jacqueline „Jackie“ Astor (nar. 1949), která se provdala za Johna Rozeta Drexela IV (nar. 1945) , syn Johna Rozeta Drexela III (1919–2007) a Mildred Sophia Noreen Stonor (1922–2012), v roce 1984. John je dvojnásobným pravnukem bankéře Anthonyho Josepha Drexela a vnukem Ralpha Stonora, 5. barona Camoyse.

6. srpna 1954 se Astor potřetí provdala za Dolores Margaret „Dolly“ Fullmanovou (nar. 1928) v Arlingtonu ve Virginii. bylo druhé manželství 26leté Dolly. Rozešli se brzy po návratu ze svatební cesty a rozvedli se.

Astor se oženil se svou čtvrtou a poslední manželkou Sue Sandfordovou v roce 1956. Zůstali oddáni až do své smrti v roce 1985.

Astor zemřel v Miami Beach na Floridě v roce 1992 ve věku 79 let. Jeho tělo bylo vráceno do New Yorku k pohřbu s rodiči na hřbitově v Trinity Church. Zůstal po něm jeho syn, dcera, tři vnuci a mladší nevlastní bratr.

DescendantsEdit

Prostřednictvím své dcery Astor byl dědeček Nicholase Astora Drexela (nar. 1988).