Astor blev forlovet med Eileen Sherman Gillespie (1915–2008), den ældre datter af løjtnant Lawrence Lewis Gillespie (1876–1940) og Irene Muriel Augusta Sherman (1887–1972) , i begyndelsen af december 1933. Irene’s forældre var forretningsmand William Watts Sherman (1842–1912) fra Duncan, Sherman & Company og Sophia Augusta Brown (1867–1947). De planlagde at giftede sig den 6. februar 1934, men hun afbrød brylluppet den 22. januar efter et bittert argument. Hjertesnak, Astor rejste til Shanghai kort tid derefter for at sørge og vendte tilbage til Amerika i begyndelsen af maj 1934. Han beskyldte sine forældre for at have blandet sig ind i forholdet. Han foreslog engang, at de kunne forene sig og sagde: “Jeg var villig til at gifte sig med hende, og hvis jeg tænkte over det, var jeg muligvis stadig villig til at gifte mig med hende.” Eileens datter Marguerite “Margy” Slocum sagde senere om ham: “Hun følte, at han var vokset op ensom … Han var en smule excentrisk, og hun følte, at han ikke var moden nok til at blive ægte ied. “

Et par uger efter hjemkomsten fra Shanghai blev Astor forlovet med Eileens nære ven socialite Ellen Tuck” Tucky “French (1915–1974), den ældste datter af Francis Ormond” Frank “French II (1888–1962) og Eleanor Livingston Burrill (1891–1974). De blev gift den 30. juni 1934 i Trinity Church i Newport, Rhode Island. Tucky var barnebarn af Amos Tuck French og en fætter til Rhode Island guvernør William Henry Vanderbilt III (1901–1981) og havde været tiltrukket af Jakey, mens han var forlovet med Eileen. Sammen med Eileens søster Phyllis skulle Tucky være brudepige ved Jakey og Eileens bryllup. Parret havde en søn inden de skiltes i maj 1943.

• William Backhouse Astor III (1935–2008), som var en investeringsbankmand. Han blev gift og skilt senere fra Charlotte Ann Fisk (1936–2008), datter af Earl Ellsworth Fisk og Florence Leavitt.

På tidspunktet for deres søns fødsel arbejdede Astor hos International Mercantile Marine Co. En anden af Tucky’s søstre, Virginia Middleton French (1917–2011), giftede sig med William Force Dick, Astors halvbror gennem sin mor, den 18. december 1941, før hendes ægteskab med Philip B. Pool. De to havde henholdsvis tjent som æresforsker og indvarsler Astor og Tucky’s bryllup. Astor fungerede som en indvarsler, og Tucky var æresforsker for Virginia og William’s bryllup. Virginia og Vincent blev udnævnt til fædre til William Backhouse Astor III.

Den 18. september 1944 i New York City, Astor giftede sig for anden gang med Gertrude Gretsch (1923–1999), datter af Walter og Gertrude Gretsch. De skiltes den 2. august 1954 efter en fireårs adskillelse, skønt den mexicanske skilsmisse blev dømt ugyldig i 1956. En Amerikansk skilsmisse fulgte snart. Inden deres separation og skilsmisse havde parret en datter:

• Mary Jacqueline “Jackie” Astor (f. 1949), som blev gift med John Rozet Drexel IV (f. 1945) , en søn af John Rozet Drexel III (1919-2007) og Mildred Sophia Noreen Stonor (1922-2012), i 1984. John er en 2x oldebarn af bankmand Anthony Joseph Drexel og et barnebarn af Ralph Stonor, 5. baron Camoys.

Den 6. august 1954 giftede Astor sig for tredje gang med Dolores Margaret “Dolly” Fullman (født ca. 1928) i Arlington, Virginia. var den 26-årige Dollys andet ægteskab. De blev adskilt kort efter hjemkomsten fra deres bryllupsrejse og blev skilt.

Astor giftede sig med sin fjerde og sidste kone, Sue Sandford, i 1956. De blev gift indtil hendes død i 1985.

Astor døde i Miami Beach, Florida, i 1992 i en alder af 79. Hans lig blev returneret til New York for at blive begravet hos sine forældre på Trinity Church Cemetery. Han blev efterladt af sin søn, datter, tre børnebørn og yngre halvbror.

Efterkommere Rediger

Gennem sin datter, Astor var bedstefar til Nicholas Astor Drexel (f. 1988).