Astor forlovet seg med Eileen Sherman Gillespie (1915–2008), den eldste datteren til løytnant Lawrence Lewis Gillespie (1876–1940) og Irene Muriel Augusta Sherman (1887–1972) i begynnelsen av desember 1933. Foreldrene til Irene var forretningsmann William Watts Sherman (1842–1912) av Duncan, Sherman & Company og Sophia Augusta Brown (1867–1947). De planla å gifte seg 6. februar 1934, men hun avbrød bryllupet 22. januar etter et bittert argument. Hjertesnurr dro Astor til Shanghai kort tid etter for å sørge, og kom tilbake til Amerika i begynnelsen av mai 1934. Han beskyldte foreldrene sine for å ha forstyrret forholdet. Han foreslo en gang at de kunne forsone seg og sa: «Jeg var villig til å gifte meg med henne, og hvis jeg skulle tenke på det, kunne jeg fremdeles være villig til å gifte meg med henne.» Eileens datter Marguerite «Margy» Slocum sa senere om ham: «Hun følte at han hadde vokst opp ensom … Han var litt eksentrisk, og hun følte at han ikke var moden nok til å bli gift ied. «

Noen uker etter retur fra Shanghai, ble Astor forlovet med Eileens nære venn sosialt Ellen Tuck» Tucky «French (1915–1974), den eldste datteren til Francis Ormond» Frank «French II (1888–1962) og Eleanor Livingston Burrill (1891–1974). De giftet seg 30. juni 1934 i Trinity Church i Newport, Rhode Island. Tucky var barnebarn av Amos Tuck French og en fetter til Rhode Island-guvernør William Henry Vanderbilt III (1901–1981), og hadde blitt tiltrukket av Jakey mens han var forlovet med Eileen. Sammen med Eileens søster Phyllis skulle Tucky være brudepike i bryllupet til Jakey og Eileen. Paret hadde en sønn før de skilte seg i mai 1943.

• William Backhouse Astor III (1935–2008), som var en investeringsbankmann. Han giftet seg og skilt seg senere fra Charlotte Ann Fisk (1936–2008), datter av Earl Ellsworth Fisk og Florence Leavitt.

Da sønnen ble født, jobbet Astor i International Mercantile Marine Co. En annen av Tucky søstre, Virginia Middleton French (1917–2011), giftet seg med William Force Dick, Astors halvbror gjennom moren, 18. desember 1941, før ekteskapet med Philip B. Pool. De to hadde henholdsvis tjent som æresforsker og innvarsler for Astor og Tucky bryllup. Astor fungerte som en vaktmester og Tucky var æresdommer for Virginia og Williams bryllup. Virginia og Vincent ble utnevnt til faddere til William Backhouse Astor III.

Den 18. september 1944 i New York City, Astor giftet seg for andre gang med Gertrude Gretsch (1923–1999), datteren til Walter og Gertrude Gretsch. De skilte seg 2. august 1954 etter fire års separasjon, selv om den meksikanske skilsmissen ble avgjort ugyldig i 1956. En Amerikansk skilsmisse fulgte snart. Før deres separasjon og skilsmisse hadde paret en datter:

• Mary Jacqueline «Jackie» Astor (f. 1949), som giftet seg med John Rozet Drexel IV (f. 1945) , en sønn av John Rozet Drexel III (1919–2007) og Mildred Sophia Noreen Stonor (1922–2012), i 1984. John er et 2x oldebarn av bankmannen Anthony Joseph Drexel og et barnebarn av Ralph Stonor, 5. baron Camoys.

6. august 1954 giftet Astor seg for tredje gang med Dolores Margaret «Dolly» Fullman (født ca. 1928) i Arlington, Virginia. var den 26 år gamle Dollys andre ekteskap. De skiltes kort tid etter at de kom tilbake fra bryllupsreisen og ble skilt.

Astor giftet seg med sin fjerde og siste kone, Sue Sandford, i 1956. De forble gift til hennes død i 1985.

Astor døde i Miami Beach, Florida, i 1992 i en alder av 79. Liket hans ble returnert til New York for å bli gravlagt sammen med foreldrene på Trinity Church Cemetery. Han ble etterlatt av sønnen, datteren, tre barnebarn og yngre halvbror.

EtterkommereEdit

Gjennom datteren Astor var bestefar til Nicholas Astor Drexel (f. 1988).