Astor blev förlovad med Eileen Sherman Gillespie (1915–2008), den äldre dottern till löjtnant Lawrence Lewis Gillespie (1876–1940) och Irene Muriel Augusta Sherman (1887–1972) , i början av december 1933. Irene föräldrar var affärsmannen William Watts Sherman (1842–1912) i Duncan, Sherman & Företag och Sophia Augusta Brown (1867–1947). De planerade att gifta sig den 6 februari 1934, men hon avbröt bröllopet den 22 januari efter ett bittert argument. Hjärtat, Astor åkte till Shanghai strax efteråt för att sörja och återvände till Amerika i början av maj 1934. Han skyllde på hennes föräldrar för att ha stört förhållandet. Han föreslog en gång att de kunde förena sig och sa: ”Jag var villig att gifta sig med henne, och om jag skulle tänka på det kanske jag fortfarande skulle vilja gifta mig med henne.” Eileens dotter Marguerite ”Margy” Slocum sa senare om honom: ”Hon kände att han hade vuxit upp ensam … Han var lite excentrisk, och hon kände att han inte var mogen nog för att bli äldre ied. ”
Några veckor efter återkomsten från Shanghai förlovade Astor sig med Eileens nära vän socialite Ellen Tuck” Tucky ”French (1915–1974), den äldre dottern till Francis Ormond” Frank ”French II (1888–1962) och Eleanor Livingston Burrill (1891–1974). De gifte sig den 30 juni 1934 i Trinity Church i Newport, Rhode Island. Tucky var barnbarn till Amos Tuck French och en kusin till Rhode Island guvernör William Henry Vanderbilt III (1901–1981) och hade lockats av Jakey medan han var förlovad med Eileen. Tillsammans med Eileens syster Phyllis skulle Tucky vara brudtärna vid Jakeys och Eileens bröllop. Paret hade en son innan de skilde sig i maj 1943.
- William Backhouse Astor III (1935–2008), som var en investeringsbank. Han gifte sig och skilde sig senare från Charlotte Ann Fisk (1936–2008), dotter till Earl Ellsworth Fisk och Florence Leavitt.
Vid tiden för deras sons födelse arbetade Astor vid International Mercantile Marine Co. En annan av Tucky systrar, Virginia Middleton French (1917–2011), gifte sig med William Force Dick, Astors halvbror genom sin mor, den 18 december 1941, före hennes äktenskap med Philip B. Pool. De båda hade tjänat som hedersförälder och inledare till Astor och Tucky bröllop. Astor fungerade som en väktare och Tucky var hedersmänniska för Virginia och William’s bröllop. Virginia och Vincent utsågs till fadrar till William Backhouse Astor III. Astor gifte sig för andra gången med Gertrude Gretsch (1923–1999), dotter till Walter och Gertrude Gretsch. De skilde sig den 2 augusti 1954, efter fyra års separation, även om den mexikanska skilsmässan dömdes ogiltig 1956. En Amerikansk skilsmässa följde snart. Innan deras separation och skilsmässa fick paret en dotter:
- Mary Jacqueline ”Jackie” Astor (f. 1949), som gifte sig med John Rozet Drexel IV (f. 1945) , en son till John Rozet Drexel III (1919–2007) och Mildred Sophia Noreen Stonor (1922–2012), 1984. John är ett 2x-barnbarnsbarn till bankiren Anthony Joseph Drexel och en sonson till Ralph Stonor, 5: e baron Camoys.
Den 6 augusti 1954 gifte sig Astor för tredje gången med Dolores Margaret ”Dolly” Fullman (född c. 1928) i Arlington, Virginia. var den 26-årige Dollys andra äktenskap. De separerade strax efter att de återvänt från smekmånaden och skildes.
Astor gifte sig med sin fjärde och sista fru, Sue Sandford, 1956. De förblev gifta fram till hennes död 1985.
Astor dog i Miami Beach, Florida, 1992 vid 79 års ålder. Hans kropp återfördes till New York för att begravas med sina föräldrar på Trinity Church Cemetery. Han överlevde sin son, dotter, tre barnbarn och yngre halvbror.
Ättlingar Redigera
Genom sin dotter, Astor var farfar till Nicholas Astor Drexel (f. 1988).