Astor verlobte sich mit Eileen Sherman Gillespie (1915–2008), der älteren Tochter von Leutnant Lawrence Lewis Gillespie (1876–1940) und Irene Muriel Augusta Sherman (1887–1972). Anfang Dezember 1933. Irenes Eltern waren der Geschäftsmann William Watts Sherman (1842–1912) aus Duncan, die Sherman & Company und Sophia Augusta Brown (1867–1947) heiratete am 6. Februar 1934, aber sie sagte die Hochzeit am 22. Januar nach einem erbitterten Streit ab. Mit gebrochenem Herzen ging Astor kurz darauf nach Shanghai, um zu trauern, und kehrte Anfang Mai 1934 nach Amerika zurück. Er beschuldigte ihre Eltern, die Beziehung gestört zu haben. Er schlug einmal vor, sie könnten sich versöhnen und sagte: „Ich war bereit, sie zu heiraten, und wenn ich darüber nachdenken würde, wäre ich vielleicht immer noch bereit, sie zu heiraten.“ Eileens Tochter Marguerite „Margy“ Slocum sagte später über ihn: „Sie hatte das Gefühl, dass er einsam aufgewachsen war … Er war ein bisschen exzentrisch und sie hatte das Gefühl, dass er nicht reif genug war, um zu heiraten ied. „

Einige Wochen nach seiner Rückkehr aus Shanghai verlobte sich Astor mit Eileens enger Freundin Ellen Tuck“ Tucky „French (1915–1974), der älteren Tochter von Francis Ormond“ Frank „French II (1888–1962) und Eleanor Livingston Burrill (1891–1974). Sie heirateten am 30. Juni 1934 in der Trinity Church in Newport, Rhode Island. Tucky war eine Enkelin von Amos Tuck French und ein erster Cousin des Gouverneurs von Rhode Island, William Henry Vanderbilt III (1901–1981), und war von Jakey angezogen worden, als er mit Eileen verlobt war. Zusammen mit Eileens Schwester Phyllis sollte Tucky eine Brautjungfer bei Jakeys und Eileens Hochzeit sein. Das Paar hatte einen Sohn, bevor es sich im Mai 1943 scheiden ließ.

• William Backhouse Astor III (1935–2008), der Investmentbanker war. Er heiratete und ließ sich später von Charlotte Ann Fisk (1936–2008) scheiden, der Tochter von Earl Ellsworth Fisk und Florence Leavitt.

Zum Zeitpunkt der Geburt ihres Sohnes arbeitete Astor bei der International Mercantile Marine Co. Eine weitere Schwester von Tucky, Virginia Middleton French (1917–2011), heiratete William Force Dick, Astors Halbbruder durch seine Mutter, am 18. Dezember 1941 vor ihrer Heirat mit Philip B. Pool. Die beiden hatten jeweils als Ehrenmatrone gedient und die Hochzeit von Astor und Tucky eingeläutet. Astor diente als Platzanweiser und Tucky war Matrone der Ehre für die Hochzeit von Virginia und William. Virginia und Vincent wurden zu den Paten von William Backhouse Astor III ernannt.

Am 18. September 1944 in New York City, Astor heiratete zum zweiten Mal Gertrude Gretsch (1923–1999), die Tochter von Walter und Gertrude Gretsch. Sie ließen sich am 2. August 1954 nach vierjähriger Trennung scheiden, obwohl die mexikanische Scheidung 1956 für ungültig erklärt wurde Die amerikanische Scheidung folgte bald. Vor ihrer Trennung und Scheidung hatte das Paar eine Tochter:

• Mary Jacqueline „Jackie“ Astor (geb. 1949), die John Rozet Drexel IV (geb. 1945) heiratete. John ist ein zweifacher Urenkel des Bankiers Anthony Joseph Drexel und ein Enkel von Ralph Stonor, 5. Baron Camoys.

Am 6. August 1954 heiratete Astor zum dritten Mal Dolores Margaret „Dolly“ Fullman (geb. um 1928) in Arlington, Virginia war die zweite Ehe des 26-jährigen Dolly. Sie trennten sich kurz nach ihrer Rückkehr von ihren Flitterwochen und ließen sich scheiden.

Astor heiratete 1956 seine vierte und letzte Frau, Sue Sandford. Sie blieben bis zu ihrem Tod 1985 verheiratet.

Astor starb 1992 im Alter von 79 Jahren in Miami Beach, Florida. Sein Leichnam wurde zur Beerdigung mit seinen Eltern auf dem Trinity Church Cemetery nach New York zurückgebracht. Er wurde von seinem Sohn, seiner Tochter, drei Enkeln und seinem jüngeren Halbbruder überlebt.

DescendantsEdit

Durch seine Tochter Astor war ein Großvater von Nicholas Astor Drexel (* 1988).