Astor s’est fiancé à Eileen Sherman Gillespie (1915–2008), la fille aînée du lieutenant Lawrence Lewis Gillespie (1876–1940) et d’Irene Muriel Augusta Sherman (1887–1972) , au début de décembre 1933. Les parents d’Irene étaient l’homme d’affaires William Watts Sherman (1842–1912) de Duncan, Sherman & Company et Sophia Augusta Brown (1867–1947). se marie le 6 février 1934, mais elle annule le mariage le 22 janvier après une amère dispute.Le cœur brisé, Astor se rend peu après à Shanghai pour pleurer, retournant en Amérique au début de mai 1934. Il blâme ses parents pour avoir interféré avec la relation. Il a suggéré une fois qu’ils pourraient se réconcilier, en disant: «J’étais prêt à l’épouser, et si je devais y réfléchir, je serais peut-être toujours prêt à l’épouser. « Elle sentait qu’il avait grandi seul … Il était un peu excentrique, et elle pensait qu’il n’était pas assez mature pour devenir marr ied. « 

Quelques semaines après son retour de Shanghai, Astor s’est fiancée à la mondaine amie proche d’Eileen, Ellen Tuck » Tucky « French (1915–1974), la fille aînée de Francis Ormond » Frank « French II (1888–1962) et Eleanor Livingston Burrill (1891–1974). Ils se sont mariés le 30 juin 1934 à la Trinity Church de Newport, dans le Rhode Island. Tucky était une petite-fille d’Amos Tuck French et un cousin germain du gouverneur de Rhode Island, William Henry Vanderbilt III (1901–1981), et avait été attiré par Jakey alors qu’il était fiancé à Eileen. Avec la soeur Phyllis d’Eileen, Tucky devait être une demoiselle d’honneur au mariage de Jakey et Eileen. Le couple a eu un fils avant de divorcer en mai 1943.

• William Backhouse Astor III (1935–2008), qui était banquier d’investissement. Il a épousé et plus tard divorcé de Charlotte Ann Fisk (1936–2008), fille de Earl Ellsworth Fisk et Florence Leavitt.

Au moment de la naissance de leur fils, Astor travaillait à l’International Mercantile Marine Co. Une autre des sœurs de Tucky, Virginia Middleton French (1917–2011), a épousé William Force Dick, le demi-frère d’Astor par sa mère, le 18 décembre 1941, avant son mariage avec Philip B. Pool. Les deux avaient respectivement servi de matrone d’honneur et d’inauguration du mariage d’Astor et de Tucky. Astor a servi d’huissier et Tucky était la matrone d’honneur du mariage de Virginie et de William. Virginia et Vincent ont été nommés parrains de William Backhouse Astor III.

Le 18 septembre 1944, à New York, Astor se maria pour la deuxième fois avec Gertrude Gretsch (1923–1999), fille de Walter et Gertrude Gretsch. Ils divorcèrent le 2 août 1954, après une séparation de quatre ans, mais le divorce mexicain fut déclaré invalide en 1956. An Le divorce américain a rapidement suivi. Avant leur séparation et leur divorce, le couple a eu une fille:

• Mary Jacqueline « Jackie » Astor (née en 1949), qui a épousé John Rozet Drexel IV (née en 1945) , fils de John Rozet Drexel III (1919–2007) et de Mildred Sophia Noreen Stonor (1922–2012), en 1984. John est 2x arrière-petit-fils du banquier Anthony Joseph Drexel et petit-fils de Ralph Stonor, 5ème baron Camoys.

Le 6 août 1954, Astor se maria pour la troisième fois avec Dolores Margaret « Dolly » Fullman (née vers 1928) à Arlington, Virginie. était le deuxième mariage de Dolly, 26 ans. Ils se sont séparés peu après leur retour de lune de miel et ont divorcé.

Astor a épousé sa quatrième et dernière épouse, Sue Sandford, en 1956. Ils sont restés mariés jusqu’à sa mort en 1985.

Astor est décédé à Miami Beach, Floride, en 1992, à l’âge de 79 ans. Son corps a été renvoyé à New York pour être enterré avec ses parents au cimetière de la Trinity Church. Il laisse dans le deuil son fils, sa fille, trois petits-fils et son demi-frère plus jeune.

DescendantsEdit

Par l’intermédiaire de sa fille, Astor était le grand-père de Nicholas Astor Drexel (né en 1988).