Astor se comprometió con Eileen Sherman Gillespie (1915-2008), la hija mayor del teniente Lawrence Lewis Gillespie (1876-1940) e Irene Muriel Augusta Sherman (1887-1972) , a principios de diciembre de 1933. Los padres de Irene eran el empresario William Watts Sherman (1842-1912) de Duncan, Sherman & Company y Sophia Augusta Brown (1867-1947). se casó el 6 de febrero de 1934, pero ella canceló la boda el 22 de enero después de una amarga discusión. Con el corazón roto, Astor se fue a Shanghai poco después para llorar, regresando a Estados Unidos a principios de mayo de 1934. Culpó a sus padres por interferir en la relación. Una vez sugirió que podrían reconciliarse, diciendo: «Estaba dispuesto a casarme con ella, y si lo pensara, aún podría estar dispuesto a casarme con ella». La hija de Eileen, Marguerite «Margy» Slocum, dijo más tarde de él: «Ella sintió que él había crecido solo … Era un poco excéntrico, y sintió que no era lo suficientemente maduro para casarse «.

Unas semanas después de regresar de Shanghai, Astor se comprometió con la amiga íntima de Eileen, la socialité Ellen Tuck» Tucky «French (1915-1974), la hija mayor de Francis Ormond» Frank «French II (1888-1962) y Eleanor Livingston Burrill (1891-1974). Se casaron el 30 de junio de 1934 en Trinity Church en Newport, Rhode Island. Tucky era nieta de Amos Tuck French y prima hermana del gobernador de Rhode Island, William Henry Vanderbilt III (1901-1981), y se sintió atraída por Jakey mientras estaba comprometido con Eileen. Junto con Phyllis, la hermana de Eileen, Tucky iba a ser dama de honor en la boda de Jakey y Eileen. La pareja tuvo un hijo antes de divorciarse en mayo de 1943.

• William Backhouse Astor III (1935-2008), que era un banquero de inversiones. Se casó y luego se divorció de Charlotte Ann Fisk (1936-2008), hija de Earl Ellsworth Fisk y Florence Leavitt.

En el momento del nacimiento de su hijo, Astor trabajaba en la International Mercantile Marine Co. Otra de las hermanas de Tucky, Virginia Middleton French (1917-2011), se casó con William Force Dick, medio hermano de Astor a través de su madre, el 18 de diciembre de 1941, antes de su matrimonio con Philip B. Pool. Los dos habían servido respectivamente como matrona de honor y acompañante de la boda de Astor y Tucky. Astor sirvió como acomodador y Tucky fue la matrona de honor de la boda de Virginia y William. Virginia y Vincent fueron nombrados padrinos de William Backhouse Astor III.

El 18 de septiembre de 1944, en la ciudad de Nueva York, Astor se casó por segunda vez con Gertrude Gretsch (1923-1999), hija de Walter y Gertrude Gretsch. Se divorciaron el 2 de agosto de 1954, después de una separación de cuatro años, aunque el divorcio mexicano fue declarado inválido en 1956. Un Pronto siguió el divorcio estadounidense. Antes de su separación y divorcio, la pareja tuvo una hija:

• Mary Jacqueline «Jackie» Astor (n. 1949), quien se casó con John Rozet Drexel IV (n. 1945) , hijo de John Rozet Drexel III (1919-2007) y Mildred Sophia Noreen Stonor (1922-2012), en 1984. John es dos veces bisnieto del banquero Anthony Joseph Drexel y nieto de Ralph Stonor, quinto barón Camoys.

El 6 de agosto de 1954, Astor se casó por tercera vez con Dolores Margaret «Dolly» Fullman (nacida c. 1928) en Arlington, Virginia. fue el segundo matrimonio de Dolly, de 26 años. Se separaron poco después de regresar de su luna de miel y se divorciaron.

Astor se casó con su cuarta y última esposa, Sue Sandford, en 1956. Permanecieron casados hasta su muerte en 1985.

Astor murió en Miami Beach, Florida, en 1992 a la edad de 79 años. Su cuerpo fue devuelto a Nueva York para el entierro con sus padres en el cementerio de Trinity Church. Le sobreviven su hijo, hija, tres nietos y un medio hermano menor.

DescendantsEdit

A través de su hija, Astor fue abuelo de Nicholas Astor Drexel (n. 1988).