Astor ficou noivo de Eileen Sherman Gillespie (1915–2008), a filha mais velha do Tenente Lawrence Lewis Gillespie (1876–1940) e Irene Muriel Augusta Sherman (1887–1972) , no início de dezembro de 1933. Os pais de Irene eram o empresário William Watts Sherman (1842–1912) de Duncan, Sherman & Company e Sophia Augusta Brown (1867–1947). Eles planejavam casou-se em 6 de fevereiro de 1934, mas ela cancelou o casamento em 22 de janeiro após uma discussão amarga. Desolado, Astor foi para Xangai logo depois para lamentar, retornando à América no início de maio de 1934. Ele culpou os pais dela por interferirem no relacionamento. Certa vez, ele sugeriu que eles se reconciliassem, dizendo: “Eu estava disposto a me casar com ela e, se fosse pensar nisso, ainda estaria disposto a me casar com ela.” A filha de Eileen, Marguerite “Margy” Slocum disse mais tarde sobre ele: “Ela sentiu que ele tinha crescido sozinho … Ele era um pouco excêntrico, e ela sentiu que ele não era maduro o suficiente para se casar ied. “

Algumas semanas após retornar de Xangai, Astor ficou noivo da amiga íntima de Eileen, a socialite Ellen Tuck” Tucky “French (1915–1974), a filha mais velha de Francis Ormond” Frank “French II (1888–1962) e Eleanor Livingston Burrill (1891–1974). Eles se casaram em 30 de junho de 1934, na Trinity Church em Newport, Rhode Island. Tucky era neta de Amos Tuck French e prima do governador de Rhode Island, William Henry Vanderbilt III (1901–1981), e sentiu-se atraída por Jakey enquanto estava noivo de Eileen. Junto com a irmã de Eileen, Phyllis, Tucky seria dama de honra no casamento de Jakey e Eileen. O casal teve um filho antes do divórcio em maio de 1943.

• William Backhouse Astor III (1935–2008), que era banqueiro de investimentos. Ele se casou e depois se divorciou de Charlotte Ann Fisk (1936–2008), filha de Earl Ellsworth Fisk e Florence Leavitt.

Na época do nascimento de seu filho, Astor trabalhava na International Mercantile Marine Co. Outra das irmãs de Tucky, Virginia Middleton French (1917–2011), casou-se com William Force Dick, meio-irmão de Astor por meio de sua mãe, em 18 de dezembro de 1941, antes de seu casamento com Philip B. Pool. Os dois haviam servido respectivamente como matrona de honra e portadores do casamento de Astor e Tucky. Astor serviu como porteiro e Tucky foi a matrona de honra do casamento de Virginia e William. Virginia e Vincent foram nomeados padrinhos de William Backhouse Astor III.

Em 18 de setembro de 1944, na cidade de Nova York, Astor casou-se pela segunda vez com Gertrude Gretsch (1923–1999), filha de Walter e Gertrude Gretsch. Eles se divorciaram em 2 de agosto de 1954, após uma separação de quatro anos, embora o divórcio mexicano tenha sido considerado inválido em 1956. O divórcio americano logo se seguiu. Antes da separação e do divórcio, o casal teve uma filha:

• Mary Jacqueline “Jackie” Astor (n. 1949), que se casou com John Rozet Drexel IV (n. 1945) , um filho de John Rozet Drexel III (1919–2007) e Mildred Sophia Noreen Stonor (1922–2012), em 1984. John é um bisneto 2x do banqueiro Anthony Joseph Drexel e um neto de Ralph Stonor, 5º Barão Camoys.

Em 6 de agosto de 1954, Astor casou-se pela terceira vez com Dolores Margaret “Dolly” Fullman (nascida em 1928) em Arlington, Virgínia. foi o segundo casamento de Dolly, de 26 anos. Eles se separaram logo depois de retornar da lua de mel e se divorciaram.

Astor se casou com sua quarta e última esposa, Sue Sandford, em 1956. Eles permaneceram casados até a morte dela em 1985.

Astor morreu em Miami Beach, Flórida, em 1992, aos 79 anos. Seu corpo foi devolvido a Nova York para ser enterrado com seus pais no cemitério da Igreja da Trindade. Ele deixou seu filho, sua filha, três netos e seu meio-irmão mais novo.

DescendantsEdit

Através de sua filha, Astor foi avô de Nicholas Astor Drexel (n. 1988).