John Harvard era filho de um açougueiro e filha de um comerciante de gado e vereador de Stratford-on-Avon. A praga matou seu pai e a maioria de seus irmãos e irmãs em 1625. Sua mãe se casou novamente, e John foi enviado por sua mãe e seu padrasto para o Emmanuel College, Cambridge, em 1627. Ele se formou em 1631 e concluiu o mestrado em 1635. Casou-se em 1636 e navegou para a Nova Inglaterra no ano seguinte.
Em 2 de novembro de 1637, Harvard tornou-se um homem livre em Charlestown, Massachusetts Bay Colony, onde imediatamente foi reconhecido como um homem culto e piedoso. Ele serviu como pastor assistente da Primeira Igreja de Charlestown e foi nomeado membro do comitê para ajudar a compilar o Corpo de Liberdades.
Harvard havia herdado uma propriedade considerável na Inglaterra e era mais rico do que a maioria de seus contemporâneos coloniais. Quando ele morreu de tuberculose, um pouco menos de um ano depois de chegar a Charlestown, ele deixou uma herança de cerca de £ 1.600. Em seu testamento, ele ordenou que metade de seu dinheiro, junto com sua coleção de literatura clássica e teológica, fosse doada para uma escola recentemente criada na vizinha New Towne, que logo seria renomeada para Cambridge. A escola foi fundada em 1636, e o dom de Harvard garantiu seu funcionamento contínuo. Em 1639, o Tribunal Geral de Massachusetts decretou que a escola fosse nomeada Harvard College em gratidão ao seu primeiro grande benfeitor.
Em 1828, ex-alunos de Harvard ergueram um monumento de granito em memória de John Harvard e uma estátua sentada do “sempre memorável benfeitor do aprendizado e da religião na América”, como Edward Everett o chamou , foi dado à Universidade de Harvard em 1884.