John Harvard era fiul unui măcelar și al fiicei unui negustor de animale și al consilierului din Stratford-on-Avon. Ciuma l-a ucis pe tatăl său și pe majoritatea fraților și surorilor sale în 1625. Mama sa s-a recăsătorit, iar John a fost trimis de mama și tatăl său vitreg la Colegiul Emmanuel, Cambridge, în 1627. A absolvit în 1631 și a obținut o diplomă de master în 1635. S-a căsătorit în 1636 și a navigat în Noua Anglie anul următor.
La 2 noiembrie 1637, Harvard a devenit liber în colonia Charlestown, Massachusetts Bay, unde a fost imediat recunoscut ca un om învățat și evlavios. A fost pastor asistent al primei biserici din Charlestown și a fost numit membru al comitetului pentru a contribui la compilarea Corpului libertăților.
Harvard a moștenit proprietăți considerabile în Anglia și era mai bogat decât majoritatea a contemporanilor săi coloniali. Când a murit de tuberculoză la puțin mai puțin de un an de la sosirea în Charlestown, a părăsit o moșie de aproximativ 1.600 de lire sterline. În testament, el a dirijat că jumătate din banii săi, împreună cu colecția sa de literatură clasică și teologică, vor fi dați unei școli create recent în vecinul New Towne, care va fi redenumită în curând Cambridge. Școala fusese fondată în 1636, iar darul Harvard a asigurat funcționarea sa continuă. În 1639, Curtea Generală din Massachusetts a decretat ca școala să fie numită Harvard College ca recunoștință pentru primul său binefăcător.
În 1828 absolvenții de la Harvard au ridicat un monument de granit în memoria lui John Harvard și o statuie așezată a „bine-memorabilului binefăcător al învățării și religiei din America”, așa cum îl numea Edward Everett , a fost dat Universității Harvard în 1884.