John Harvard var søn af en slagter og datter af en kvæghandler og rådmand i Stratford-on-Avon. Pesten dræbte sin far og de fleste af hans brødre og søstre i 1625. Hans mor giftede sig igen, og John blev sendt af sin mor og stedfar til Emmanuel College, Cambridge, i 1627. Han blev uddannet i 1631 og modtog en kandidatgrad i 1635. Han giftede sig i 1636 og sejlede til New England året efter.
Den 2. november 1637 blev Harvard frimand i Charlestown, Massachusetts Bay Colony, hvor han straks blev anerkendt som en lærd og from mand. Han fungerede som assistentpastor i den første kirke i Charlestown, og han blev udnævnt til medlem af komitéen for at hjælpe med at sammensætte Liberty Body.
Harvard havde arvet betydelig ejendom i England, og han var rigere end de fleste af hans koloniale samtidige. Da han døde af tuberkulose lidt mindre end et år efter ankomsten til Charlestown, efterlod han en ejendom på ca. £ 1.600. I testamentet instruerede han, at halvdelen af hans penge sammen med sin samling af klassisk og teologisk litteratur skulle gives til en skole, der for nylig blev oprettet i nabolandet New Towne, der snart blev omdøbt til Cambridge. Skolen var grundlagt i 1636, og Harvards gave forsikrede dens fortsatte drift. I 1639 besluttede Massachusetts General Court, at skolen skulle hedde Harvard College i taknemmelighed over for den første store velgørenhed.
I 1828 rejste Harvard-alumner et granitmonument over John Harvards hukommelse og en siddende statue af den “mindeværdige velgører for læring og religion i Amerika”, som Edward Everett kaldte ham , blev givet til Harvard University i 1884.
