John Harvard war der Sohn eines Metzgers und der Tochter eines Viehhändlers und Stadtrats von Stratford-on-Avon. Die Pest tötete 1625 seinen Vater und die meisten seiner Brüder und Schwestern. Seine Mutter heiratete erneut, und John wurde 1627 von seiner Mutter und seinem Stiefvater an das Emmanuel College in Cambridge geschickt. Er schloss sein Studium 1631 ab und erhielt 1635 einen Master-Abschluss. Er heiratete 1636 und segelte im folgenden Jahr nach Neuengland.

Am 2. November 1637 wurde Harvard Freeman der Charlestown, Massachusetts Bay Colony, wo er sofort als gelehrter und frommer Mann anerkannt wurde. Er diente als stellvertretender Pastor der Ersten Kirche von Charlestown und wurde zum Mitglied des Komitees ernannt, um bei der Zusammenstellung des Körpers der Freiheiten zu helfen.

Harvard hatte beträchtliches Vermögen in England geerbt und war reicher als die meisten anderen seiner kolonialen Zeitgenossen. Als er etwas weniger als ein Jahr nach seiner Ankunft in Charlestown an Tuberkulose starb, hinterließ er ein Anwesen von etwa 1.600 Pfund. In seinem Testament wies er an, dass die Hälfte seines Geldes zusammen mit seiner Sammlung klassischer und theologischer Literatur an eine Schule weitergegeben wird, die kürzlich im benachbarten New Towne gegründet wurde und bald in Cambridge umbenannt wird. Die Schule wurde 1636 gegründet und Harvards Geschenk sicherte den weiteren Betrieb. 1639 verfügte das Gericht von Massachusetts, dass die Schule aus Dankbarkeit für ihren ersten großen Wohltäter zum Harvard College ernannt werden sollte.

1828 errichteten Harvard-Alumni ein Granitdenkmal zu John Harvards Gedenken und eine sitzende Statue des „unvergesslichen Wohltäters des Lernens und der Religion in Amerika“, wie Edward Everett ihn nannte wurde 1884 an die Harvard University übergeben.