Fort Wagner, qui fait partie des formidables défenses confédérées du port de Charleston, a été construit sur l’île Morris, à l’extrémité sud de la baie. Les murs de terre et de sable de 30 pieds de haut du fort protégeaient 14 pièces d’artillerie lourde qui pouvaient supporter des assaillants ou des navires de guerre essayant d’entrer dans le port. La marine de l’Union a tenté de réduire les défenses de Charleston au début de 1863 sans grand succès. June, le brigadier général Quincy Gillmore a tenté de capturer les batteries sur l’île Morris et de les utiliser contre Fort Sumter à l’entrée du port. Le 11 juin, Gillmore ordonna un assaut sur Fort Wagner avec une brigade, qui rencontra peu de succès. Sa tête de pont a été renforcée et Gillmore a fait des plans pour attaquer à nouveau le fort. Au crépuscule, le 18 juillet, une attaque menée par le 54th Massachusetts Infantry, un régiment afro-américain, a pris d’assaut et a capturé les fosses extérieures entourant le fort. Le colonel de l’unité, Robert Gould Shaw, a été tué. Neuf autres régiments de deux brigades ont escaladé le parapet et sont entrés dans le fort, mais après un combat au corps à corps brutal, ils ont été chassés avec de lourdes pertes. Peu convaincus du succès des assauts frontaux, les fédéraux recoururent à des opérations de siège terrestre et maritime pour réduire le fort. Les confédérés abandonnèrent le fort Wagner le 7 septembre 1863, après avoir résisté pendant 60 jours aux bombardements. Le 54e Massachusetts a joué un rôle de combat crucial, prouvant aux sceptiques que les soldats afro-américains se battraient courageusement s’ils en avaient la chance.