Fort Wagner, onderdeel van de formidabele Confederate verdediging van Charleston Harbor, werd gebouwd op Morris Island aan de zuidrand van de baai. De 9 meter hoge, met aarde en zand gevulde muren van het fort beschermden 14 zware artilleriestukken die konden worden uitgeoefend op aanvallers of oorlogsschepen die de haven probeerden binnen te komen. De marine van de Unie probeerde begin 1863 de verdediging van Charleston te verkleinen met weinig succes. Juni, brigadegeneraal Quincy Gillmore probeerde de batterijen op Morris Island te veroveren en ze te gebruiken tegen Fort Sumter in de haveningang. Op 11 juni beval Gillmore een aanval op Fort Wagner met één brigade, die weinig succes had. Zijn bruggenhoofd werd versterkt en Gillmore maakte plannen om het fort opnieuw aan te vallen. In de schemering op 18 juli bestormde een aanval onder leiding van de 54th Massachusetts Infantry, een Afrikaans-Amerikaans regiment, de buitenste geweerkuilen rondom het fort en veroverde deze. De kolonel van de eenheid, Robert Gould Shaw, werd gedood. Negen andere regimenten in twee brigades beklommen de borstwering en gingen het fort binnen, maar na brute man-tegen-man-gevechten werden ze verdreven met zware verliezen. Niet overtuigd van het succes van frontale aanvallen, namen de Federals hun toevlucht tot land- en zeebelegeringen om het fort te verkleinen. De Zuidelijken verlieten Fort Wagner op 7 september 1863, na 60 dagen beschietingen te hebben weerstaan. Het 54th Massachusetts speelde een cruciale gevechtsrol en bewees sceptici dat Afro-Amerikaanse soldaten dapper zouden vechten als ze de kans zouden krijgen.