Fort Wagner, care face parte din formidabilele apărări confederate ale portului Charleston, a fost construit pe insula Morris, la marginea sudică a golfului. Zidurile pline de pământ și nisip de 30 de metri înălțime ale fortului protejau 14 piese de artilerie grele care puteau suporta atacatorii sau navele de război care încercau să intre în port. Marina Uniunii a încercat să reducă apărarea Charleston la începutul anului 1863 cu puțin succes. Iunie, generalul de brigadă Quincy Gillmore a încercat să captureze bateriile de pe insula Morris și să le folosească împotriva Fort Sumter, la intrarea portului. Pe 11 iunie, Gillmore a ordonat un atac asupra Fortului Wagner cu o brigadă, care a avut puțin succes. Capul său de plajă a fost întărit și Gillmore a făcut planuri de a ataca din nou fortul. La amurgul zilei de 18 iulie, un atac condus de infanteria 54 din Massachusetts, un regiment afro-american, a luat cu asalt și a capturat gropile exterioare ale puștii din jurul fortului. Colonelul unității, Robert Gould Shaw, a fost ucis. Alte nouă regimente din două brigăzi au escaladat parapetul și au intrat în fort, dar după o luptă brutală corp la corp au fost alungate cu pierderi grele. Fără a fi convinși de succesul atacurilor frontale, federalii au recurs la operațiuni de asediu pe uscat și pe mare pentru a reduce fortul. Confederații au abandonat Fortul Wagner la 7 septembrie 1863, după ce au rezistat 60 de zile de bombardamente. Cel de-al 54-lea Massachusetts a jucat un rol crucial în luptă, dovedind scepticilor că soldații afro-americani vor lupta curajos dacă li se va da ocazia.