Se crede că tortul de catifea își are originea în Maryland la începutul secolului al XX-lea. Începând cu secolul al XIX-lea, prăjitura „de catifea”, o prăjitură de pesmet moale și catifelată, a ajuns să fie servită ca un desert de lux, spre deosebire de ceea ce fusese prăjitura mai obișnuită, fărâmițată. În același timp, a fost introdus tortul cu mâncare al diavolului, așa cum unii cred că a apărut tortul din catifea roșie. Diferența dintre cele două torturi este că tortul cu mâncare al diavolului folosește ciocolată, iar tortul din catifea roșie folosește cacao.
Când alimentele erau raționate în timpul celui de-al doilea război mondial, brutarii foloseau sucuri de sfeclă roșie fierte pentru a spori culoarea prăjiturilor lor. Sfecla roșie se găsește în unele rețete de tort de catifea roșie. Sfecla roșie a fost și este utilizată în unele rețete ca umplutură sau pentru a reține umezeala. Adams Extract, o companie texană, este creditată cu faptul că a adus tortul de catifea roșie în bucătăriile din toată America în epoca Marii Depresiuni, fiind unul dintre primii care au vândut coloranți alimentari roșii și alte extracte aromate cu ajutorul afișelor la punctul de vânzare și cărți de rețetă de rupere. Tortul și rețeta sa originală sunt bine cunoscute în Statele Unite din celebrul hotel Waldorf-Astoria din New York, care a numit tortul Waldorf-Astoria de confecție. Cu toate acestea, este considerat pe scară largă o rețetă sudică. În mod tradițional, tortul din catifea roșie este înghețat cu o glazură în stil francez roux (denumită și glazură de ermină), care este foarte ușoară și pufoasă, dar consumă mult timp pentru preparare. Glazura de brânză cremă și glazura de cremă de unt sunt variații care au crescut în popularitate.
n Canada, tortul era un desert binecunoscut în restaurantele și brutăriile lanțului de magazine universale Eaton în anii 1940 și 1950. Promovată ca o rețetă exclusivă a lui Eaton, cu angajații care știau rețeta jurată să tacă, mulți au crezut din greșeală că tortul a fost invenția matriarhului magazinelor mari, Lady Eaton.
În ultimii ani, tortul din catifea roșie și cupcakesurile din catifea roșie au devenit din ce în ce mai populare în SUA și în multe țări europene, în special în preajma Crăciunului și mai recent de Ziua Îndrăgostiților. O revigorare a popularității acestui tort este atribuită de unii filmului Steel Magnolias (1989), care a inclus un tort al mirelui din catifea roșie realizat în formă de armadillo. Magnolia Bakery din Manhattan a servit-o de la deschiderea sa în 1996 , la fel ca și restaurantele cunoscute pentru bucătăria sudică, precum Amy Ruth în Harlem, care a fost deschisă în 1998. În 2000, Cake Man Raven a deschis una dintre primele brutării dedicate tortului din Brooklyn.
