Si pensa che la torta di velluto abbia avuto origine nel Maryland all’inizio del XX secolo. A partire dal XIX secolo, la torta “vellutata”, una torta di briciole morbida e vellutata, venne servita come dessert di fantasia, in contrasto con quella che era stata la torta più comune e più grossolana. Più o meno nello stesso periodo, fu introdotta la torta alimentare del diavolo, ed è così che alcuni credono che sia nata la torta di velluto rosso. La differenza tra le due torte è che la torta di cibo del diavolo usa il cioccolato e la torta di velluto rosso usa il cacao.

Quando gli alimenti venivano razionati durante la seconda guerra mondiale, i fornai utilizzavano succhi di barbabietola bollita per esaltare il colore delle loro torte. La barbabietola si trova in alcune ricette di torte di velluto rosso. La barbabietola era ed è usata in alcune ricette come riempitivo o per trattenere l’umidità. Adams Extract, una società texana, è accreditata di aver portato la torta di velluto rosso nelle cucine di tutta l’America durante l’era della Grande Depressione, essendo uno dei primi a vendere coloranti alimentari rossi e altri estratti aromatici con l’uso di poster nei punti vendita e schede con ricette a strappo. La torta e la sua ricetta originale sono ben conosciute negli Stati Uniti dal famoso Waldorf-Astoria Hotel di New York City, che ha soprannominato la confezione torta Waldorf-Astoria. Tuttavia, è ampiamente considerata una ricetta del sud. Tradizionalmente, torta di velluto rosso è glassato con una glassa al burro alla francese (chiamata anche glassa di ermellino), che è molto leggera e soffice, ma richiede molto tempo per la preparazione. La glassa di crema di formaggio e la glassa di crema al burro sono variazioni che sono aumentate in popolarità.

In Canada, negli anni Quaranta e Cinquanta la torta era un dolce rinomato nei ristoranti e nelle panetterie della catena di grandi magazzini Eaton. Promossa come ricetta esclusiva di Eaton, con dipendenti che la conoscevano giurarono di tacere, molti credevano erroneamente che la torta fosse un’invenzione della matriarca dei grandi magazzini, Lady Eaton.

Negli ultimi anni, torta di velluto rosso e i cupcakes di velluto rosso sono diventati sempre più popolari negli Stati Uniti e in molti paesi europei, soprattutto a Natale e più recentemente a San Valentino. Una rinascita nella popolarità di questa torta è attribuita da alcuni al film Steel Magnolias (1989), che includeva una torta da sposo di velluto rosso fatta a forma di armadillo. La Magnolia Bakery a Manhattan l’ha servita sin dalla sua apertura nel 1996 , così come i ristoranti noti per la loro cucina meridionale come Amy Ruth’s ad Harlem, inaugurato nel 1998. Nel 2000, Cake Man Raven ha aperto una delle prime panetterie dedicate alla torta a Brooklyn.