Er wordt gedacht dat fluwelen cake zijn oorsprong vond in Maryland in het begin van de 20e eeuw. Vanaf de 19e eeuw werd “fluwelen” cake, een zachte en fluweelzachte kruimeltaart, geserveerd als een chique dessert, in tegenstelling tot wat de meer gebruikelijke, grover verkruimelde cake was geweest. Rond dezelfde tijd werd de voedselcake van de duivel geïntroduceerd, en zo denken sommigen dat roodfluwelen cake tot stand kwam. Het verschil tussen de twee cakes is dat de voedselcake van de duivel chocolade gebruikt en de cake van rood fluweel cacao.

Toen voedsel tijdens de Tweede Wereldoorlog werd gerantsoeneerd, gebruikten bakkers gekookte bietensap om de kleur van hun cakes te versterken. Rode biet is te vinden in sommige recepten voor roodfluwelen cake. Rode biet werd en wordt in sommige recepten gebruikt als vulmiddel of om vocht vast te houden. Adams Extract, een Texaans bedrijf, wordt gecrediteerd voor het brengen van de roodfluwelen cake naar keukens in heel Amerika tijdens het tijdperk van de Grote Depressie, door als een van de eersten rode kleurstof en andere smaakextracten te verkopen met behulp van posters op het verkooppunt. en scheur receptkaarten af. De cake en het originele recept zijn goed bekend in de Verenigde Staten van het beroemde Waldorf-Astoria Hotel in New York City, dat de confectie Waldorf-Astoria-cake heeft genoemd. Het wordt echter algemeen beschouwd als een zuidelijk recept. Traditioneel roodfluwelen cake is ijskoud met een Franse stijl boter roux glazuur (ook wel hermelijn glazuur genoemd), dat erg licht en luchtig is, maar tijdrovend om te bereiden. Roomkaasglazuur en buttercream glazuur zijn variaties die in populariteit zijn toegenomen.

In Canada was de cake in de jaren ’40 en ’50 een bekend dessert in de restaurants en bakkerijen van de warenhuisketen Eaton. Gepromoot als een exclusief recept van Eaton, met medewerkers die het recept wisten te zwijgen, geloofden velen ten onrechte dat de cake de uitvinding was van de matriarch van het warenhuis, Lady Eaton.

In de afgelopen jaren, red velvet cake en roodfluwelen cupcakes zijn steeds populairder geworden in de VS en veel Europese landen, vooral rond Kerstmis en recenter Valentijnsdag. Een heropleving van de populariteit van deze cake wordt door sommigen toegeschreven aan de film Steel Magnolias (1989), die een roodfluwelen bruidegomtaart bevatte gemaakt in de vorm van een gordeldier. Magnolia Bakery in Manhattan serveert het sinds de opening in 1996 , net als restaurants die bekend staan om hun zuidelijke keuken, zoals Amy Ruth’s in Harlem, dat in 1998 werd geopend. In 2000 opende Cake Man Raven in Brooklyn een van de eerste bakkerijen die zich toelegden op de cake.