Fløyelkake antas å ha sin opprinnelse i Maryland tidlig på 1900-tallet. Begynnelsen på 1800-tallet ble «fløyels» kake, en myk og fløyelsaktig smulkake, servert som en fancy dessert, i motsetning til det som hadde vært den vanligste, grovere smuldrede kaken. Omtrent samtidig ble djevelens matkake introdusert, det er slik noen mener at rød fløyelkake kom til. Forskjellen mellom de to kakene er at djevelens matkake bruker sjokolade og rød fløyelkake bruker kakao.
Da maten ble rasjonert under andre verdenskrig, brukte bakere kokt rødbeterjuice for å forbedre fargen på kakene sine. Rødbeter finnes i noen oppskrifter med rød fløyelkake. Rødbeter var og brukes i noen oppskrifter som fyllstoff eller for å beholde fuktighet. Adams Extract, et texansk selskap, er kreditert for å ha brakt den røde fløyelkaken til kjøkken over hele Amerika under den store depresjonstiden, ved å være en av de første som solgte rød matfargestoffer og andre smaksekstrakter ved bruk av salgsplakater. og avrivningskort. Kaken og den originale oppskriften er velkjent i USA fra New York Citys berømte Waldorf-Astoria Hotel, som har kalt konfekt Waldorf-Astoria-kake. Den blir imidlertid ansett som en sørlig oppskrift. Tradisjonelt rød fløyelkake er iset med en smør roux-glasur i fransk stil (også kalt ermine-glasur), som er veldig lett og luftig, men tidkrevende å tilberede. Kremostfrost og smørkremfrosting er variasjoner som har økt i popularitet.
I Canada var kaken en kjent dessert i restaurantene og bakeriene til Eatons varehuskjede på 1940- og 1950-tallet. Fremme som en eksklusiv Eatons oppskrift, med ansatte som kjente oppskriften sverget til taushet, trodde mange feilaktig at kaken var oppfinnelsen til stormagasinens matriark, Lady Eaton.
De siste årene, rød fløyelskake cupcakes med rød fløyel har blitt stadig mer populære i USA og mange europeiske land, spesielt rundt jul og nylig Valentinsdag. En oppblomstring i populariteten til denne kaken tilskrives noen til filmen Steel Magnolias (1989), som inkluderte en rød fløyels brudgommekake laget i form av en armadillo. Magnolia Bakery på Manhattan har servert den siden åpningen i 1996 , i likhet med restauranter kjent for sin sørlige matlaging som Amy Ruth i Harlem, som åpnet i 1998. I 2000 åpnet Cake Man Raven et av de første bakeriene viet kaken i Brooklyn.
