Fløjlkage menes at have sin oprindelse i Maryland tidligt i det 20. århundrede. Begyndende i det 19. århundrede blev “fløjl” kage, en blød og fløjlsagtig krummekage, serveret som en fin dessert i modsætning til hvad der havde været den mere almindelige, grovere krummerede kage. Omkring samme tid blev djævelens madkage introduceret, hvilket er, hvordan nogle mener, at rød fløjlkage opstod. Forskellen mellem de to kager er, at djævelens madkage bruger chokolade og rød fløjlkage bruger kakao.
Da madvarer blev rationeret under Anden Verdenskrig, brugte bagere kogte rødbedsaft til at forbedre farven på deres kager. Rødbeder findes i nogle opskrifter med rød fløjlkage. Rødbeder var og bruges i nogle opskrifter som fyldstof eller til at bevare fugt. Adams Extract, et texansk selskab, krediteres for at bringe den røde fløjlkage til køkkener over hele Amerika under den store depression, ved at være en af de første til at sælge rød madfarve og andre smagsekstrakter ved brug af salgsplakater. og afrivningskort. Kagen og dens originale opskrift er velkendte i USA fra New York Citys berømte Waldorf-Astoria Hotel, der har døbt konfekturen Waldorf-Astoria kage. Den betragtes dog bredt som en sydlig opskrift. Traditionelt rød fløjlkage er iset med en smør roux-glasur i fransk stil (også kaldet ermine-icing), som er meget let og fluffy, men tidskrævende at tilberede. Cremeost-frost og buttercream-frosting er variationer, der er steget i popularitet. p> I Canada var kagen en velkendt dessert i restauranterne og bagerierne i Eatons stormagasinkæde i 1940’erne og 1950’erne. Forfremmet som en eksklusiv Eatons opskrift med medarbejdere, der kendte opskriften svoret til tavshed, troede mange fejlagtigt, at kagen var opfindelsen af stormagasinens matriark, Lady Eaton.
I de senere år, rød fløjlkage og cupcakes med rødt fløjl er blevet stadig mere populære i USA og mange europæiske lande, især omkring jul og for nylig Valentinsdag. Nogle tilskrives populariteten af denne kage til filmen Steel Magnolias (1989), som indeholdt en kage af rødt fløjlsbrudgom lavet i form af et bæltedyr. Magnolia Bakery på Manhattan har serveret den siden åbningen i 1996 , ligesom restauranter kendt for deres sydlige madlavning som Amy Ruth i Harlem, der åbnede i 1998. I 2000 åbnede Cake Man Raven et af de første bagerier, der var viet til kagen i Brooklyn.
