Uważa się, że ciasto aksamitne powstało w Maryland na początku XX wieku. Od XIX wieku „aksamitne” ciasto, miękkie i aksamitne ciasto z miękiszu, zaczęło być podawane jako fantazyjny deser, w przeciwieństwie do tego, co było bardziej powszechne, ciasto o grubszej panierce. Mniej więcej w tym samym czasie wprowadzono diabelski tort z jedzeniem, tak niektórzy uważają, że powstał czerwony aksamitny tort. Różnica między tymi dwoma ciastami polega na tym, że diabelskie ciasto z jedzeniem zawiera czekoladę, a czerwone aksamitne kakao.

Podczas reglamentacji żywności podczas II wojny światowej piekarze używali gotowanych soków z buraków, aby wzmocnić kolor swoich ciast. Buraki można znaleźć w niektórych przepisach na ciasta z czerwonego aksamitu. Buraki były i są używane w niektórych przepisach jako wypełniacz lub do zatrzymywania wilgoci. Firma Adams Extract, teksańska firma, jest uznawana za dostawcę czerwonego aksamitnego ciasta do kuchni w całej Ameryce w czasach Wielkiego Kryzysu, jako jedna z pierwszych sprzedających czerwone barwniki spożywcze i inne ekstrakty smakowe za pomocą plakatów w punktach sprzedaży. i odrywane karty z przepisami. Ciasto i jego oryginalna receptura są dobrze znane w Stanach Zjednoczonych ze słynnego hotelu Waldorf-Astoria w Nowym Jorku, który nazwał ciasto cukiernicze Waldorf-Astoria. Jednak jest ono powszechnie uważane za przepis z Południa. Tradycyjnie ciasto z czerwonego aksamitu jest oblany francuskim polewą maślaną (zwaną również gronostajem), która jest bardzo lekka i puszysta, ale czasochłonna w przygotowaniu. Lukier twarogowy i kremowy to odmiany, które zyskały na popularności.

W Kanadzie ciasto było znanym deserem w restauracjach i piekarniach sieci domów towarowych Eaton w latach czterdziestych i pięćdziesiątych XX wieku. Promowany jako ekskluzywny przepis firmy Eaton, a pracownicy, którzy znali przepis, zaprzysięgli milczenie, wielu błędnie uważało, że ciasto było wymysłem matki domu towarowego, Lady Eaton.

W ostatnich latach tort z czerwonego aksamitu babeczki z czerwonego aksamitu stają się coraz bardziej popularne w Stanach Zjednoczonych i wielu krajach europejskich, zwłaszcza w okresie Bożego Narodzenia, a ostatnio w Walentynki. Odrodzenie popularności tego ciasta jest przypisywane przez niektórych filmowi Stalowe magnolie (1989), który zawierał czerwony aksamitny tort pana młodego w kształcie pancernika. Piekarnia Magnolia na Manhattanie służyła mu od jej otwarcia w 1996 roku. , podobnie jak restauracje znane ze swojej południowej kuchni, takie jak Amy Ruth w Harlemie, które zostały otwarte w 1998 roku. W 2000 roku Cake Man Raven otworzył jedną z pierwszych piekarni zajmujących się ciastami na Brooklynie.