Sammetskaka antas ha sitt ursprung i Maryland tidigt på 1900-talet. Från och med 1800-talet serverades ”sammet” -kaka, en mjuk och sammetslen smulkaka, som en fin efterrätt, i motsats till vad som hade varit den vanligaste, grovkrossade kakan. Vid ungefär samma tid introducerades djävulens matkaka, vilket är en del som tror att röd sammetkaka kom till. Skillnaden mellan de två kakorna är att djävulens matkaka använder choklad och röd sammetkaka använder kakao. p>
När maten ransonerades under andra världskriget använde bagare kokt rödbetjuice för att förbättra färgen på sina kakor. Rödbeta finns i några recept för röd sammetkaka. Rödbetor användes och används i vissa recept som fyllmedel eller för att behålla fukt. Adams Extract, ett texanskt företag, krediteras för att ha tagit den röda sammetkakan till kök över hela Amerika under den stora depressionstiden, genom att vara en av de första som säljer röd matfärg och andra smaktextrakt med användning av försäljningsaffischer. och avrivna receptkort. Kakan och dess ursprungliga recept är välkända i USA från New York Citys berömda Waldorf-Astoria Hotel, som har kallat konfekt Waldorf-Astoria-kakan. Det anses dock allmänt vara ett sydligt recept. Traditionellt röd sammetkaka är isad med en fransk stil smör roux glasyr (även kallad ermine icing), som är mycket lätt och fluffigt men tidskrävande att förbereda. Gräddostfrostning och smörkrämfrostning är variationer som har ökat i popularitet.
I Kanada var kakan en välkänd efterrätt i restaurangerna och bagerierna i Eatons varuhuskedja på 1940- och 1950-talet. Marknadsfördes som ett exklusivt Eatons recept, med anställda som kände receptet svurit till tystnad, många trodde felaktigt att kakan var uppfinningen av varuhusets matriark, Lady Eaton.
De senaste åren, röd sammetkaka muffins med rött sammet har blivit allt populärare i USA och många europeiska länder, särskilt runt jul och nyligen alla hjärtans dag. En uppgång i populariteten för denna kaka tillskrivs av vissa till filmen Steel Magnolias (1989), som inkluderade en röd sammet brudgums kaka gjord i form av en armadillo. Magnolia Bakery på Manhattan har serverat den sedan den öppnades 1996 , liksom restauranger som var kända för sin sydliga matlagning som Amy Ruth i Harlem, som öppnade 1998. År 2000 öppnade Cake Man Raven ett av de första bagerierna som ägnas åt kakan i Brooklyn.