Předpokládá se, že sametový dort vznikl v Marylandu na počátku 20. století. Počínaje 19. stoletím se „sametový“ dort, jemný a sametový drobkový dort, začal nabízet jako ozdobný dezert, na rozdíl od toho běžnějšího, hrubšího dortu. Přibližně ve stejnou dobu byl představen ďábelský potravinářský dort, což je způsob, jakým někteří věří, že dort z červeného sametu vznikl. Rozdíl mezi těmito dvěma dorty spočívá v tom, že ďábelský potravinářský dort používá čokoládu a červený sametový dort používá kakao.

Když byly potraviny rozdělovány během druhé světové války, pekaři používali vařené šťávy z červené řepy, aby vylepšili barvu svých koláčů. Červená řepa se nachází v některých receptech na dorty z červeného sametu. Červená řepa byla a používá se v některých receptech jako plnivo nebo k udržení vlhkosti. Adams Extract, texaská společnost, se zaslouží o to, že přinesl červený sametový dort do kuchyní po celé Americe během éry Velké hospodářské krize, protože byl jedním z prvních, kdo prodával červená potravinářská barviva a další chuťové výtažky pomocí plakátů v místě prodeje a odtrhávací karty receptů. Dort a jeho originální receptura jsou ve Spojených státech dobře známé ze slavného newyorského hotelu Waldorf-Astoria, který nazval cukroví Waldorf-Astoria. Je však široce považován za jižní recept. Tradičně červený sametový dort je ledová s máslovou polevou ve francouzském stylu (také nazývaná ermine polevou), která je velmi lehká a nadýchaná, ale její příprava je časově náročná. Variace, které si získaly popularitu, jsou poleva smetanového sýra a poleva krémem.

V Kanadě byl dort ve 40. a 50. letech 20. století známým dezertem v restauracích a pekárnách řetězce obchodních domů Eaton. Mnoho lidí, kteří byli propagováni jako exkluzivní recept společnosti Eaton, se zaměstnanci, kteří tento recept znali, přísahali mlčení, se mylně domnívali, že dort byl vynálezem matriarchy obchodního domu Lady Eaton.

V posledních letech dort z červeného sametu a košíčky z červeného sametu se staly stále populárnějšími v USA a mnoha evropských zemích, zejména kolem Vánoc a nověji na Valentýna. Obnovu popularity tohoto dortu připisují někteří filmu Steel Magnolias (1989), který zahrnoval dort s červeným sametovým ženichem vyrobený ve tvaru pásovce. Pekárna Magnolia na Manhattanu jej obsluhuje od svého otevření v roce 1996. , stejně jako restaurace známé pro svou jižní kuchyni, jako je Amy Ruth v Harlemu, která byla otevřena v roce 1998. V roce 2000 společnost Cake Man Raven otevřela jednu z prvních pekáren věnovaných dortu v Brooklynu.