Úgy gondolják, hogy a bársony torta Marylandből származik a 20. század elején. A 19. századtól kezdve a „bársonyos” süteményt, egy puha és bársonyos morzsás süteményt, díszes desszertként kezdték tálalni, ellentétben azzal, ami eddig a leggyakoribb, durvább morzsájú sütemény volt. Körülbelül ugyanabban az időben bevezették az ördög ételtortáját, amely szerint egyesek úgy gondolják, hogy a vörös bársonyos torta létrejött. A különbség a két sütemény között az, hogy az ördög ételtorta csokoládét, a vörös bársony sütemény pedig kakaót használ.
Amikor az élelmiszereket a második világháború idején adagolták, a pékek főtt céklalevet használtak süteményeik színének fokozására. A cékla megtalálható néhány vörös bársony sütemény receptben. A céklát egyes receptekben töltőanyagként vagy a nedvesség megtartása érdekében használták és használják. Adams Extract, egy texasi cégnek tulajdonítják, hogy a vörös bársonyos süteményt Amerikába juttatta a konyhákba a nagy gazdasági világválság idején, azáltal, hogy az elsők között értékesítette a vörös ételfestékeket és más ízkivonatokat az értékesítés helyén található plakátok segítségével és letéphető receptkártyák. A torta és eredeti receptje jól ismert az Egyesült Államokban New York City híres Waldorf-Astoria szállodájából, amely Waldorf-Astoria süteménynek nevezte el a cukrot. Azonban széles körben déli receptnek tekintik. Hagyományosan vörös bársony torta francia stílusú vaj roux jegesedéssel (más néven hermelin jegesedéssel) jegesítik, amely nagyon könnyű és bolyhos, de előkészítése időigényes. A krémsajt és a vajkrém jegesedés változatok egyre népszerűbbek.
Kanadában a torta az 1940-es és 1950-es években jól ismert desszert volt az Eaton áruházlánc éttermeiben és pékségeiben. Az Eaton exkluzív receptjeként népszerűsítették, és a receptet ismerő alkalmazottak csendre esküdtek, sokan tévesen hitték, hogy a torta az áruházi matriarcha, Lady Eaton találmánya volt.
Az elmúlt években vörös bársony torta és a vörös bársonyos cupcakes egyre népszerűbbé vált az Egyesült Államokban és számos európai országban, főleg karácsony és újabban Valentin-nap környékén. A sütemény népszerűségének újbóli fellendülésének köszönhető az Steel Magnolias (1989) című filmnek, amely egy vörös bársony vőlegény pogácsa alakú tortáját tartalmazta. A manhattani Magnolia Bakery 1996-os megnyitása óta szolgált. , valamint a déli konyhájukról ismert éttermek, például Amy Ruth Harlemben, amely 1998-ban nyílt meg. 2000-ben a Cake Man Raven Brooklynban megnyitotta az egyik első süteményt szentelő pékséget.
