Se cree que el pastel de terciopelo se originó en Maryland a principios del siglo XX. A partir del siglo XIX, el pastel de «terciopelo», un pastel de migas suave y aterciopelado, llegó a ser servido como un postre elegante, en contraste con lo que había sido el pastel más común y más grueso. Aproximadamente al mismo tiempo, se introdujo el pastel de comida del diablo, que es como algunos creen que surgió el pastel de terciopelo rojo. La diferencia entre los dos pasteles es que el pastel de comida del diablo usa chocolate y el pastel de terciopelo rojo usa cacao.
Cuando se racionaron los alimentos durante la Segunda Guerra Mundial, los panaderos utilizaron jugos de remolacha hervidos para realzar el color de sus pasteles. La remolacha se encuentra en algunas recetas de pasteles de terciopelo rojo. La remolacha se usaba y se usa en algunas recetas como relleno o para retener la humedad. Adams Extract, una empresa de Texas, tiene el mérito de llevar el pastel de terciopelo rojo a las cocinas de todo Estados Unidos durante la era de la Gran Depresión, al ser uno de los primeros en vender colorante rojo para alimentos y otros extractos de sabor con el uso de carteles en los puntos de venta. y tarjetas de recetas desprendibles. El pastel y su receta original son bien conocidos en los Estados Unidos por el famoso hotel Waldorf-Astoria de la ciudad de Nueva York, que ha recibido el nombre de pastel de confección Waldorf-Astoria. Sin embargo, se considera una receta sureña. Tradicionalmente, el pastel de terciopelo rojo está cubierto con un glaseado de roux de mantequilla al estilo francés (también llamado glaseado de armiño), que es muy ligero y esponjoso, pero requiere mucho tiempo de preparación. El glaseado de queso crema y el glaseado de crema de mantequilla son variaciones que han aumentado en popularidad.
En Canadá, el pastel era un postre muy conocido en los restaurantes y panaderías de la cadena de grandes almacenes Eaton en las décadas de 1940 y 1950. Promocionado como una receta exclusiva de Eaton, con los empleados que conocían la receta juraron guardar silencio, muchos creyeron erróneamente que el pastel era una invención de la matriarca de los grandes almacenes, Lady Eaton.
En los últimos años, el pastel de terciopelo rojo y los cupcakes de terciopelo rojo se han vuelto cada vez más populares en los Estados Unidos y en muchos países europeos, especialmente en Navidad y, más recientemente, en el Día de San Valentín. Algunos atribuyen un resurgimiento en la popularidad de este pastel a la película Steel Magnolias (1989), que incluía un pastel de terciopelo rojo con forma de armadillo. Magnolia Bakery en Manhattan lo ha servido desde su inauguración en 1996 , al igual que restaurantes conocidos por su cocina sureña como Amy Ruth’s en Harlem, que abrió sus puertas en 1998. En 2000, Cake Man Raven abrió una de las primeras panaderías dedicadas al pastel en Brooklyn.
