Acredita-se que o bolo de veludo tenha se originado em Maryland no início do século XX. A partir do século XIX, o bolo “veludo”, um bolo de miolo macio e aveludado, passou a ser servido como sobremesa requintada, ao contrário do que era mais comum, o bolo ralado mais grosso. Na mesma época, foi introduzido o bolo de comida do diabo, que é como alguns acreditam que o bolo de veludo vermelho surgiu. A diferença entre os dois bolos é que o bolo de comida do diabo usa chocolate e o bolo de veludo vermelho usa cacau.
Quando os alimentos eram racionados durante a Segunda Guerra Mundial, os padeiros usavam sucos de beterraba fervida para realçar a cor de seus bolos. A beterraba é encontrada em algumas receitas de bolo de veludo vermelho. A beterraba foi e é usada em algumas receitas como enchimento ou para reter umidade. Adams Extract, uma empresa texana, tem o crédito de trazer o bolo de veludo vermelho para cozinhas em toda a América durante a era da Grande Depressão, por ser uma das primeiras a vender corante alimentar vermelho e outros extratos de sabor com o uso de pôsteres de ponto de venda e cartões destacáveis de receita. O bolo e sua receita original são bem conhecidos nos Estados Unidos devido ao famoso Waldorf-Astoria Hotel de Nova York, que apelidou o bolo de confeitaria Waldorf-Astoria. No entanto, é amplamente considerado uma receita do Sul. Tradicionalmente, o bolo de veludo vermelho é coberto com uma cobertura de manteiga roux ao estilo francês (também chamada de cobertura de arminho), que é muito leve e fofa, mas demorada para preparar. A cobertura de cream cheese e buttercream são variações que aumentaram em popularidade.
No Canadá, o bolo era uma sobremesa bem conhecida nos restaurantes e padarias da rede de lojas de departamentos Eaton nas décadas de 1940 e 1950. Promovido como uma receita exclusiva da Eaton, com funcionários que conheciam a receita jurando silenciar, muitos acreditaram erroneamente que o bolo era invenção da matriarca da loja de departamentos, Lady Eaton.
Nos últimos anos, bolo de veludo vermelho e os cupcakes de veludo vermelho tornaram-se cada vez mais populares nos Estados Unidos e em muitos países europeus, especialmente no Natal e, mais recentemente, no Dia dos Namorados. O ressurgimento da popularidade desse bolo é atribuído por alguns ao filme Steel Magnolias (1989), que incluiu um bolo de noivo de veludo vermelho feito em forma de tatu. Magnolia Bakery em Manhattan o serve desde sua inauguração em 1996 , assim como restaurantes conhecidos por sua culinária sulista, como o Amy Ruth “s no Harlem, inaugurado em 1998. Em 2000, Cake Man Raven abriu uma das primeiras padarias dedicadas ao bolo no Brooklyn.
