La montaña de San Gorgonio fue originalmente conocida como «Old Grayback» por los lugareños hasta que fue designada oficialmente por el Servicio Geológico de los Estados Unidos (de herencia española) en el mapa topográfico original del área producido en 1899. A 11,502 pies, es el pico más alto de California al sur de las Sierras. El desierto de San Gorgonio deriva su nombre de este pico dentro de sus límites. The Wilderness está ubicado en la parte sureste de las montañas de San Bernardino en tierras administradas por el Bosque Nacional de San Bernardino y la Oficina de Administración de Tierras. La mayor parte del desierto está por encima del nivel de 7,000 pies. Dos ríos (que se llamarían arroyos en cualquier lugar menos en el sur de California), el Santa Ana y el White, fluyen desde el desierto. Los numerosos arroyos en el Área Silvestre no siempre fluyen a fines del verano, y localizar agua puede ser difícil. Dos pequeños lagos, varios prados y grandes áreas densamente boscosas proporcionan un hermoso oasis subalpino en las tierras secas que rodean la cordillera. El ambiente aislado contiene muchas especies de plantas y animales amenazadas y en peligro de extinción, así como osos, ciervos, pumas y borrego cimarrón. La cumbre del pico San Bernardino de 10,624 pies proporcionó el punto inicial en 1852 desde el cual se examinó todo el sur de California. Hay más de 20 millas de Pacific Crest National Scenic Trail en la parte BLM y 81 millas de senderos en la parte del Bosque Nacional de Wilderness.