San Gorgonio-bjerget blev oprindeligt kendt som “Old Grayback” af lokalbefolkningen, indtil den officielt blev udpeget af US Geological Survey (fra den spanske arv) på det originale topografiske kort over området produceret i 1899. Ved 11.502 fod er det den højeste top i Californien syd for Sierras. San Gorgonio-ørkenen stammer fra dette højdepunkt inden for dets grænser. Ørkenen ligger i den sydøstlige del af San Bernardino-bjergene på landområder administreret af San Bernardino National Forest og Bureau of Land Management. Det meste af ørkenen er over 7.000 fods niveau. To floder (som ville kaldes åer hvor som helst men i det sydlige Californien), Santa Ana og den Hvide, strømmer ud af ørkenen. De mange vandløb i vildmarksområdet flyder ikke altid i sensommeren, og det kan være svært at lokalisere vand. To små søer, flere enge og store, stærkt skovklædte områder giver en smuk subalpin oase i de tørre lande, der omgiver bjergkæden. Det isolerede miljø indeholder mange truede og truede plante- og dyrearter samt bjørn, hjorte, bjergløver og storhornfår. Topmødet om San Bernardino Peak på 10.624 fod tilvejebragte det oprindelige punkt i 1852, hvorfra hele det sydlige Californien blev undersøgt. Der er over 20 miles af Pacific Crest National Scenic Trail i BLM-delen og 81 miles af stier i National Forest-delen af ørkenen.