Geschützt durch die Schilfsandsteinschicht und durch die tektonische Muldenlage blieb der Berg als markante Landmarke im Neckarbecken erhalten als Jura und Keuper in seiner Umgebung abgetragen wurden.

Die bunten Sedimentgesteine des Keupers wurden vor ca. 220 Millionen Jahren in einem flachen Meer oder in Flussrinnen im warmen Klima abgelagert. Am Hohenasperg sind nur noch die unteren Schichten - vom Unterkeuper bis Schilfsandstein - erhalten. Abgelagert wurden im Wechsel Tonsteine, Karbonatgestein, Sandstein und Sulfatgestein (Anhydrit, Gips).

Unter dem Keuper lagern die Gesteinsfolgen von Muschelkalk, Buntsandstein und Perm, darunter beginnt das Grundgebirge (Granit, Gneise), etwa 500 m unter dem Unterkeuper.

Der feinkörnige Schilfsandstein ist gut zu bearbeiten und wurde deshalb zum Mauer- und Hausbau genutzt. Die Festung ist ganz aus Schilfsandstein erstellt. Seinen Namen verdankt der Schilfsandstein einer botanischen Verwechslung. Die gefundenen Schachtelhalme wurden als Schilf eingestuft.

Der Grundgips tritt am Fuße des Hohenaspergs an die Oberfläche, so konnte der Gips im Tagbau gebrochen werden. Besonders ausgedehnt war der Gipsabbau im 19. und 20. Jahrhundert. 1859 waren 9 Gipsmühlen in Betrieb. Der Gipsabbau ernährte einst viele Asperger Familien. Der Gipskeuper am Hohenasperg bildet zudem eine gute Grundlage für den seit mehr als tausend Jahren hier betriebenen Weinbau.

1938 wurde der Abbau von Gips nach einem Erdrutsch am Nordhang des Berges beendet und der Hohenasperg unter Naturschutz gestellt.