Schon ab 1921 diente der Torturm und das Nachtwächterhäuschen als "Wandervogelnest" und war ein beliebter Treffpunkt der Jugendbewegung. Rudolf Müller, ein führender Wandervogel, renovierte den Torturm . Gemeinsam mit seiner Gruppe trat er dem Badischen Jugendherbergsverband bei, übergab Torturm und Nachtwächterhäuschen zur Nutzung an den Verband und so wurde 1924 die Jugendherberge DIlsberg gegründet.
1933 kaufte der Verband das Haus Leibfried neben dem Torturm, riss es ab und baute neu. Der Durchbruch zum Torturm folgte und am 10. Juni 1934 wurde die neue Jugendherberge eingeweiht. Ein bedeutsames Ereignis war die Arbeitstagung aller Gaugeschäftsführer 1935, bei der Richard Schirrmann, Gründer des Deutschen Jugendherbergswerks, teilnahm. Er wurde überfallen und erlitt eine bleibende Augenverletzung.
Nach dem Ende des Dritten Reiches wurde die Jugendherberge 1945 von der Gemeinde Dilsberg beschlagnahmt und zur Unterbringung von Vertriebenen genutzt. Am 15. April 1949 erfolgte die Wiedereröffnung als Jugendherberge. Nach weiteren Renovierungen in den 1950er Jahren stand die gesamte Anlage ab 1955 wieder der Jugend zur Verfügung.
Es folgten weitere Renovierungen 1974 und dank einer Spende der Dilsberger Bürgerschaft die Renovierung des Dachstuhls und Wiederinstandsetzung der Bürgerglocke im Jahr 2002. Im Jahr 2016 wurde der Vorstandsbeschluss im Verband zur Schließung der Jugendherberge aufgrund zu hoher Investitionskosten getroffen. Dank einer anonymen Spende konnte sie jedoch renoviert und am 26. Oktober 2019 wiedereröffnet werden.
