In der Affalterbacher Straße, neben dem heutigen Kindergarten, wurde 1914 die erste Turnhalle von Erdmannhausen errichtet. 1930 erbaute der Arbeiterverein hier am Herdweg ein Vereinsheim mit Festsaal. Nach dem Verbot des Arbeitervereins 1933 wurde das Vereinsvermögen eingezogen und die Turnhalle dem Turn- und Gesangsverein überlassen. Die erste Turnhalle in der Affalterbacher Straße wurde von der Gemeinde übernommen und 1938 eine Kindertagesstätte angebaut.
1956 wurde an das ehemalige Vereinsheim eine separate Turnhalle angebaut, das Heim selbst zur GSV-Gaststätte mit Vereinsheim umgebaut. Gleichzeitig war das Gebäude auch Schauplatz von für den Ort bedeutenden kulturellen und gesellschaftlichen Ereignissen. Mit stetigem Wachstum der Gemeinde wurden die Gebäude rund um das GSV-Vereinsheim zu klein. Es folgte 1989 der Neubau der heutigen „Halle auf der Schray“. Die bisherigen Gebäude wurden im Anschluss daran abgerissen.