Da die beiden anfangs nur als Provisorium gedachten Räume im Haus Domplatz 7 sowie die Lagermöglichkeiten in zwei benachbarten Gebäuden sich schon bald als viel zu klein erwiesen, zog die Phantastische Bibliothek im Sommer 1996 zum Friedrich-Ebert-Platz in das Gebäude einer ehemaligen Druckerei um.

Auch dieses dreistöckige Haus erwies sich nach zehn Jahren für den stetig angewachsenen Bestand und die zahlreichen Veranstaltungen als zu klein. Im Jahr 2006 stellte das Land Hessen jedoch der Phantastischen Bibliothek mit der Liegenschaft Turmstraße 20 (dem ehemaligen Staatsbauamt) ein sehr repräsentatives Gebäude mit einer Nutzfläche von 1.500 qm zur Verfügung. Es besitzt die Vorzüge einer ruhigen Lage am Rande der Altstadt, mit Parkplätzen vor, neben und hinter dem Haus, sowie der Möglichkeit, in diesem Haus den gesamten Buchbestand aufzustellen und endlich auch die notwendigen Arbeitsplätze für die Nutzer bereitstellen zu können.

Hier ist ausreichend Platz für kleine und große Veranstaltungen wie Lesungen, Seminare, Workshops und Ausstellungen geschaffen worden. Auf fünf Stockwerken sind die Buchbestände in Freihandaufstellung zugänglich. Allein die wertvollen Bücher und bibliophilen Ausgaben sind in einem abgetrennten Raum aufgestellt und nur unter Aufsicht zugänglich. Zwischen den Regalen sind multifunktional Einzelarbeitsplätze geschaffen; die Räume mit der Sekundärliteratur verfügen über zusätzliche Arbeitsgelegenheiten. In mehreren eigenen Seminarräumen kann nach Voranmeldung auch Gruppenarbeit vorgenommen werden.