Die Adelsfamilie derer von Hirschberg war verwandt mit der Familie von Frankenstein, deren Stammsitz die Burg Frankenstein bei Darmstadt ist.

Diese Familie besaß den Adelshof in Leutershausen, von dem aus ein Amtmann ihre Ländereien verwaltete und Abgaben entgegennahm.

Nach 1700 ging der ehemalige Besitz der Familien Frankenstein und Hirschberg an die Grafen Wiser (siehe Station 17) über, die den Frankensteiner Hof ebenfalls zu ihrem Amtshaus machten. Der gräfliche Amtmann vertrat seine Herren in der Ausübung der Ortsherrschaft und verwaltete deren Besitzungen und Einkünfte.

Das Anwesen wurde seit dem 18. Jahrhundert auch als katholisches Pfarrhaus genutzt und schließlich 1813 an die Kirche verkauft. 1832 errichtete man den heute sichtbaren Bau.