Über die frühe Geschichte des Sennhofs ist wenig bekannt. Innerhalb der Stadtmauern lag hier wohl ursprünglich ein landwirtschaftlicher Betrieb mit Milchwirtschaft. So entstand der Name «Sennhof».

1603 kam das Anwesen in den Besitz des Münzmeisters Hans Jakob Wegerich von Bernau (1562 – 1606). Dieser liess sich einen Wappenstein mit seinen Initialen "I – W V B 1603" sowie einen Bären im Wappenschild setzen. Dieser Stein befindet sich seit über vierhundert Jahren über dem Torbogen des Sennhofs. Heute aber ist er stark verwittert.

Bereits 1612 wurde das Anwesen an die Familie Menhardt verkauft, die es bis 1730 besass. Anschliessend wechselte der Sennhof mehrmals seinen Besitzer. Bevor der Kanton Graubünden das Anwesen 1817 erwarb, war dort neben einer Reihe von Wohnungen eine Seifensiederei untergebracht.