Die Herren von Gimborn waren ein alt eingesessenes Landesadelgeschlecht und dienten untern den Grafen von Berg. Adolf IV von Berg verpfändete den Rittersitz mit der Wasserburg Gimborn 1273 an den Gafen Engelbert von der Mark.

Der Mannesstamm des Geschlechtes von Gimborn erlosch. Die Familie Kruwell, von Burtscheid, Nesselrode, Quade und Harff waren die wechselnden Besitzer, bis Anna von Harff im Jahre 1550 den Freiherrn Wilhelm zu Schwarzenberg heiratete. Damit begann in Gimborn eine Herrschaft, die diesem Teil des Oberbergischen den Beinamen "Schwarzenberger Land" eingebracht hat.

Als 1597 Adolf zu Schwarzenberg im Kampf gegen die Türken und durch die Eroberung der Festung Raab Ruhm erlangte, wurde ihm der Grafentitel verliehen. Sein Sohn Adam zu Schwarzenberg trat 1610 in den Dienst des Kurfürsten von Brandenburg. Als einflussreicher Minister des Kurfürsten von Brandenburg betrieb er zielstrebig die Übernahme des Amtes Neustadt. Das erbliche Lehen umfast die damaligen Bauernschaften Gummersbach, Strombach, Obergelpe, Rospe, Bernberg, Kalsbach und Müllenbach. 1621 erweiterte der Kurfürst von Brandenburg dieses Lehnen noch einmal um die Bauernschaften Ründeroth, Lieberhausen und Wiedenest. 1631 erkennt der Kaiser Ferdinand III die Herrschaft Gimborn und Amt Neustadt als reichsunmittelbare an, damit erhielt Graf Adam von Schwarzenberg die hohe Landesobrigkeit.