Der erste direkte Nachweis der Berger stammt aus einer Urkunde aus dem Jahr 1093 für das Kloster Werden. Dort wird ein unmündiger Vogt, der im Knabenalter war, wie folgt erwähnt: „Adolfus, qui tunc temporis puer erat.“ In dieser Urkunde wird er als unmündig ausgewiesen, kurze Zeit später tritt er jedoch selbstständig handelnd Vogt der kölnischen Kirchengüter auf. Da das fränkische Mündigkeitsalter damals 15 Jahre war, muss Adolf puer („der unmündige Adolf“) zwischen 1078 und 1080 geboren worden sein. Bekräftigt wird dieser Vorgang durch die Tatsache, dass genau 1080 die Berger erstmals unten dem Beinamen „de Monte“ auf traten. Der Begriff bezieht auf die Stammburg, die Burg Berge an der Dhünn, später Altenberg.
In einer Urkunde von Kaiser Heinrich IV. aus dem Jahr 1101 wird Ihm das Amt des Gaugrafen übertragen und in einer zweiten Urkunde aus dem Jahr 1105 wird er als Graf Adolf I. von Berg genannt.
Das Aufstreben der Grafschaft wird mit der engen Verbindung zu den Kölner Erzbischöfen erklärt. Nach kurzer Zeit expandierte das Territorium des Grafengeschlechts derart, dass man den Stammsitz in den Mittelpunkt des Reiches legte. Um 1133 zog man in den neue Burg auf dem „Neuen Berge“ an der Wupper. Graf Adolf II. von Berg lies die neue Burg erbauen. Gegen 1133 wurde aus der alten Burg an der Dhünn ein Kloster, dort wo heute der Altenberger Dom steht. Bei einen Kreuzung fiel sein Sohn Adolf 1148 vor Damaskus. Erschüttert über diesen Verlust tritt Adolf II. ins Kloster ein und über gab die neue Burg und die Landesherrschachft an seine Söhne Eberhard I. von Berg-Altena und Engelbert I. von Berg. Graf Adolf II. von Berg starb als Mönch im Jahre 1152. Während Eberhard mit der Grafschaft Altena (später Mark) eine Seitenlinie der bergischen Dynastie begründet, verbleibt Engelbert im Stammschloß Burg an der Wupper.
Engelbert I. von Berg regierte die Grafschaft Berg von 1161 bis 1189. Viele andere deutsche Fürsten beteiligte sich auch Engelbert I. an den Kreuzzügen und wurde 1189 in Serbien erschlagen. Sein Nachfolger wurde sein ältester Sohn Adolf III. von Berg.
Adolf III. nimmt an mehreren Kreuzzügen teil, bei 5. Kreuzzug im Jahre 1218 nach Ägyten stirbt er vor Damiette, er hat keinen männlichen Nachfolger. Zur Nachfolge bestimmt war seine Tochter Irmgard, verheiratet mit Heinrich von Limburg. Aber Adolfs III. jüngere Bruder Engelbert II. jedoch eignet sich die Herrschaft aufgrund seiner Machtfülle als Erzbischof von Köln unrechtmäßig an.
Engelbert II. von Berg wurde einer letzten und bedeutendsten bergischen Erzbischöfe und nannte sich auch Engelbert I. von Köln. Das Land, dass durch persönliche Fehden in diesem Zeitraum völlig zerrüttet ist, wird durch Engelbert II. wieder zu einem Machtzentrum. Den Höhepunkt seiner Macht erreicht er als er 1222 von Kaiser Friedrich II. zum Vormund seines Sohnes Heinrich und zum Reichsverweser nördlich der Alpen eingesetzt wurde. Am 7. November 1225 geschieht der Mord an Engelbert II und zwar in einem Hohlweg bei Gevelsberg. Dieser Mord hatte weit reichende Folgen für das Bergische Land, da mit Engelbert II. erlischt das altbergische Grafengeschlecht in männlicher Linie. Das Bergische Land fällt an Heinrich von Limburg und er wird zum Grafen von Berg.