Der gleich über dem Dorf Colmberg gelegenen Heuberg war schon in der Jungsteinzeit besiedelt, später soll hier sogar Karl der Große schon Auerochsen gejagt haben. In der Karolingerzeit wurde hier eine erste kleine Palisadenburg mit hölzernen Turm erbaut, die die staufischen Kaiser nach 1140 zu einer Reichsburg ausbauten. Nach dem Ende der Staufer behielten die Grafen von Truhendingen ihr Reichslehen und ließen die Burg durch schlecht besoldete Vögte verwalten, die sich durch selbstherrliche Übergriffe einen Ruf als Raubritter erwarben. 1318 verkauften die Grafen von Truhendingen schließlich die (urkundlich als solche belegte) Raubritterburg an den Burggrafen Friedrich IV. von Nürnberg.
Von nun an war die Festung mit ihrem Umland fast 500 Jahre lang im Besitz der Hohenzollern. Ihre Vögte überwachten von hier aus den Zugang zur Reichsstadt Rothenburg ob der Tauber, zu welcher die Burggrafen ein gespanntes Verhältnis pflegten. Dies gipfelte 1407 in einer kriegerischen Auseinandersetzung, zu der sich das rund 10 000 Mann starke Heer des amtierenden Nürnberger Burggrafen Friedrich VI. bei Burg Colmberg sammelte. Aufgrund der gewaltigen Kosten, die der - schließlich gewonnene - Krieg gegen Rothenburg verursacht hatte, verlagerte Friedrich VI. anschließend seinen Hauptwohnsitz auf die Burg Colmberg. Es heißt, dass Friedrich VI. hier von seiner Belehnung mit der Mark Brandenburg erfuhr - insofern kann die Burg Colmberg als "Sprungbrett" der Hohenzollern in die Weltgeschichte gelten.
Als Friedrich VI. - jetzt zugleich Markgraf Friedrich I. von Brandenburg - 1440 starb, wurde die Burg zunächst zum Witwensitz seiner Gemahlin Elisabeth von Bayern-Landshut (genannt „Schöne Else“; Bilder des berühmten Ehepaares finden sich in der Burgkapelle) und schließlich zum Sitz der Vögte des markgräflichen Oberamts Colmberg.
An den gut befestigten Mauerringen und Gräben der Burg Colmberg scheiterten viele Angriffe, u. a. während des Bauernkrieges und im Dreißigjährigen Krieg, in dem die Burg für die umliegende Bevölkerung zuverlässigen Schutz bot. In der Barockzeit jedoch verlor die Burg an Bedeutung. Bis 1806 stand sie weiterhin unter preußischer, danach unter königlich-bayerischer Verwaltung. 1880 ging die Burg in Privatbesitz über und wechselte mehrfach den Besitzer, bis sie 1964 von der Colmberger Familie Unbehauen übernommen wurde. Diese führt die Burg in nunmehr 3. Generation. Die Vision des Hans Unbehauen, Burg Colmberg für jedermann frei zugänglich und zu einem Ausflugsziel zu machen, ist Wirklichkeit geworden.
