Trakoscan entstand im 13. Jahrhundert im Verteidigungssystem des nördwestlichen Kroatiens als kleinere Beobachtungsfestung für die Kontrolle des Weges von Ptuj zum Tal von Bednja.
Nach der Legende hat Trakoscan seinen Namen von der Festung Thacorum erhalten, die es angeblich in der Antike gab. Eine weitere Legende besagt, daß sie nach den Rittern Drachenstein benannt wurde, die im frühen Mittelalter in diesen Gebieten herrschten.
Trakoscan wird 1334 zum ersten Mal in geschriebenen Dokumenten erwähnt. Die Herrscher der Festung in den ersten Jahrhunderten sind nicht bekannt, man weiß erst, daß seit Ende des 14. Jahrhunderts die Besitzer die Grafen von Celje sind, die gleichzeitig über die ganze Grafschaft von Zagorje herrschen.Bald stirbt diese Familie aus und Trakoscan trifft das gleiche Schicksal wie alle anderen Besitztümer der Familie, di verkleinert werden und verschiedene Herrscher haben. Bei dieser Teilung wurde Trakoscan als einheitliches Gut zuerst dem Feldherrn Jan Vitovac zugeteilt und dann Ivanis Korvin, der es seinem Vize-Banus Ivan Gyulay schenkt. Dieses Familie behält das Schloß drei Generationen lang, und stirbt dann 1566 aus. Danach übernimmt der Staat das Gut.
König Maximilian schenkte Juraj Draskovic (1525 - 1587) das Gut für seine erwiesenen Dienste, und zwar zuerst persönlich und dann zur Nutznießung seiner Erben. So kam schließlich Trakoscan 1584 in den Besitz der Familie Draskovic.
Während der Blütezeit des Schloßbaus in Zagorje, in der zweiten Hälfte des 18. Jahrhunderts wird Trakoscan verlassen. Das Schloß beginnt zu Verfallen und erst in der zweiten Hälfte des 19. Jahrhunderts interessiert sich die Familie für das Anwesen, ganz im Geiste der neuen Zeit, der romantischen Rückkehr zur Natur und Tradition. In diesem Sinne erneuert der Untermarschall Juraj V. Draskovic die Stadt zu einem Residenzschloß, und den umliegenden Park zu einer romantischen Parkanlage. Die nächsten Generationen verweilen bis 1944 zeitweise in Trakoscan. Danach wandern sie nach Österreich aus und kurz danach wird das Schloß nationalisiert.
Im Jahr 1953 wird das Museum mit seiner ständigen Ausstellung gegründet. Heute ist das Schloß im Besitz der Republik Kroatien
