M.Ö.4500' den başlayarak klasik anlamda yerleşim, gören Mardin, Subari, Sümer, Akad, Babil, Mitaniler, Asur, Pers, Bizans, Araplar, Selçuklu, Artuklu, Osmanlı Dönemi'ne ilişkin birçok yapıyı bünyesinde harmanlayabilmiş önemli bir açık hava müzesidir.
Mardin'in ne zaman ve kimler tarafından kurulduğu kesin olarak bilinmiyorsa da kuruluşu Eski Yakın Doğu tarihine göre Subariler zamanına kadar dayanmaktadır. Alman Arkeologu Baron Marvan Oppenheim'in 1911-1929 yılları arasında yaptığı kazılardan elde edilen sonuçlara göre: Subariler'in Mezopotamya'da (MÖ.4500-3500) yaşadıklarını bu tespite sebep olarak da Sümer ve Babil katları arasında buldukları kiremitleri göstermiştir. Sümer Kralı Lugarzergiz MÖ.2850 yılında Akdeniz'e kadar uzandığı seferinde Mardin'i hükmü altına almıştır. Şehircilik, sulama ve tarım alanında ileri bir seviyeye ulaşan Sümerler, geniş fetihler sonucu güçlerini kaybedince 30 yıl sonra Mardin'i Akadlar'a bırakmışlardır(MÖ.282O). Akadlar, MÖ.2500 yıllarında Sümerler'le anlaşarak Akad-Sümer Devletini kurmuşlardır. Mardin, MÖ.2230Tu yıllarda Elam şehri oldu. Amuri ailesinin altıncı ferdi olan Hammurabi, Sümer topraklarını Babil'in idaresi altına alınca bu kez de Babil Devleti'ni kurmuş, ardından Yukarı Mezopotamya'ya saldırınca Mardin'i de istila ederek topraklarına katmıştır.(MÖ.2200-1925) MÖ.1925 yıllarında Mardin'i işgal eden Hititler, bir yıl sonra şehri terk etmişlerdir. İran dolaylarından gelen Ari Irkından Midiller, Mardin ve çevresini ele geçirmiştir. 500 yıl hüküm süren Midiller bilinmeyen bir sebepten Mısırhlar'a vergiye bağlanmışlar ve bir Midil Prensesini de Mısır Firavunu ile evlendirmişlerdir. MÖ. 1367 yılında Midiller arasında iç savaş çıkınca bu fırsatı bilen Asur Kralı Asurobalit, Mardin ve çevresini topraklarına katmıştır. MÖ. 1190'da Anadolu'dan gelen bazı Ari ırk kavimleri Mardin'i almışlardır. 60 yıl sonra I. Tıplatpalasır; Sincar, Nusaybin ve Mardin'den geçerek 20 bin Maşiki kuvvetinin koruduğu Kemecin'e saldırıp onları yendikten sonra Mardin ve çevresini tekrar ele geçirmiştir.MÖ.1060'da LAsurnasırbal zamanında Hititler birleşerek Gılgamış yakınlarında Asurlular'ı yenmişlerdir. Asurlular'm tekrardan kuvvetlenmeleri üzerine, Mardin Asur hâkimiyetine girmiştir. MÖ.800 yılma kadar Asurlular'm elinde kalan Mardin, daha sonra Urartu Krallığı egemenliğine geçmiştir. Urartu Kralı Mimes zamanında Mardin 50 yıl Urartu idaresinde kalmıştır. MÖ.612 yılma kadar Sityaniler, M.Ö.618 yılında ise İran'dan gelen Midiler buraları ele geçirmiştir. MÖ.335 yıllarında Büyük İskender Mısır'ı aldıktan sonra Mezopotamya'ya gelerek İran'a gitmek için Mardin'den geçer. Buraları da istila eden İskender'in MÖ.323 yılının 28 Mayıs'mda Babil'de ölümünden sonra komutanları arasında devlet pay edilir ve Mardin doğu bölümünde kaldığı için Nikanır denilen General Slevkos'un payına düşer(MÖ.311) MÖ.131'de Mardin ve çevresi Urfa Krallığı(Abgarlar) topraklarına katıldı. MS.249'da Roma hükümdarı Filibos saltanatının 5.yılında bir isyan başlatıp IX.Abgar'ı memleketten kovmuştur. Şehrin Valiliğine de Hapsioğlu Uralyonos tayin edilmiştir. Bu arada Mardin'de Urfa'ya bağlı olduğu için Roma egemenliğine girmiştir. MS.250 yılında Dakiyos, Pers ülkesini zapt etmiştir. Bu sırada tahribat gören Nusaybin'i de onarmıştır. Mardin'de Bizanslar 640 yılında Hz. Ömer’in kumandanlarından İlyas Bin Ganem'in işgaline kadar varlıklarını devam ettirmişlerdir. Mardin ve çevresi, 692'de Emeviler'in, 824'te Halife Memnun zamanında Abbasiler'in hâkimiyetine girmiştir. Bu dönemde İslamiyet hızla yayılmıştır. 885-978 yılları arasında buralarda hüküm süren Hamdaniler'in kaleyi kesin olarak zapt edişleri 895 yılma rastlar.

Doğal olan kalenin bazı yerlerine surlar yaptırarak bazı yerlerini de onararak günümüze kadar dimdik kalmasını sağladılar. 990 yılında ancak Musul'da tutunabilen Hamdaniler'in topraklarını birer birer ele geçiren Mervaniler, Mardin'i de zapt ederler. Mardin ve çevresinde çarşılar, camiler yaparak onarımlarla İpek yolu üzerinde bulunan bu önemli şehri ticari açıdan canlandırırlar. Mervaniler Devleti, Nusaybin'de 1089'da Selçuklular'a yenilerek onların hâkimiyeti altına girer. Artuklular'dan İl Gazi Bey Mardin'i 1105'te ele geçirerek devletin başkenti yapar. Bu devletin 304 yıllık egemenliği sürecinde çok sayıda tarihi camii, medrese, hamam ve kervansaray yapılmış, birçok cami, medrese ve manastır onarılmıştır. Timur, Artuklular döneminde 1393'te Mardin Kalesini kuşatıp işgal etmeye çalışsa da başarılı olamaz.16.yüzyılın başında Akkoyunlular'ı egemenliğine alan Şah İsmail güçlü bir Şii devleti kurmayı başarır. Bu dönemde Anadolu'ya girip Şiiliği kabul etmeyenleri zalimce öldürmekten geri kalmaz. Bu durumu gören Mardin hakimi, şehri zulme ve yağmalamaya karşı, halkı korumak için kalenin anahtarını kan dökmeden Şah İsmail'e teslim eder. Mardin kesin olarak Osmanlıların eline geçmesi Mısır seferini düzenleyen Yavuz Sultan Selim zamanındadır. (1517) 1923 yılında Cumhuriyet'in ilanı ile birlikte Mardin İl Statüsüne kavuşmuştur.