Mardin’de ilk spor klübü 1924-1926 yılları arasında faaliyet gösteren ve daha sonra adı Gençlik Spor Klübü olarak değiştirilen Bisikletspor Kulübü olmuştur. 1935 yılında Kırmızı-Lacivert renklerle Jandarmagücüspor, 1950 yılında Siyah-Beyaz renklerle Dumlupınarspor diğer adıyla Şevrespor (Takımda oynayanların yaş ortalamasının yüksek olması ve hepsinin bıyıklı olması, Arapça’da bıyığın Şevrep anlamında olması nedeniyle) takımı kuruldu. 1956 yılında Sarı-Lacivert renklerle Kalespor diğer adıyla (Timurspor) takımı, 1958 yılında Kırmızı-Beyaz renklerle Yıldızspor (şimdiki adıyla Cudispor) ve 1960 yılında Lacivert-Kırmızı renklerle Mezopotamyaspor ve daha sonraki yıllarda değişik tarihlerde Sağlıkspor ve Y.S.E Spor takımları kuruldu.
1969 yılında şu anda aralarında ebediyete göçmüş isimlerin bulunduğu kurucu üyeler A.Vahap Saracoğlu, Davut Dinçel, Adil Özomay, Fuat Mungan, Salih Akalp, FerhanÇağatay, Orhan Pamukçu, Hamit hamzaoğlu, E. Zeki Yıldız ve Bedii Ayanoğlu’nun girişimleri ile Kalespor diğer adıyla Timurspor, Mezopotamyaspor ve Gençlik ve spor takımlarının birleştirilmesi ile Mardinspor Klübü kuruldu. Mardinspor’un amblemi Mardin Kalesi ve yüzyıllardır birarada kardeşçe yaşayan Müslümanların ibadet yeri Camii ve Süryanilerin ibadet yeri olan Kilisedir. Takımın rengi için Lacivert rengi birleşen takımların ortak rengi olduğu için bırakılmış, Kırmızı ise uyum için kabul edilmiştir.
Mardinspor kurulduktan sonra kurucu üyelerin dönemin spor bakanı Gaziantepli Milletvekili Kamil Ocak’a müracatları sonucu Gaziantepli Türkiye Futbol Federasyonu Başkanı Orhan Şeref Apak’a gidilmesi üzerine (Gaziantep Kamil Ocak Stadının inşaatta olduğu dönemlerde) bölgeden Mardinspor ve Gaziantepspor takımları Türkiye İkinci profesyonel ligine terfi ettirildi.
Mardinspor 1970-71 sezonunda ikinci lige terfi ettikten sonra 1971-72 sezonu sonunda amatör kümeye düştü. 1973-74 sezonunda terfi maçlarında başarılı bir grafik çizerek ikinci lige çıktı. Ancak 1975-76 sezonu sonunda tekrar amatör kümeye düştü. 1980-81 yılında ise federasyon kararı ile üçüncü lige terfi ettirildi. 1982-83 sezonu sonunda grubunda şampiyon olan Mardinspor tekrar ikinci lige çıktı.
1983-84 sezonunda Türkiye Kupası çeyrek finalinde Trabzonspor ile eşleşen Mardinspor ilk maçı 1-0 ikinci maçı 5-1 kaybederek elendi. 1993-94 sezonu sonunda üçüncü ligden amatör kümeye düşen Mardinspor, bir yıl sonra yeniden üçüncü lige yükseldi ve 1998-99 sezonunda ilk üçe girerek Play-off maçlarına katıldı. İlk maçta Doğubeyazıt’ı yendi ancak final maçında Düzcespor’a kaybedip ikinci lige çıkma şansını kaybetti. Bir yıl sonra yine Play Off’ta olan Mardinspor ilk maçta Akçaabatsebatspor’a yenildi ve ikinci lig hedefini yakalayamadı.
2000-2001 sezonunda her gruptan 3 takımın ikinci lige alındığı dönemde Mardinspor grubunda şampiyon olarak ikinci lige çıkmıştır. Mardinspor şu anda Lig A’da Süper Lig hedefini kovalıyor.

Yönetim, Tesisler, Sponsorlar