Diyarbakırspor, kentin Amatör Ligi'nin iki ezeli rakibi Diclespor ve Yıldızspor kulüplerinin 24 Haziran 1968 tarihinde birleşmeleriyle kuruldu.
Diyarbakırspor'un ilk başkanlığını dönemin Belediye Başkanı Nejat Cemiloğlu yaptı. Yönetim Kurulu ise şu isimlerden oluştu: Hacı Abdurrahman Özbek, Nazmi Çakın, Şahap Bozacı, Nuri Akçam, Bedrettin Köprülü ve Erdoğan Vursavaş.
1968-1975 yılları arasında 8 sezon Türkiye 3. Ligi'nde mücadele eden Diyarbakırspor, 1975-76 sezonunda Ali Kahraman'ın başkanlığı ve Şeyhmus Akçadağ'ın ikinci başkanlık ile futbol şube sorumluluğu görevlerini birlikte yürüttüğü dönemde tarihi bir başarıya imza attı. Yeşil Kırmızılı ekip, önce üçüncü lig, ardından da ikinci ligde şampiyon olarak 1. Lig'e yükseldi. O tarihte dünyada bu başarıyı gösteren tek takım olan İngiltere'nin Notingham Forest takımının rekorunu egale eden Diyarbakırspor, 3 sezon birinci ligde ücadele etme başarısını gösterdi. Diyarbakırspor, 1978-79 sezonunda 4 hafta lider kaldığı birinci ligi 5. sırada bitirdi. O dönem kadroda Beşiktaş'ın efsane futbolcularından Vedat Okyar da vardı.
Ali Kahraman'ın başkanlığında, Şeyhmus Akçadağ'ın da genel kaptanlığı dönemlerinde altın yıllarını yaşayan Diyarbakırspor'un efsane kadrosu şu isimlerden oluşuyordu:
Ayaktakiler:
Soldan sağa: Şeyhmus Akçadağ, Kemal, Vedat Okyar, Vehbi, Turgay, Muharrem, Kahraman, Antrenör Uğur Ersoy,
Oturanlar:
Soldan sağa: Bülent, Turan, Ayhan, Ergün, Kıvırcık Ali ve Şeyhmus Akçadağ'ın oğlu Salih Akçadağ (Salih Akçadağ da daha sonra uzun yıllar Diyarbakırspor'a hizmet etti)
