Diyarbakır Gazi okulunun bina inşasına 1910 yılında Melikahmet Caddesi üzerinde Melikahmet Camii'nin tam karşısında başlanmıştır. Bina iki yıl içinde yani 1912 yılında bitirilmiştir. Okulun planı o zamanın ünlü mimarlarından Davit tarafından üç derslik olarak çizilmiş ve insaat'ta bu değerli zat tarafından idare edilmiştir. Okulun temeli o yıllarda ilin valiliğini yapan Celal Bey ve Maarif Müdürü Muhittin Beyler tarafından atılmıştır. Gazi okulu 1914 yılında Numune'i Terakki adıyla öğrenime başlamıştır. 1916-1918 birinci Cihan Savaşı yıllarında Subay Hastanesi olarak kullanılmıştır.1919 yılında Numune'i İptidadisi adıyla altı derslikli ilk Mektep halinde faaliyete geçmiştir. İlk müdürü Abdülkadir Beydir. 1925-1926 da Gazi İlkokulu adıyla öğrenime açıldı. Gazi İlkokulu Diyarbakır'ın en eski okulu oluşu ve uzun yıllar tek bir okul olarak ilin öğrenim ihtiyacına cevap vermesi ile İl tarihindeki yeri büyüktür. Şehir merkezinin bulunduğu yer olan Melikahmet civarının okuma çağındaki çocukların okul ihtiyacını gidermek amacıyla inşa edilen okul, şehir yollarının genişletilmesi nedeni ile 1963 yılında yıktırılmıştır. İki yıl süre ile Behram Paşa civarında bir evde öğretim yapmıştır.1964 yılında Urfa Kapıda Gülşen Vakfı tarafından verilen arsa üzerinde inşa edilen okulda 1964-1968 yılları arasında öğretim yapılmıştır.
Diyarbakır'da açılan Tıp Fakültesine yer bulma nedeniyle Gazi İlkokulu Diyarbakır Ortaokuluna verilmiştir. Gazi İlkokulluda bu günkü öğretim yaptığı Şayak Fabrikasının arkasındaki binaya taşınmıştır.1968 yılından beri altı dershane ile çevrenin okuma yazma sorunlarına hizmet etmiştir. 1973 yılında okulun doğu kısmına dört dershane ilave edilerek dershane sayısı on (10) a çıkarılmıştır. 1998 yılında Milli Eğitim Bakanlığı tarafından 8(sekiz) yıllık eğitim kapsamında Gazi İlköğretim Okulu adını aldı. Daha sonra ilkokul ve ortaokul diye ayrıldı. 2016-2017 eğitim öğretim yıllı 4+4+4 kapsamında 05/12/2016 tarihinde 11 derslikli Gazi Ortaokulu adını almıştır.