Yapının, Saltuklu Emîri Muzafferüddin Gazi (1124-1132) tarafından Tepsi Minare ile birlikte yaptırıldığı değerlendiriliyor. Yaklaşık 150 kişi kapasiteli Kale Mesciti; 8,95 x 9,76 m ölçüleriyle kareye yakın bir alan üzerine kurulmuş. Mescidin harimi ortada L şeklindeki iki ayakla belirlenmiş.
Kale Mescidi, kademeli ve yüksek kasnaklı, içten küçük kubbe ile örtülü uygulamasıyla Anadolu'da tek ve önemli bir örnek teşkil ediyor. Mihrap dışında süslemesi bulunmayan yapı, tamamen kesme taş malzeme ile inşa edildi.
Mescitte ilk namazın ne zaman kılındığına dair kesin bir bilgi bulunmuyor. En son kılınan toplu namaz ise sivil toplum kuruluşlarının "Yeniden Dirilmek için 12 Mart Sabah Namazından Erzurum'un İlk Mescidinde, Kale İçinde Buluşalım" sloganıyla yürüttüğü proje kapsamında, vatandaşların yoğun katılımıyla ve yaklaşık 3 bin kişiyle 12 Mart 2016 Cumartesi tarihinde eda edilen sabah namazı oldu.
