Şebinkarahisar'ın dip tarihine ilişkin yeterli bilgiler henüz istenen nitelikte değildir. Kimi tarihçilere göre Hititler zamanında varlık göstermeye başladığı ve "Azzi Hayaşa Ülkesi" olarak adlandırıldığı ve burada Kaşgarların yaşadığı söylenir.Bir ara Kimmerler ve İskitlerin saldırısına uğrayan bölge, bilinen devir içinde Pontusluların hakimiyeti altında kalmıştır (MÖ.298-263).

 

M.Ö. 65 yıllarında Romalılar'ın  egemenliğine giren Şebinkarahisar M.S.  391'de Orta Asya'dan Peçenek ve Koman  Türkleri tarafından istila edilmiş ve 60 yıl kadar bu Türklerin himayesinde kalmıştır. Zamanla bu Türkler  Hıristiyan Misyonerleri tarafından Hıristiyanlaştırılmışlardır. Kayadibi  Meryemana Kilisesi diye adlandırılan kilise Hıristiyanlaştırılan bu Türkler tarafından inşa edilmiştir. Bu tarihten itibaren şehir Romalılar ve Türkler arasında devamlı el değiştirmiştir. 1071 Malazgirt Savaşından sonra Şebinkarahisar bir daha çıkmamak üzere Türklerin eline geçmiştir.

 

Şehrin imar edilmesi Bizans İmparatoru Hustinaiaus zamanında olmuş, kale onarılarak sağlamlaştırılmıştır.

 

Karahisar, 778 yılında kısa bir süre Emevi ordularınca Yezit bin Usayd al-Sulâm tarafından ele geçirilmiştir.Aynı şekilde Abbasiler tarafından 939-940 yılları arasında çevre köyler ele geçirilmiştir. Türklerin Anadolu'ya girişi ile (1071 Malazgirt Savaşı) Mengücek Gazi ve Danişmend Gazi tarafından birlikte fetih edildiği ileri sürülmektedir. Nitekim 1228 yılında şehir Anadolu Selçuklu Devletine bağlanmıştır. Bu devletin zayıflayıp yıkılmasından sonra, sırasıyla İlhanlılar, Eratnalılar ve Kadı Burhaneddin ile Akkoyunlu beyliklerinin idaresine girdi.

 

Akkoyunlu Devletinin 1473 yılında Fatih Sultan Mehmet'e Otlukbeli Savaşı ile yenilmesinden sonra, Şebinkarahisar Osmanlı Devlet idaresine girdi. Şehzadeler Şehri olarak anılan Karahisar, Karahisar-ı Şarkî adıyla anılmış ve yönetim açısından sancak durumuna getirilerek yönetilmiştir. 

 

Şebinkarahisar'da çeşitli dinlere mensup vatandaşlar yüzyıllarca beraber, kardeşçe yaşamışlardır. Ancak,  bilhassa  dış güçlerin etkisi ile etnik guruplar zaman zaman baş kaldırmışlar ve müessif hadiseler meydana gelmiştir. 1915 yılında ayaklanan Ermeniler kaleyi ele geçirmişler ve 20 gün boyunca devam eden çatışmalardan sonra ayaklanma bastırılmıştır. Ayaklanma süresince 403 Türk ölmüş, 176'sı da yaralanmıştır.

 

Kurtuluş Savaşı'nda Şebinkarahisar'lıların  üstün gayret ve fedakarlıkları her türlü takdirin üstündedir. 1919 yılında Erzurum'da toplanan kongreye Şebinkarahisar'ı temsilen  Dr. Cemil ŞENCAN delege olarak katılmıştır. 1920 yılında ilçede Anadolu Müdafa-i Hukuk Cemiyeti Şurası kurulmuştur. Cemiyet bu dönemde dış tahriklerle, şımarık Ermeni ve Rum çetelerinin mezalimlerinin büyümesine engel olmuştur.

 

1923 yılında çıkarılan bir yasa ile Türkiye'de bulunan Livalar (Sancak) İl haline getirilmiş bu arada Şebinkarahisar'da İl olmuştur. 10 yıl süre ile İl durumunu muhafaza eden Şebinkarahisar 2197 Sayılı Kanunla 1933 yılında İlçe statüsüne getirilmiştir.