M.Ö. 3000 yıllarında Kafkasya ve Anadolu`da büyük uygarlıklar kuran Kaslar (Hatti, Hurri, Hitit ve Eti adlarıyla da bilinir) Kılıçkaya (Ersis) ve yöresinin ilk sakinleridir.
Daha sonra sırayla Urartu, Arsaklı ve Bizans egemenliğinde kalan Kılıçkaya ve yöresinin adı kroniklerde Tao, Tayık ve Liganishevi olarak geçmiştir.
Bölge uzun bir süre 13.yy.`a kadar Bargatlı egemenliğinde kalmıştır. Moğol istilası ile yer değiştiren Kılıçkaya daha sonra tekrar Bargatlılar tarafından geri alınmıştır. Kılıçkaya`da Bargatlılar tarafından yapılmış tarihi Ersis Kalesi bulunmaktadır. Kalenin bin yıllık olduğu sanılmaktadır.
Vezir Ahmet Paşa, 1549 yılında, çıktığı Erzurum seferinde 7 Ekimde Pet-Ekrek, Nihah ve Arsius kalelerini fethedince Osmanlı idaresi başlamış oldu.
Lala Mustafa Paşa 1578`de Oltu-Pet-Ekrek-Artvin Ardanuç-Şavşat ve Acara bölgelerini içine alan ve merkezi Ahıska olan Çıldır eyaletini kurdu. Bu idari örgütlenme 1828 yılında imzalanan Edirne Muhavedesi`ne kadar sürdü. 1871 yılında Çıldır,sancak merkezi durumuna getirilirken Kılıçkaya ve çevre köyler de bu sancağa bağlandı.
Kılıçkaya 1889-1894? yılında Erzurum sancağına bağlı iken ilçe merkezi yapıldı.
Nisan 1895 yılında Albay Komyanski komutasındaki Rus ordusu Ersis`i işgal edince ilçe merkezi boşaltılmış, kayıtlar geçici olarak Bayburt`a taşınmıştır. 1898`de Rusların geri çekilmesi ile Kılıçkaya tekrar ilçe merkezi haline getirilmiştir.
Bölge halkı kurtuluş savaşına açık destek vermiştir. Erzurum Kongresi`ne delege olarak Kılıçkaya`dan Arslan Bey, Armeşan köyünden Molla Haliloğullarından Ali efendi, Oşnak Köyü`nden Yaralızade Ahmet Bey gönderilmiştir.
16 Haziran 1926 tarihine kadar ilçe merkezi olan Kılıçkaya , bu tarihte ilçe merkezinin Öğdem`e taşınmasıyla Belediyeli köy olarak kalmıştır. 24 Eylül 1944 tarihli bakanlar kurulu kararı ile bucak olmuş, 1978 yılında bucak merkezlerinin kaldırılması ile kasaba olmuştur.
Sadiye Hanım 1930 yılında Kılıçkaya Belediyesi`nde belediye başkanı seçilerek Türkiye`nin ilk bayan belediye başkanı olmuştur.
Kaynak : http://www.ersis.net