Anadolu'nun merkezi bir yerinde bulunan Karaman; Batı Anadolu'dan Akdeniz'e ve özellikle Çukurova'ya inen yolların da geçiş noktasında yer almaktadır. Bu nedenle Karaman ovası, bereketli topraklara sahip olmasının yanında, bu stratejik konumu sebebiyle de ilk çağlardan itibaren insanoğlunun ilgisini çekmiş ve yerleşim alanı olmuştur. Karaman ve çevresinde arkeolojik kazılar henüz yeterince yapılmadığından, prehistorik çağlara ait bilgiler çok fazla değildir. Ancak 13 km. kuzeydoğuda yeralan höyüklerin satıh araştırmaları ve özellikle Canhasan höyüğünde yapılan bilimsel kazılar, Karaman ovasındaki uygarlığın sekizbin yıl öncesine uzandığını göstermektedir.
İlk çağlardaki durumu henüz aydınlanmamış olan Karaman, Hititler döneminde yarı bağımsız bir devlet olan Arzava Devleti'nin sınırları içinde yer almıştır. Bu devirdeki önemli askeri ve ticari bir merkez konumunda olduğu, Karadağ ve Kızıldağ'da bulunan, Hititlerden kalma kitabe ve roliyeflerin incelenmesinden anlaşılmaktadır.
M.Ö. VII. y.y.'da Frikyalıların, Vl.y.y.'da Lidyalıların saldırısına uğrayan Karaman, bu yüzyılın sonlarında Perslerin egemenliğine girmiştir.
Klasik devirlerde LARANDA olarak bilinen Karaman, Lykaonia bölgesinde yer almaktaydı. Büyük İskender'in haleflerinden Perdikkas ve Flippos'un M.Ö.322 yıllarında talan ve tahribatına uğrayan Karaman, daha sonra Antigon'un ve Selevkos'un eline geçmiş, M.Ö. I.y.y'a kadar Anadoldaki krallıkların elinde kalmıştır.
Karaman, Romalılar devrinde mahalli krallardan Derbe Hakimi Anlipütros'un idaresine girmiş, Galatla kralının Amyntos'u yenip öldürmesi üzerine, Galatlardın eline geçmiştir. Bu dönemde Lykaonia Birliği'ne bağlı önemli bir ticaret merkezi olarak kalmıştır Hristiyan alemi tarafından kutsal sayılan ve antik şehir olarak bilmen Derbe yeri konusunda tarihçiler arasında ihtilaf var ise de, merkez ilçeye bağlı Ekinözü (Aşıran) köyü yakınlarında bulunduğu görüşü ağırlık kazanmaktadır Hristiyanların, Hz. İsa'dan sonra, kendilerine dini lider olarak kabul ettikleri Michael'in mezarı da Derbe'de bulunmaktadır.
Karaman M.S, Vll.ve IX, y.y.'larda Arap orduları tarafından birkaç kez, kısa süreli işgal edilmiş; Selçuklular dönemine kadar da Bizans egemenliği altında kalmıştır
Karaman M.S. 1165 yılında Anadolu Selçuklu Devleti'nin egemenliğine girmiş ve 1256 yılına kadar bu egemenlik devam etmiştir.