西漢高帝四年（公元前203年）建縣，名朗陵，縣治在今任店鎮任店村南側，屬汝南郡。成帝河平四年（公元前25年），于縣西北境置安昌侯國。綏和二年（公元前7年），又于縣東北境置陽安侯國。東漢初年，省安昌入朗陵。西晉初又于縣西南置安昌縣。東晉十六國時期，縣境先后為后趙、前燕、后秦的南部邊區。其間公元351年、369年、417年，東晉勢力重返中原，短時間為其北部邊區。 
    南北朝時期成為南北爭奪的地帶。南朝劉宋在縣境置初安郡、綏城郡，初安郡領新懷、懷德二縣；綏城郡領安昌、招遠二縣。472年，綏城郡并入初安郡，縣境東南部置有白狗縣，東北部置有永陽縣。528年，南梁進據淮北，廢初安郡，僑治陳州，改白狗縣為淮州。北魏復占后，廢州仍置郡縣。556年，北齊廢初安郡，僑治荊州，置齊興郡。北周于578年，改荊州為威州。

隋初，廢威州改為安昌縣。開皇三年（583年），遷縣治于今處。開皇十八年（598年）改安昌縣為朗山縣。唐朝初年，改為北朗州；貞觀元年（627年），廢州恢復朗山縣，屬豫州。寶應元年（762年），因避代宗李豫諱，豫州改為蔡州，朗山縣屬蔡州，五代相沿未變。 
    北宋大中祥符五年（1012年），因避諱，大朗山改為樂山，朗山縣改為確山縣。金時屬蔡州鎮南軍，元至元三十年（1294年），蔡州改為汝寧，確山縣屬汝寧府。 
    明朝初年，撤確山縣并入汝陽縣。洪武十四年（1382年）恢復確山縣，屬汝寧府。成化十一年（1475年），改隸于信陽州。弘治二年（1489年），復歸汝寧府。清朝沿襲未變。 
    1913年（民國2年）廢府設南汝光道，后改為汝陽道，道治在信陽，確山屬其轄。1931年（民國20年），改屬河南省第八行政專區，專治在汝南。1949年，豫南各縣全部解放。1949年4月，人民政權在駐馬店設立確山專署，1949年8月，遷改為信陽專署。1965年，信、駐分治，確山縣屬駐馬店地區。
    2001年3月，駐馬店撤地建市后歸屬駐馬店市管轄。