春秋戰國時期，今遵義縣地為夜郎東北小君長國鱉國地。秦始皇統一全國后，推行郡縣制，以鱉國地置鄨縣，今縣地屬鄨縣，隸巴郡。漢武帝建元六年（公元前135），唐蒙出使夜郎，置犍為郡，縣地隨鄨縣歸犍為郡，郡治初在鄨，在今遵義縣西境。元光五年（公元前130年），治所遷南廣（今云南省鹽津縣附近）。元鼎六年（公元前111年），置牂柯郡，鄨縣劃歸牂柯郡。三國時，鄨縣仍屬牂柯郡。晉永嘉五年（311），牂柯郡分為牂柯、夜郎、平夷三郡，今縣地隨鄨縣劃屬平夷郡。東晉咸安元年（371），改平夷郡為平蠻郡，今縣地歸屬依舊。隋開皇初年，以烏江北岸地置牂柯縣，今縣地歸屬其中。
唐武德三年（620），改牂柯縣為建安縣，領屬今縣地。唐貞觀九年（635），以隋代牂柯郡的延江（今烏江）北岸地置郞州，轄恭水、高山、貢山、柯盈、邪施、釋燕6縣。貞觀十一年（637），今縣地為恭水縣。十三年（639），以原郞州地置播州，復置恭水等六縣隸之。播州屬唐朝直接管理的經制州，隸黔中采訪使，朝廷派流官治理。所轄6縣，境域相當于今遵義縣、紅花崗區、匯川區及綏陽縣、桐梓縣地。這是史書上第一次出現播州之名。播州境域后來大為擴展，一直存至明萬歷二十八年（1600），歷時961年，此后就消失了。
唐貞觀十四年（640），更名恭水為羅蒙，高山為舍月，貢山為湖江，柯盈為帶水，邪施為羅為，釋燕為胡刀。十六年（642），改羅蒙縣為遵義縣，遵義縣名由此始。遵義之名，一說出自《尚書·洪范》“無偏無陂，遵王之義”，言當遵循先王之正義，以治民也。一說源于東漢公孫述稱王于四川，牂柯郡大姓功曹謝暹反對，遣使遠道投奔中央漢光武帝，被封為義郞，有遵循“義郞”作為，擁護中央王朝之意。坊間多從前者說。天寶元年（742），改播州為播川郡。乾元元年（758），復置播州，領今遵義、帶水、芙蓉3縣。今遵義縣包含有唐帶水縣和當時遵義縣部分地域。唐大歷五年（770），羅榮入播。唐乾符三年，楊端入播，楊氏世據播州至明萬歷二十八年（1600）。
后唐長興元年（930），遵義縣地屬后蜀。后晉高祖時，遵義縣地屬楚。后周顯德六年（959），遵義縣地屬后周。大觀二年（1108），置遵義軍，時遵義縣屬之。宣和三年（1121），廢遵義縣，隸南平軍。端平三年（1236），今縣地設播川縣，隸南平軍。嘉熙三年（1239），設播州，以播川縣為州治。
宋大觀二年（1108），首領楊光榮、楊文貴各獻其地附宋，分別置播州和遵義軍，遵義縣屬遵義軍，同隸夔州路。宣和三年（1121）廢播州為城，隸南平軍；廢遵義為砦，隸珍州。嘉熙三年（1239）復設播州安撫司，以播川縣為州治。咸淳末，播州領播川、樂源、綏陽3縣，隸夔州路，今縣地時為播川縣。
元世祖忽必烈下詔招撫播州。至元十四年（1277），楊邦憲以播州、珍州、南平軍地降，仍置播州安撫司，以楊邦憲為紹慶、珍州、南平等處宣撫司充播州安撫使。楊邦憲卒，子漢英襲職，賜名楊賽因不花。二十八年（1291）升為播州宣撫司，隸屬于四川行省。次年，以赴京取道湖廣為便，改隸湖廣行省。宣撫司統轄黃平府、南平綦江、珍州思寧、舊州草塘等十九個長官司和諸峒寨。時屬今遵義縣境有播州下轄之播州軍民都鎮撫司及烏江、水煙、石粉羅家永安等處的全部或部分。
明洪武五年（1372）初，改播州軍民都鎮撫司為播州長官司，今縣地為播州長官司地。萬歷二十八年（1600）平楊應龍，播州改土歸流，分播州地為二，設平越軍民府屬貴州，轄余慶、甕安、湄潭3縣和黃平州；設遵義軍民府屬四川，轄遵義、桐梓、綏陽、仁懷4縣和真安州。今遵義縣境從此奠定。
清雍正六年（1728），遵義縣隨遵義府改隸貴州省。宣統三年（1911），遵義軍政分府成立。民國元年（1912），遵義府縣同城，留府去縣。民國2年（1913），遵義府改為遵義縣，屬黔中道。民國4年（1915），將所有遵屬大溪里第七、八、十三甲地，即后來仁懷所建的火石、學孔、林閣、平營、高坪、銀水、龍源、新田、榮華、團結、大壩11個鄉劃歸仁懷縣轄，以牛渡灘（今觀音寺河）為遵義縣、仁懷縣的天然邊界。民國9年（1920），廢黔中道，遵義縣直隸于省。1941年，實行新縣制，將縣轄巖孔及偏巖河以南地劃歸新建立的金沙縣。1949年11月21日，遵義解放。11月25日，建遵義縣人民政府。同日，原屬遵義城區的文化、洗馬、豐樂、丁字、朝陽、白農6個鎮建為遵義市。1950年9月，甕安縣珠藏鎮、銅鑼鄉、高水鄉劃歸遵義縣轄，置二十一區，1951年7月交還甕安縣。
1951年2月，遵義市改置為遵義城關區，由遵義專員公署直轄。1952年7月，撤銷遵義城關區，恢復遵義市。遵義縣劃十六區、二十區和九區深溪鄉的鎮隆、長嶺兩村隸遵義市。遵義市高橋、顏村、涼水、河溪4個鄉劃歸遵義縣轄。1954年4月28日，遵義縣人民政府機關由遵義市遷駐南白鎮。1956年8月，遵義縣高坪區的海龍鄉、新場鄉，南白區的建平鄉，老蒲區的禮儀鄉劃歸遵義市轄。同年11月，遵義縣茅坡區的歐家灣、麻家壩、洪家灣等地劃歸綏陽縣轄。1958年11月12日，撤銷遵義縣建置并入遵義市。1961年8月16日，恢復遵義縣建置。1963年3月，遵義市忠莊、海龍、北關3個公社和南關公社的鎮隆、南山、長嶺、金華、長崗大隊，高橋公社的十字、八卦、巷口、第五、第六、第七、第八大隊，長征公社的平莊、新民、民主、禮儀、河溪、官廳、板山、涼水大隊劃歸遵義縣轄，建為桃溪區。1965年11月，桃溪區所轄地域劃回遵義市。1969年12月，息烽縣烏江公社劃歸遵義縣轄，與三合區刀靶公社組建為烏江區。
1992年，全縣轄17個區，1個區級鎮，轄123個鄉，16個鄉級鎮，2個鄉級辦事處（南白鎮城區和郊區），729個村民委員會，27個居民委員會，8545個村民小組。是年9月，遵義縣“建鎮并鄉撤區”，全縣建36個鎮，2個民族鄉。國土面積5088平方公里，總人口約127萬人。
1998年4月，遵義縣新蒲鎮、深溪鎮、金鼎山鎮劃歸紅花崗區管轄。2004年6月，遵義縣團澤鎮、高坪鎮、泗渡鎮、板橋鎮劃歸匯川區管轄。
2009年5月，遵義縣新舟鎮由新蒲新區托管。2013年7月，蝦子鎮、三渡鎮、永樂鎮由新蒲新區托管。2015年，全縣31個鎮（鄉）國土面積4093.77平方公里，人口124.6萬人。2016年1月，龍坑鎮由新成立的南部新區托管。托管不是行政區劃調整，只是由相關機構代為管理。
2016年3月20日，國務院對貴州省人民政府《關于調整遵義市部分行政區劃的請示》（黔府呈〔2015〕31號）作出批復。根據批復，貴州省將撤銷遵義縣，設立遵義市播州區。山盆鎮、芝麻鎮、沙灣鎮、毛石鎮、松林鎮劃歸匯川區轄管。新舟鎮、蝦子鎮、三渡鎮、永樂鎮、喇叭鎮劃歸紅花崗區管轄。播州區轄南白鎮等21個鎮（鄉），國土面積2490.94平方公里。2016年5月，上述鎮劃出。2016年6月6日，播州區掛牌儀式在南白影劇院舉行，標志著播州區正式成立。
