淮南市境位于淮河流域，最大的地表水為淮河。市境支流有東淝河、窯河、西淝河、架河、泥黑河等。湖泊有瓦埠湖、高塘湖、石澗湖、焦崗湖、花家湖、城北湖等。人工河有茨淮新河。此外，還有蔡城塘、泉山、老龍眼、乳山、丁山、許橋等小型水庫以及采煤塌陷區積水而成的眾多湖泊、濕地，最大的為櫻桃園(謝二礦塌陷區，亦稱淮西湖)。
淮南地處安徽省中北部，東與滁州市毗鄰，東南與合肥市接壤，西南與六安市相連，西與阜陽市相接，北與亳州市、蚌埠市交界。最東端位于大通區孔店鄉王祠村以東、高塘湖中心線上，最西端位于鳳臺縣尚塘鄉侯海孜以西與利辛縣接壤處，最南端位于壽縣三覺鎮馮樓村槐樹莊以南與六安市金安區接壤處，最北端位于鳳臺縣與蒙城縣、利辛縣交匯的茨淮新河主航道中心線上。