医院始建于1952年，前身为安徽省第六康复医院(俗称三康医院)。1954年5月正式收治病员，收治对象为志愿军、解放军。当时医院有工作人员297人，设有门诊部及内、外、五官、口腔、助产、针灸、理疗X光室等科室。
1956年8月更名为安徽省慢性病医院。
1957年12月成立安徽省立第三医院。
1958年8月，省卫生厅决定将省立第三医院下放巢县，正式更名为“巢县人民医院”。
1984年1月，县级巢湖市成立，更名为“巢湖市人民医院”。
1995年3月，被安徽省卫生厅授予“二级甲等综合性医院”。
1999年7月，巢湖撤地设市，医院整体上划，更名为“巢湖市第二人民医院(正县级)”。
2011年8月，随着行政区划调整，医院为合肥市卫生局所属巢湖第二人民医院。
2013年医院参加合肥市二级甲等医院复核评审工作，2014年4月16日接到合肥市卫生局通知，经市级专家组评审并经省卫生厅核准，医院顺利通过二级甲等医院复审考核。
医院位于巢湖市中心区，全院占地面积5万平方米，建筑面积4万平方米，现有床位编制786张，设有门诊部和住院部两大区域。设有15个病区，32个临床一、二级学科，10个医技科室，拥有德国西门子1.5T磁共振(含类PET功能)、64层螺旋CT机、DR、DSA、数字平板胃肠机、美国GE全身彩超(含心脏专用彩超)、数字乳腺钼靶、肺功能、脑电、肌电、动态心电、血压，血透机(含CRRT)，快速冰冻切片机，腹腔镜、胆道镜、前列腺汽化电切镜等系列腔镜，罗氏化学发光仪、全自动酶免分析系统、全自动微生物培养鉴定系统等高新进口医疗设备。4870平方米门诊楼和16500平方米的现代化住院大楼，耸立在城中央并成为标志建筑。正在装潢的总建筑面积16406㎡的医技楼计划年内投入使用。
医院现有在职人员893人，具有高级职称68人，中级职称265人，硕士研究生18人，在职硕士研究生48人、博士研究生2人。巢湖中青年学科带头人2名，省专科护士10人。
成功开展了心脏病介入诊疗(冠状动脉造影、永久起搏器安装)、鼻窦镜、纤维咽喉镜、腹腔镜、ERCP、输尿管镜、气压弹道碎石、经皮肾镜、前列腺气化电切、宫腔镜、阴道镜和关节镜等系列微创手术。
以人为本、科技领先、用心服务、追求卓越是我们的办院方针;成为特色鲜明的省内知名医院;成为群众首选的最值得信赖的医院是我们的愿景;团结、奉献、创新、攀登是我们的院训;内强素质、外塑形象、诚信服务、质量取胜是我们的竞争理念;认真去做只能合格、用心去做才能优秀;思路决定出路、细节决定成败是我们的工作理念;以病人需求为中心，救死扶伤，尽职尽责是我们的服务宗旨。
医院现为安徽医科大学、皖南医学院、安徽中医药大学、合肥职业技术学院教学医院，巢湖市医疗保险定点单位，设有120急救分中心、中国初级卫生保健基金会健康扶贫工程“宫颈癌筛查基地”。与南京鼓楼医院建立了医疗技术协作体和技术管理培训基地，并加入安徽省立医院网络医院。
医院长期坚持科教兴院、人才强院的发展战略，经过不断发展，医院在儿科、神经内科等一批重点学科的基础上，心内科、普外腔镜手术、泌尿外科、新生儿科、ICU、麻醉科、妇产科等发展迅速，成为本院特色及当地有影响力的学科，2013年9月我院心血管内科被评为合肥市重点特色专科。
医院曾先后获得安徽省文明医院、安徽省防治“非典”工作先进集体、安徽省卫生先进单位、合肥市文明单位。