1956年9月1日，山西省水土保持学校成立，隶属山西省水土保持局，校址占用太原市黄陵荣军学校旧址，校长杜坚。

1956年9月15日，太原水利学校成立，行政关系隶属山西省水利局，校址位于太原市水西关外坝埝以西、汾河东岸一段地区（现天龙超市所在地）。

1957年8月，山西省水土保持学校、太原水利学校合并为“山西省太原水利学校”。

1959年7月，学校升格为“山西省太原水利专科学校”。

1960年5月21日，经省常委会第275次会议通过，学校再次升格为“山西水利学院”。

1962年，山西水利学院中专部、太原水产学校合并到安邑水利学校，定名为“山西省水利学校”。

1981年，山西省水利干部学校成立。

1985年，山西水利职工大学成立。

2002年，经山西省人民政府批准，由山西省水利学校和山西水利职工大学合并组建“山西水利职业技术学院”。 

2007年，在高职高专院校人才培养工作水平评估中，学院被评为人才培养工作优秀单位。 

2009年，山西水利职院被水利部确定为高职示范院校建设单位。

2012年，学校顺利通过验收，正式成为水利部高职示范院校。

2014年，学校被确定为省级示范院校。

2015年12月30日，学校省级示范性高等职业院校建设项目顺利通过验收。

院系设置

截至2015年12月，学校设水利工程系、建筑工程系、测绘工程系、道路与桥梁工程系、信息工程系、机电工程系、经济管理系等9系、基础部、思政部、成人教育部等4部共13个教学单位，开设25个高职专业。