1961年4月第一机械工业部工程机械专业管理局正式宣告成立，对外简称“五局”，负责发展规划、生产管理全国的工程机械产业。到1978年，第一机械工业部直属企业由4个发展到14个，归口的行业企业数由40多个发展到380个，大学工程机械专业、研究院所、国家检测试验中心发展到28个，从此形成了我国的工程机械产业体系。
1978年8月当时的一机部和国家建委下文将行业中的挖掘机械、压路机、桩工机械、混凝土机械等产品由一机部划归到国家建委归口管理，相应企业60个也划归国家建委管理。
1985年国家计委根据国务院机构改革意见，一机部更名为机械工业部，组织建设部、交通部、铁道部、林业部、水电部、兵器部、工程兵等共同成立了机械工业10个大行业管理规划办公室，其中包括全国工程机械行业大行业规划管理办公室，由机械工业部统一协调规划发展工程机械产业。
1998年，根据第九届全国人民代表大会第一次会议批准的国务院机构改革方案，将机械工业部改组为国家机械工业局，为国家经济贸易委员会主管机械工业的行政机构，同时撤销了建设部对建设机械的管理职能，结束了工程机械行业由两个部委分管的状态。
2002年4月，根据原国家经贸委对建设机械、工程机械两协会合并事宜的批复精神，中国建设机械协会和中国工程机械工业协会合并，称中国工程机械工业协会。
