自1978年恢復研究生招生和1981年實施學位制度以來，我國研究生教育發展很快。1978年至1983年招收的研究生相當于“文革”前十七年招生總和的兩倍半；在校研究生相當于“文革”前在校研究生的最多年份的五點七倍。根據研究生教育發展的需要，第五屆全國人民代表大會第五次會議批準的國家“六五”計劃提出：“要試辦研究生院”。原教育部研究生司在廣泛征求意見的基礎上，確定了試辦研究生院的條件。
　　1984年8月，經國務院批準，原教育部正式發出了《關于在北京大學等二十二所高等院校試辦研究生院的通知》，同時印發了《關于在部分全國重點高等院校試辦研究生院的幾點意見》。
　　1986年4月，經國務院批準，原國家教委發出了關于同意中山大學等十所院校試辦研究生院的通知。
　　經國務院兩次批準，試辦研究生院的高等學校達32所，加上1978年經國務院批準成立的中國科技大學研究生院，全國共有33所普通高等學校試辦研究生院。
　　研究生院是我國高層次人才培養和解決國家重大科技問題的重要基地，代表著我國研究生教育的最高水平，在我國研究生教育發展中具有舉足輕重的地位和作用。為加強對研究生院的管理，1995年10月9日，原國家教育委員會制定并下發了《研究生院設置暫行規定》。“暫行規定”對設置研究生院的高等學校應當具備的條件、研究生院應當履行的職責等都作了明確規定。同時開展了對普通高等院校試辦研究生院的評估工作，對獲本次評估前10名的試辦研究生院給予適當的表彰和獎勵。會議同意本次評估前10名和中國人民大學等11所高校試辦研究生院作為第一批轉正，其他經評估合格的試辦研究生院作為第二批轉正。
　　2000年6月，教育部批準了北方交通大學等22所高校試辦研究生院。2002年5月，教育部批準了哈爾濱工程大學等2所高校試辦研究生院。
　　2004年5月，教育部批準了北方交通大學等22所高校正式成立研究生院。2007年6月，教育部批準了哈爾濱工程大學等3所高校正式成立研究生院。
　　經過二十幾年的扎實工作，全國56所研究生院從試辦到正式成立，為國家培養了一大批優秀的高層次人才，促進了學科建設和科研水平的提高。目前，經教育部批準設置的56所研究生院承擔了全國67%的博士和42%的碩士培養任務，研究生院在我國研究生教育的發展和高水平科學研究中發揮著重要的作用。