杨州江都(今属江苏省)人。父护儿为隋左翊卫大将军，宇文化及反，护儿全家死于难，济因年幼得免。济苦学，善文章，通晓时务，举进士。唐贞观中，累迁通事舍人。太子承乾废，太宗问侍臣如何处置，群臣莫敢对，唯济曰：陛下不失为慈父，太子得尽天年即为善矣，帝以为然。贞观十八(644)，济授太子司议郎兼弘文馆学士，兼修国史。不久，封济中书令检校吏部尚书。
高宗欲立武则天为皇后，济奏请高宗选出身于礼义名家、幽娴令淑者为后。帝不从。武后即立，济不自安。则天上表称济忠心，请帝加以赏赐；内心实恶济至深。显庆初年(656)，济进封侯。高宗曾问济理民大政，济对曰：春不夺农时，民有食；夏不夺蚕工民有衣，轻徭役是理民最应采取的方法。
显庆二年，济拜太子詹事。褚遂良遭诬入狱，许敬宗又密奏济与遂良为朋党，帝贬济为台州刺史，显庆五年转庭州刺史。龙朔二年(662)，突厥犯边，济总兵拒之，对其部下说：我曾挂刑网而蒙帝赦我性命，我当以身塞责，于是不释甲胄驰入敌营东杀西砍，最后死于阵前，时年五十三岁。赠楚州刺史，给灵车运济柩还乡。济有文集三十卷行于世。