字士廉，渤海蓚(今河北省景县)人。其父高励，字敬德，北齐乐安王、尚书左仆射、隋洮州刺史。
士廉少有器量，对文史涉猎较深，其才学为名人看重。大业中任治礼郎。士廉兄妹关系甚密，其妹与隋右骁卫将军长孙晟成婚，生子长孙无忌及女。晟卒后，太宗以晟女非常人，因以为妻，即文德皇后。
武德五年(622)，太宗因士廉为文德皇后之舅父，加之素有名望，甚敬之，拜太子右庶子。
贞观元年(627)，擢拜侍中，封义兴邵公。士廉任益州大都督府长史时，疏决河道，蜀中有获其利，又因士廉素日吸引辞人，命儒生讲论经史，蜀中学校大兴。
五年，入为吏部尚书，进封许国公。后奉命与御史大夫韦梃、中书侍郎岑文本、礼部侍郎令狐德棻等撰《氏族志》。书成，凡一百卷，诏颁于天下，寻同中书门下三品。
十二年，与长孙无忌等以佐命功，并代袭刺史，授申国公。其年，拜尚书右仆射，受诏与魏征等撰《文思博要》一千二百卷。十七年，二月，诏图形凌烟阁。二十一年正月壬辰卒，年七十二。高宗即位，追赠太尉。