图海早年天资忠悫，性情敦笃。初任笔贴式加员外郎衔。
顺治二年（1645年）四月，改任内国史馆侍读，五月，兼任明史纂修官。这一年，与图海同时被提为国史馆侍读的有五人，被提为明史纂修官的有九人。
顺治八年（1651年）二月，图海背着史书跟从顺治帝到南苑，顺治帝见他举止稳重，“欲重用之”，恐别人不服，就对众人说：“这个中书举止异常，应当依法处置。”众人都以图海无罪为他求情，顺治帝说：“不然，立刻让他担任卿相，才可以满足他的愿望。”因此，立即授予他内秘书院学士。
顺治十年（1653年），图海被晋升为弘文院大学士，列议政大臣，参与机务。
顺治十二年（1655年）二月，因恪勤职守，加太子太保。五月，兼管刑部尚书事。次年考满，加少保，萌一子入监读书。可以说，正是由于顺治帝的赏识提拔，图海才迅速成为朝中的股肱大臣。后来顺治帝也说：“图海原系白身，朕破格优擢，任用一品。”
图海在管理刑部期间，并没有辜负顺治帝的期望，做了一些有益的改革，受到时人的肯定。据史载，他与姚文然同定律例，将明代酷法进行删除，并奏准除去死囚的长伽、匣床，以免狱卒凌虐。又毁掉明代镇抚司所用的酷刑刑具，如吕公绦、红绣鞋等，以免后人效法。这些做法，使得“当时翕然颂德”。
但图海的仕途并非一帆风顺，顺治帝对他的宠信日渐减少。
顺治十三年（1656年）七月，图海管理刑部仅一年多，就被顺治帝革去拜他喇布勒哈番、太子太保，又降三级。
顺治十五年（1658年），因江南乡试作弊一案，刑部“徇庇迟至经年”，“问拟甚轻”，图海受牵连，被革去少保、太子太保及所加之级。十二月，他奉命同大学士巴哈纳、金之俊、卫周祚、李霨等校订《大清律》。
顺治十六年（1659年）闰三月，图海再次受到严重的打击。起因是侍卫阿拉那与公额尔克戴青家奴斗殴于市，刑部在审理时，判处阿拉那鞭一百，折赎，上奏得准。但十八天后，顺治帝下旨严办图海，图海被革职，家产籍没。这次处罚对图海来说，当然是非常致命的打击，丢官败家，还险些丧命。
是顺治帝并没有忘记这件事。在顺治十八年十月，他临终弥留之际，留下了遗言：“原任都统图海，情罪原屈，欲改未及。遇有满洲都统缺补用。著图海补授都统。”可知顺治帝反省此事，承认图海是被冤屈的，所以留下