杨嗣复回答说：“天后重视刑罚，而对于官爵看得很轻，这些都是为自己谋划的计策。凡是用人之道，通过历练才知道这个人是否有才。在艰难困苦的时候，有时需要进行提拔；而太平之日，不如根据资历。古人提拔士兵当大将，这并非在太平时期发生，大概只是迫不得已才任用这样的人。”文宗又询问新修的《开元政要》对事理叙述如何，杨嗣复回答说：“臣等还没见过这本书。陛下如果想把它传给子孙后代，那么请求将它宣示交付给臣等，臣等一同参详是否得当。玄宗有时爱好出游打猎，有时喜好声色，和贞观时期的朝政不同，所以取舍要适当，才能流传后世。”

当时，皇帝在延英殿面见宰相，史官是来不及知道的，杨嗣复就提议：“按照旧例，朝会听政时，起居注在前；平时则不需要史官记录。姚璹、赵憬都曾请求设立时政记事官，但没能实行。臣请求再延英殿对宰相谈论有关道德刑政之类的事情的话，委令中书省、门下省每天记录，每个月交付给史官。”其他宰相不同意，此事遂止。

文宗询问延英殿的政事是由谁掌管每日的记录和监修，李珏回应是其所管，宰相陈夷行说：“由宰相所记录的事，宰相一定会自我夸耀，圣德便因此被掩盖。臣之所以多次进言，是不想使得威权在臣下手中。”李珏辩驳说：“陈夷行这番话，是在怀疑宰相里有人在出卖威权刑赏。不然，陈夷行为什么自己担任宰相还要说出这种话？臣多次上奏请求退职，如果能得到王傅的职位，这就是臣的幸运。”郑覃说：“陛下在开成元年、二年的政事很好，三年、四年逐渐不如以前。”杨嗣复说：“元年、二年是郑覃、陈夷行做宰相，三年、四年则是臣和李珏。臣蒙受圣恩提拔忝居相位，不能尽心竭力做好本职。郑覃说‘三年之后，一年不如一年’，这是臣的罪过。即使陛下不诛杀我，我也要自求罪过。”便磕头说道：“臣今天就向陛下告辞，不敢再进入中书。”说完立刻离开。

文宗派宦官把杨嗣复叫回来，慰劳他说：“郑覃失言，爱卿哪里能到这种地步？”郑覃就起身拜谢说：“臣性格愚钝拙陋，说话没有顾虑。近日事情也渐渐变好，虽不免有些不公，但也没有特别不好的地方。臣也不是要单独斥免杨嗣复，怎么突然要这样。杨嗣复有这样的行为，这是他容不下臣。”杨嗣复说：“陛下不觉得臣才能低微，任用臣做中书侍郎。时政到底好不好，其责任确实在臣。陛下每月花费俸钱几十万，时下的新奇珍宝，一定会先赐给臣，那就是让臣辅佐皇上，以期达到天下大治。既然一年不如一年，那不仅是臣应当有罪，陛下的圣德也遭到牵累。臣请求陛下任命别的贤才，准许臣退休。”文宗说：“郑覃说的话只是偶然，您何必引咎呢？”结果杨嗣复真的好几天不去朝廷，上表请求罢免自己，文宗此时正要委任杨嗣复，因此罢免郑覃、陈夷行的知政事之职。从此，朝政归于杨嗣复一人之手。

杨嗣复又加任门下侍郎，建言说：“使府官署太多，应当裁撤。”文宗问：“这样不会让有才之人屈沉吗？”杨嗣复回答说：“有才的人自然不同寻常，淘汰掉那些无能者，优秀者才会显露出来。”文宗说：“以前萧复辅政，即使是难以开口的话也一定会进言，爱卿一定要记住这一条！”

文宗去世，杨嗣复失去靠山，文宗指定敬宗之子陈王李成美为皇太子，结果神策中尉仇士良违抗遗诏拥立唐武宗，武宗即位并非宰相本意，武宗也因此薄待执政大臣。当年秋天，李德裕从淮南节度使之位被征召入朝辅政，杨嗣复被调出朝廷担任湖南观察使。第二年，武宗诛杀枢密薛季棱、刘弘逸，宦官上言：“薛、刘二人党附杨嗣复、李珏，对陛下图谋不轨。”武宗性急，立刻命令宦官去往湖南、桂管两地诛杀杨嗣复和李珏。

宰相李德裕、崔郸、崔珙立马请求开延英殿，并极言本朝旧事，称大臣如果不是作恶显着，不能加以诛杀，请求皇上三思，武宗思考了很久，动容道：“朕即位之际，宰相哪曾同心协力。李珏、薛季棱志在扶立陈王，杨嗣复、刘弘逸志在拥立安王（李溶），立陈王还可以说是文宗遗诏，杨嗣复拥立安王，完全是秉承杨妃的旨意。杨嗣复还给杨妃写信说：‘姑姑为何不学武则天临朝称制？’”崔珙等人说：“这件事情不明，真假难辨。”武宗说：“杨妃曾得病卧床，她的弟弟杨玄思，曾得到文宗命令进入宫内侍疾一月有余，就是趁此时传达旨意。朕详细问了宫里的人，情状明白，但我不愿意宣示出来。假如安王得志，我哪里能有今天？”说完以后，武宗神色凄然，过了很久补充道：“但看在你们的面子上饶恕他。”于是追还派到湖南、桂管的两名中使，再把杨嗣复贬为潮州刺史。

唐宣宗即位，起用杨嗣复为江州刺史，后征为吏部尚书，杨嗣复从潮阳还朝，到了岳州得病，第二天就去世了，时年66岁，朝廷追赠杨嗣复为左仆射，谥号孝穆。