杨溥正式下诏禅位，徐知诰在金陵受禅称帝，建立了齐国。李建勋作为吴国的中书侍郎，因“预禅代之谋”，以本官加授同平章事衔，成为齐国的宰相，后又进拜左仆射，加监修国史，领滑州节度使，其妻徐氏则被封为广德长公主。

徐知诰为了继续消除杨氏在国内的影响力，将禅帝杨溥迁离广陵旧宫，李建勋以宰相身份充任迎让皇使，负责将杨氏一族迁往润州丹杨宫。

后来，徐知诰又自称是唐朝宗室的后人，在徐氏宗亲及李建勋、宋齐丘等群臣的奏请下，改姓名为李昪，同时改国号为唐，这就是后世史家所称的南唐。

李建勋有一次上疏言事，本以为奏疏会留中不发，结果却被交付有司予以执行，他因所奏“事挟爱憎”，暗中将奏疏取出加以修改，事发遭到弹劾。

当时，李建勋担任宰相已有五年，在一众宰相中居位最久，李昪本就不愿让大臣久居相位，早有罢免李建勋之意，顺势免去其右仆射兼中书侍郎、同平章事、监修国史等职，罢归私第。

广德公主为此入见李昪，指责他忘却旧交，李昪称与李建勋的“骨肉之情”始终未变，随后召李建勋入宫，多番慰勉，不久又让他官复原职，仍为宰相。

李昪病逝，元宗李璟即位，李建勋作为开国功臣，又是皇室姻戚，深为李璟所礼遇。李璟平时都尊称李建勋为史馆，从不直呼其名，但李建勋却并不看好李璟，认为李璟未必能守先朝基业，李建勋被免去宰相职务，以昭武军节度使出镇抚州。李建勋自抚州入朝，被授为右仆射兼门下侍郎、同平章事，再次担任宰相。

后来，李建勋进位司空，在钟山营建园林，平时悠游山水，多次上表称病乞骸骨，最终以司徒的身份致仕，赐号钟山公，广德公主亦自号钟山老媪，夫妻二人从此隐于钟山。