上尝登凌烟阁，见左壁颓剥，文字残缺，每行仅有三五字，命录之以问宰臣。
宰臣遽受宣，无以对；即令召乂至，对曰：“此圣历中《侍臣图赞》，臣皆记忆。”
即于御前口诵，以补其缺，不失一字。上叹曰：“虞世南暗写《列女传》，无以加也。”十八年，迁起居舍人，转司勋员外郎，皆兼史职。时集贤学士甚众，会诏问神策军建置之由。相府讨求，不知所出，诸学士悉不能对，乃访于乂。乂征引根源，事甚详悉，宰臣高郢、郑珣瑜相对曰：“集贤有人矣！”翌日，诏兼判集贤院事。父子代为学士，儒者荣之。时顺宗祔庙，将行祧迁之礼，诏公卿议。
咸云：“中宗中兴之主，不当迁。”乂建议云：“中宗既正位柩前，乃受母后篡夺，五王翼戴，方复大业。此乃由我失之，因人得之，止可同于返正，不得号为中兴。”群议纷然，竟依乂所执。
元和二年，迁兵部郎中。与许孟容、韦贯之等受诏删定制敕，成三十卷，奏行用。改秘书少监，复兼史馆修撰。寻奉诏与独孤郁、韦处厚同修《德宗实录》。