杨愔，字遵彦，小名秦王，弘农华阴人。父津，魏时累为司空侍中。愔儿童时，口若不能言，而风度深敏，出入门闾，未尝戏弄。六岁学史书，十一受《诗》、《易》，好《左氏春秋》。幼丧母，曾诣舅源子恭，子恭与之饮，问读何书，曰：“诵《诗》。”子恭曰：“诵至《渭阳》未邪？”愔便号泣感噎，子恭亦对之歔欷，遂为之罢酒。子恭后谓津曰：“常谓秦王不甚察慧，从今已后，更欲刮目视之。”愔一门四世同居，家甚隆盛，昆季就学者三十余人。学庭前有奈树，实落地，群儿咸争之，愔颓然独坐。其季父暐适入学馆，见之大用嗟异，顾谓宾客曰：“此儿恬裕，有我家风。”宅内有茂竹，遂为愔于林边别葺一室，命独处其中，常以铜盘具盛馔以饭之。因以督厉诸子曰：“汝辈但如遵彦谨慎，自得竹林别室、铜盘重肉之食。”愔从父兄黄门侍郎昱特相器重，曾谓人曰：“此儿齿未落，已是我家龙文。更十岁后，当求之千里外。”昱尝与十馀人赋诗，愔一览便诵，无所遗失。及长，能清言，美音制，风神俊悟，容止可观。人士见之，莫不敬异，有识者多以远大许之。
正光中，随父之并州。性既恬默，又好山水，遂入晋阳西县瓮山读书。孝昌初，津为定州刺史，愔亦随父之职。以军功除羽林监，赐爵魏昌男，不拜。及中山为杜洛周陷，全家被囚絷。未几，洛周灭，又没葛荣。荣欲以女妻之，又逼以伪职。愔乃托疾，密含牛血数合，于众中吐之，仍佯喑不语。荣以为信然，乃止。永安初，还洛，拜通直散骑侍郎，时年十八。元颢入洛，时愔从父兄侃为北中郎将，镇河梁。愔适至侃处，便属乘舆失守，夜至河。侃虽奉迎车驾北渡，而潜欲南奔，愔固谏止之。遂相与扈从达建州。除通直散骑常侍。愔以世故未夷，志在潜退，乃谢病，与友人中直侍郎河间邢邵隐于嵩山。
及庄帝诛尔朱荣，其从兄侃参赞帷幄。朝廷以其父津为并州刺史、北道大行台，愔随之任。有邯郸人杨宽者，求义从出藩，愔请津纳之。俄而孝庄幽崩，愔时适欲还都，行达邯郸，过杨宽家，为宽所执。至相州，见刺史刘诞，以愔名家盛德，甚相哀念，付长史慕容白泽禁止焉。遣队主巩荣贵防禁送都。至安阳亭，愔谓荣贵曰：“仆家世忠臣，输诚魏室，家亡国破，一至于此。虽曰囚虏，复何面目见君父之仇！得自缢于一绳，传首而去，君之惠也。”荣贵深相怜感，遂与俱逃。愔乃投高昂兄弟。
既潜窜累载，属神武至信都，遂投刺辕门。便蒙引见，赞扬兴运，陈诉家祸，言辞哀壮，涕泗横集，神武为之改容。即署行台郎中。大军南攻邺，历杨宽村，宽于马前叩头请罪。愔谓曰：“人不识恩义，盖亦常理，我不恨卿，无遐惊怖。”时邺未下，神武命愔作祭天文，燎毕而城陷。由是转大行台右丞。于时霸图草创，军国务广，文檄教令，皆自愔及崔