八歲父薨，繼遭母喪，克盡孝道，每見園池臺榭有父手澤履跡，輒仰天號哭，飛烏為之悽嗚。服既闋，即有邁俗之志，居常好彈琴，誦《老》、《莊》，安閒淡泊，內足無求。年十五六名振江左，州郡欲辟為緣，仙公笑日：蔬食被褐枕石漱流吾所樂也，豈能以彼而易此哉。卒辭之。志欲逐跡靈嶽遐求異人，乃著羽服入赤城山，精思念道，常服餌術，能絕穀連年不饑。
《列傳》云：仙公年十八九，束入括蒼省其叔彌，彌字孝公，時授業於其居。日：予常念子幽窈與人事疏闊，仰昤青雲，俯臨滄海，險阻艱難，備嘗之矣。今天下求士子，才衛奇博盍出仕乎？答曰：玄稟性愚鈍，不適世用，負愧先緒，謝干祿之客，辭負鼎之士，當絕志巖穴，棲心煙霞，流浪山水，期與涓子為友，赤松結交。惟叔父遠弘道藝，講論五經，俾沬泗之風翕然，復振策名王室，亮天熙載垂裕後昆耳。彌日：子絕穎離倫，超几，入聖，吾不及也。陶碑云：從祖彌，豫章等五郡太守。《別傳》以為叔，誤。
恆周旋括蒼、南嶽、羅浮、金精、玉筍、長山、蓋竹、天台、蘭風等山，雖歷游名嶽時還京邑，或止石頭四望山所，或游於烈州。恆與謝稚堅、黃子陽、郭聲子相隨。
《真語》云：鹿跡山洞主有謝稚堅。又云：謝稚堅張兆期就毛伯道劉道恭請道，與之灰苓特行方服之，皆已數百歲，游行五嶽也。黃子陽者，魏人也。學道博落山中九十餘年，但食桃皮飲石中黃水，後逢司馬季主以導仙八方與之，遂以度世。晉初有真人郭聲子在洛市中作卜師也。
漢光和二年正月朔，仙公於天台上虞山感太上遣玄一三真人太極徐真人授以三洞四輔經錄，修行祕訣，金書玉誥符圖。又命王思真披九光玉蘊出洞玄大洞靈寶經典七品，齋目勸戒法輪無量通玄轉神入定等經以授仙公。