张伯端虽然少年博学，从洛阳会邵雍时自言“曾肆力于儒，肄业国学，久不第”和南宋翁葆光《悟真篇注》称他“肄业辟雍，唯翁不第”的记载可知，张伯端的科举之路并不顺利。作为一个科举不第的读书人，为了生计屈就台州府吏就是顺理成章的选择了。于是，府城临海也就有他的旧居遗迹。
明确称张伯端任台州府吏的说法首见于清《康熙临海县志》。此前南宋白玉蟾在《高祖先师天台紫阳真人赞》中称其为“元丰一皂吏”，这皂吏应该就是指台州府吏，而元丰两字也许是泛指，因为元丰期间张伯端已是九十五岁以上的老人，根本不可能再去当皂吏了。
后来，据陆思诚《陆彦孚记》称张伯端“坐累，谪岭南兵籍。”这“坐累”两个字作何解释？《临海县志》给出的答案是：张伯端“性嗜鱼。在官办事，家送膳至，众以其所食鱼戏匿之梁间。平叔疑其婢所窃，归扑其婢。婢自经死。一日，虫自梁间下，验之，鱼烂虫出也。平叔乃喟然叹曰：“积牍盈箱，其中类窃鱼事不知凡几！”因赋诗云：“刀笔随身四十年，是非非是万千千。一家温饱千家怨，半世功名半世愆。紫绶金章今已矣，芒鞋竹杖任悠然。有人问我蓬莱路，云在青山月在天。”赋毕，纵火将所署案卷悉焚之。因按火烧文书律遣戍。”不过此说看是合理，却经不起推敲。所载“鱼案”只是一个并非临海专有的传说故事，譬如常州版的故事情节雷同只是主人公不是府吏张伯端而是县吏龚子彬。“赋诗”更是元至顺年间福建廉访使蜜兰沙扶乩所得的乩笔诗。故该志所载难以为据。《台州道教考》称张伯端“因火烧文书罪，被流放岭南。……一方面是对所掌冤屈案件的同情，更主要的是他内心对封建社会的不满”，可备一说。
岭南，是指五岭越城岭、都庞岭、萌渚岭、骑田岭、大庾岭以南的地区，相当于广东、广西及海南全境。历史上，由于岭南远离中原相对荒蛮，曾被作为流放之地。
通常认为，遭流放是不幸的，可是对于好道的张伯端来说，却可以因此抛却俗务专心事道，从而走上修道成仙的光明大道。张伯端被流放岭南的具体地点未见史料记载。元《历世真仙体道通鉴》和《悟真篇本末事迹》均称：“浪迹云水。晚传混元之道而未备，孜孜访问，遍历四方。”这里的“云水”，有人认为是广东省乐昌县的云水河，但是那里没有任何与张伯端相关的遗迹或者传说，而乐昌亦非道教名胜，因此称张伯端在云水一带访道缺乏依据。事实上，“浪迹云水”是指张伯端如行云流水般地在岭南地区四处访道。序》中所言：“询求遍于海岳，请益尽于贤愚。”其足迹所至应该是一个比较大的区域，有史料记载的主要地方是桂林。
张伯端桂林赠歌刘道人是第一个有时间可考的生平节点。据南宋桂林摩崖石刻《张平叔真人歌跋》：“刘君讳景，字仲远，桂林人也，嘉佑末得是歌”可知，此时张伯端年已八十，经过数十年访道修炼，已是道行高深的一方名人了。
根据陆思诚《悟真篇记》所载，宋治平中，张伯端在桂林依龙图公陆诜，此后“公移他镇，皆以自随。最后公薨于成都，平叔转徙秦陇。”又据曾金兰等考证，陆诜于嘉佑八年六月帅桂林，治平元年十月赴邕州处理峒亊，治平三年四月知延州，治平四年十一月知晋州，熙宁元年知真定、成都。可以判断，张伯端很可能是在治平元年上半年桂林遇陆诜的，此后一直相随，直至熙宁三年八月陆诜在成都病故。其间张伯端的活动轨迹与陆诜的仕宦变迁相一致。
《历代神仙通鉴》曾记载有张伯端治平中在洛阳会邵雍的故事。有学者认为，“治平年号共四年，如按治平二、三年推算，生年则为雍熙元年左右，与‘住世九十九’相吻合。但此说似乎根据不足。按其他史料，治平中张伯端先在桂林，后随陆诜转成都，似不可能另去一趟洛阳。”其实，陆诜知桂林后，因处理邕州峒蛮事宜有功，被英宗任命为天章阁待制、知谏院。可就在赴京任职的途中，又被重新任命为“兵部郎中鄜延路都总管经略安抚使兼知延州”，时间是治平三年夏四月。于是陆诜赶紧到京城觐见皇帝，然后赴延州上任。其间途经洛阳，此时着名的易理大师邵雍亦居洛阳，张伯端当然不会放过这个难得的请教机会，于是就有了张伯端会邵雍的故事。由于陆诜己经知道进京觐见皇帝后马上就要返经洛阳赴延州上任，所以很可能就让年迈的张伯端在洛阳歇息等候，这就为张伯端会邵雍创造了充分的条件。
成都遇师是张伯端访道过程的关键节点和终点。他此前数十年苦苦寻求的金丹真诀，终于如愿以偿。