十九岁，以诗赋考中两浙路的举人，没能通过礼部试。元祐七年，苏轼做兵部尚书，叔党以荫为右承务郎。
不久，遭逢家难，侍父转辗于岭外惠州、海南各地，老父饭食服用，一应生活所需，都由他一个人承担下来，没有事情没做过。晁说之说：“翁板则儿筑之，翁樵则儿薪之，翁赋诗著书，则儿更端起拜之，为能须臾乐乎先生者也。”（晁撰《叔党墓志铭》）
苏轼旅踪所至，每有诗作，过必和唱，使这穷居潦倒的父亲，喜不胜言，要起渊明于地下，问他：“你有这样的快乐吗？”35他们在海南，不大有肉吃，每天食芋饮水，关门度日。叔党变化煮芋的方法，做了“玉糁羹”给父亲换换口味，苏轼以为天下酥酡则不可知，人间决无此美。
初至海上，作《志隐》一篇，苏轼看了，拂髯欣慰道：“吾可以安于岛夷矣！”但命作《孔子弟子别传》，则父亲所期望于这个儿子的，依然是儒家的“济世利物”的使命。
苏过侍父南行之初，年才二十三岁，父子二人，相依为命，共度艰危万状的暗淡生活。他在海南寄诸兄弟诗说：“我似当时常校尉，掘鼠餐毡从属国。”次韵谢民师说：“饥人但觉粃糠美，忧患始知田舍乐。”等到老父蒙赦，随父北归，他已三十岁了，自谓：“丁年而往，二毛而归。”忍辱负惭，只余一把辛酸之泪了。
不料回到常州，更遭父丧。翌年，党祸又起，身为“元祐党人”首恶之子，续被“编管”，只得潜身许昌，在湖阴觅得一块水竹数亩之地，名曰“小斜川”，自号斜川居士，读书作画自遣。
苏过出仕，初监太原府税，后又做过颍昌府郾城县令。宣和中，党禁初弛，始得入京师，寓居景德寺僧房，在那儿发生了一段故事：
一日，苏过忽见快行家带一小轿同到寺来，传旨宣召，催促立刻登轿。虽然不明白是什么事，但也不敢不去。
进入轿中，眼前有物遮挡，上则无顶，另有一柄小凉伞罩着。两个轿夫抬着轿子，行走如飞。大约走了十多里路，到一长廊下停了轿，有内侍一人，自上而下，领他升一小殿中，帝已先坐座上，身披黄色褙子，头戴青玉冠，一大群宫女环侍左右，不知其数。他也不敢仰视，心里则知道这里已是“崇高莫大之居”。
时当六月盛暑，殿中积冰如山，喷香如烟雾，缭绕不散，冷得直叫人发抖。俯仰之间，举眼所见，都是不可名状的非凡景象。
苏过起居（行礼）毕，帝谕曰：
“听说卿家是苏轼之子，善画窠石，现有一面素壁，烦你一扫，没有别的事。”
过再拜承命。就这殿壁，略一相度，濡毫落笔。不久，画成了。皇帝起身纵目而观，叹赏再三，命宫人捧赐釂酒一钟，另有甚为丰渥的赏赍，苏过拜谢下殿。
仍然走那条长廊，登上小轿出来，也不知道走过哪些地方。回来后，还是如梦如痴，不甚明白。36
如所传说的故事确为事实，则禁宫中怎么会知道苏轼有子能够绘画，而且知道此人现在京师，住在景德寺里。这中间必有一个说客，多半是徽宗嬖幸的司笔太监梁师成。
梁师成，黠慧能文，初时管领睿思殿文字外库，善于逢迎帝意，后来就掌管宫中重要的文书，迁至河东节度使。政和间，官至太尉，权倾一时。
师成自惭形秽，为要标榜身份，冒称他是苏轼的“出子”（外面情妇所生的儿子）。这是当时通行的骗术，童贯亦是。如徐梦莘《三朝北盟汇编》说，童贯欲自为韩魏公（琦）出子，屡向吏部侍郎韩粹彦示意，粹彦毅然拒绝道：“先公平昔无兹事。”后来王珪的第三子王仲嶷贪图富贵，自往揽承。童贯大喜，改称王禹玉的出子。《三朝北盟汇编》又说：“师成与轼诸子叙拜为兄弟行。”其实迈、迨皆在外地，所以他所能结交的只有时一至京的苏过。他向徽宗介绍苏过画壁，亦不过要证实他并未伪冒身份而已。
当时，天下禁读苏文，禁止收藏苏轼遗墨，其尺牍在人间者，也都被毁。据说梁师成曾向徽宗申诉：“先臣何罪，禁诵其文章，灭其尺牍。”于是，禁令开放，苏轼的遗文手迹，才稍得复出。梁师成权高位重，炙手可热，他要下交苏过，苏过逃不过这重网罗，不能显绝师成，许是事实。然而，洛学弟子们作《朱子语录》，却诬言师成自谓东坡遗腹子，待叔党如亲兄弟；又说“过以父事之”，指苏过做了梁师成的干儿子，简直是胡言乱语。