自唐神龙元年至宋仁宗景祐朝，苏氏落籍于眉，且已三百余年，所以这家族虽然算不上是个高门巨阀，但却是著名的眉山县旧家，是苏轼诗所谓“炯炯明珠照双璧，当年三老苏程石。里人下道避鸠杖，刺史迎门倒凫舄”的乡绅人家。
自苏味道的儿子家于眉山，传两百余年而至苏泾，泾以前，皆不详。
泾生釿，苏洵《族谱后录》下篇，记其世系，说他和高祖釿“以侠气闻于乡闾”。釿生五子，洵的曾祖父是少子苏祜，“以才干精敏见称”。其存殁与五代相始终，这一长达七十年的五代时期，天下大乱，唯蜀独保安定，而苏祜又精明能干，苏家的经济基础，大约奠定于此时。
祜有六个儿子，苏洵的祖父苏杲以孝友著名乡里，颇善治生，遂使家道殷富，有余财可以施舍别人，曾言：“多财而不施，吾恐他人谋我；然施而使人知之，人将以我为好名。”所以总是偷偷摸摸地帮助穷人。因为乐善好施而散财，终其身，田不满二顷，屋敝陋而不葺。
《族谱后录》记杲有弟宗晁，是个“轻侠难制”的人物，还有个族弟苏玩，“尝有重狱”。事迹虽然不详，但甚可注意，侠以武犯禁，这个家族中的人，似乎极有任侠尚义的遗传气质。
其实，任侠尚义和乐善好施，一样是出于热心为人，同情弱者的情操，不过因对象不同，表现方法互异而已。苏家这份遗传气质，这份侠义精神，在后来子孙身上，依然清晰可见。
热心向人的人，凡事必不为己，所以淡泊名利和居家俭约，几乎也是苏氏传承的家风。宋朝的大军破蜀前后，蜀国的达官贵人，纷纷抛售田宅，赶赴汴京投效，有人劝苏杲贱价收买，但他不占这个便宜，慨然道：“吾恐累吾子。”
杲子序，字仲先，生于宋太祖开宝六年（973），像他父亲一样，乐善好施，而不爱读书。体格魁伟，气量宽宏，为人平和朴实，自奉甚俭，待人却很厚道，一心只想博取别人喜欢，从来不为自己着想。对士大夫十分敬重，甚至有点卑躬屈膝的样子，别人笑他谄媚，其实他对田父野老也一样谦虚。外表上看，他对任何人一样好，其实内心里自有一个品鉴的分寸，严格得一点都不随便。
李顺举事时，兵围眉山，苏序就在城中亲身担任守御工作，表现得非常勇敢。不幸在这战乱中，他的父亲病故了，他也能依礼治丧，退慰其母，并不草率，其时他还只二十一岁。
他虽不爱读书，却欢喜做诗，就他自己所见所闻，上自国家大事，下至乡里琐屑，加上他的感慨，用诗的形式写出他心里真实的喜怒哀乐，下笔很快，积稿数千篇，但只以此自娱，从不自鸣。
虽然表面上是那么一个平和的人，但如遇到看不顺眼的事情，他也敢作敢为。蜀人比较迷信，眉山城中有一处不伦不类的茅将军庙，为眉人所信畏，庙祝借以骗钱，香火甚盛。他一日乘醉，带领村仆二十余人入庙，斧劈偶像，并将这座新庙一起拆毁，不畏神谴。他就是这么一个正直而饶有侠义精神的乡里长老。
他非常淡泊，与世无争。王称《东都事略》说，仁宗庆历四年三月，诏诸路州府军监并立学，如修学者多及二百人以上，许更置县学，然是时郡县颇以此扰民，亦一时之弊也。怎样扰民，虽不详知，但记言县中有力者争取执事县学的地位，则定有好处，可想而知。苏氏是当地的缙绅之家，有资格争取，但苏序独令家人退让，不跟别人争夺。他出入都不乘马，说：“路上有比我老还在步行的，我骑了马怎么见他？”一生竭力藏退，敝衣恶食，他才心安理得。
他家陆田不多，大部分都只种粟，收成后，盖一大仓贮存，大家猜不透他是什么用意，几年下来，存有三四千石。有一年，眉州遭逢饥荒，苏序就开仓取粟，先济族人，次助外戚，再次赈济佃户和乡曲的贫民。有人问他：“救荒何必一定用粟？”序说：“粟米性坚，能耐久储，缺粮时用它，不会霉烂。”平日，住宅周围，都种芋魁，每年收获很多，收藏在厚草囷里。寒冬腊月，他家用大蒸笼蒸了热腾腾的芋魁，摆在大门外，任令饥人取食。
眉山苏家，原来并非士族，迁蜀的五世先人中，没有一个做过官，也都不大喜欢读书。这是当年的地方环境和社会风气所使然。苏辙《栾城集·伯父墓表》：“苏氏自唐始家于眉，阅五季皆不出仕。盖非独苏氏也，凡眉之士大夫，修身于家，为政于乡，皆莫肯仕者。”唐末及五代之际，变乱相寻，天下骚扰，蜀人自有安和优裕的农家生活可过，就不愿离乡背井，投身到混乱不安的政治社会里去谋求官职。不想做官，所以读书风气也就比较衰微，虽然他们有足够的聪明和文化修养。