台谏陈瓘、陈次升从而和之，卒贬章惇为雷州司户参军，“菑人者，人恒菑之”，他也不免流窜南荒了。
伯雨为谏官，半年之间，上章疏一百零八件，时人号为“戆草”。大臣畏其多言，将他调为权给事中，关照他稍安缄默，但是伯雨不听，抗论愈力。到曾布为相，有意调和元祐、绍圣两朝不同的人事。伯雨认为自古未有君子小人杂然并进可以政治者，竭力反对。后来又将参劾曾布，消息外泄，被调为度支员外郎。
伯雨，字德翁，眉山人，任遵圣（孜）的儿子。苏任两家是两代的通家之好，苏轼昔年见他时，还是被父亲抱负着的孩子。诗谓“见之龆龀中，已有食牛量”者，即是此人。苏轼南迁途中，在泗州遇任伯雨要求搭他的船同行一程，直到金陵始别，两人在一舟中共作息者达一月之久。
世界有时候很狭小。章惇挟恃权势，打击苏轼，不留余地；不料苏轼南行途中，无意间碰上的陈瓘、任伯雨这两个泛泛的朋友，恰是后来揪翻这个“一朝巨奸”的猛将。
苏轼于八月二十九日离开廉州合浦，至九月初六到广西郁林（即今桂林）1。初七日忽得秦观急病死于藤州的噩耗，但还不甚的确。行至白州，看到容县县令的侄子陆斋郎，才比较详细。
少游本在雷州，自蒙放还，不顾酷热天气，冒暑攒程，行至广西容县，逗留了好多天，饮酒赋诗，一如平日。容守还拨了两个士兵帮他搬运行李，同去衡州。时正铄石流金的酷热时候，冒暑奔波，终于在路上中了暑，病困藤州旅次，至八月十二日，死于江亭上。藤守徐畴料理他的后事，一面派人急报他的亲戚范冲兄弟。范在梧州，闻讯匆匆赶至。这是回来的两名士兵报告陆守的话，范冲兄弟到后如何，就不知道了。
其时，苏轼与欧阳晦夫书说：“闻少游噩耗，两日为之食不下咽。然来卒说得灭裂，未足全信。”
初十，苏轼赶到容南，打听到范冲兄弟早已经过此地，两人都患着瘴痢，亟亟前行。苏轼一面派人追上去，函约他们到苍梧来一见，自己又不分昼夜地赶往藤州。
不料到得藤州，范冲兄弟已经载了秦观的灵柩于半个月前走了。范祖禹次子范温是秦观的女婿，所以为他载丧还乡。
藤守徐畴，是苏轼通判杭州时的仁知县令，握手道故。由徐守口中详知秦观在藤，伤暑困卧数日，大家都不以为是重症。八月十二日在华光亭（一作光化亭），还与宾客谈他梦中所得的词句，要侍者取水来饮。送到时，他两眼盯着那碗水，看了一看，含笑而逝。
苏轼恸哭道：“少游不幸死道路，世岂复有斯人乎！”
秦观于元祐初，因苏轼推荐，就试贤良方正科，得除太学博士，入馆阁编修国史。苏轼在朝被人疑忌，因此，凡是与轼亲厚的人，悉遭攻讦。秦观当然不免，从此仕途颠踬，屡遭排斥。绍圣初，被贬监处州酒税，部使者仰承上级风旨，不肯放过他，但又抓不着什么短处，终以谒告写佛书为罪，谪徙郴州（湖南桂阳县）。
少游是个多情种子，落拓的宦途，飘泊的生涯，哀伤的恋情，不断折磨着他，使他变为一个伤心厌世的词人；到被谪官郴州时，心情更苦，词境就更凄怆，如《踏莎行·郴州旅舍》：
雾失楼台，月迷津渡，桃源望断无寻处。可堪孤馆闭春寒，杜鹃声里斜阳暮。驿寄梅花，鱼传尺素，砌成此恨无重数。郴江幸自绕郴山，为谁流下潇湘去。苏轼深为此词感动，尤爱后阕末尾两句，将它写在扇子上，缀以悼辞：“少游已矣！虽万人何赎？高山流水之悲，千载而下，令人腹痛。”2
少游卒年五十二岁。有朱氏《强村丛书》本《淮海长短句》三卷，毛氏《宋六十家词》有选集《淮海词》一卷。
九月十七日，苏轼到了梧州，则两范已去，而迈、迨二子也还来不及赶到。本来计划从贺江前往永州，适逢秋旱，江水涸竭，没有船，只好改从广州度大庾岭北还。《与范元长（冲）书》云：
永州人来，辱书。比谓至梧州追及，又将相从溯贺江。已而水干无舟，遂作番禺之行。与公隔绝，不得一拜先公（祖禹）及少游之灵，为大恨也。同贬先逝者十人，圣政日新，惟逝者不可及。如先公及少游，真为异代之宝也。徒有仆辈何用，言之痛陨何及？……二十四日过康州，游三洲岩。将至广州，苏过作诗寄大哥、二哥，有曰：“忆昔与伯别，秦淮汇秋潦。相望一叶舟，目断飞鸿杳。仲兄阳羡来，万里逾烟峤。未温白鹤席，已饯罗浮晓。江边空忍泪，我亦肝肠绕。崎岖七年中，云海同浩渺。……”