陈伯达的处境越来越糟糕。他不光接连受到毛泽东的批评，在“中央文革小组”内部，又不断受到江青的排挤。在陈伯达晚年，曾对他与江青在“中央文革小组”中的尖锐矛盾，作了回忆。陈伯达说，江青在“中央文革小组”实行“独裁”：“中央文革小组”如开会，江青总是继续瞎想瞎说，并且说了就算，跟她不能讨论什么事。这种会开下去，只能使她可以利用小组名义，把小组当作她独立的领地，继续“独裁”，胡作非为。
我认为自己应该做的，是学习，是到一些学校、工厂或一些居民地点，看看谈谈。根据毛主席规定的“要文斗，不要武斗”的方针和中央的决定，只要我知道哪里有打砸抢的事，我是要去制止的。有时带了一些打人的武器回来，为的是要告诉小组的人知道有这些事，江青便说：“你放着小组的会不开，搞这些干什么。”
我的最大罪恶，首先是极端狂妄地提所谓路线问题。这是永远无法宽恕的。同时，我又胡乱随便接见一些人，乱说瞎说，让一些同志蒙受大难，这也是无法宽恕的。
陈伯达回忆起江青如何在“中央文革小组”里“臭骂”他的：
周总理主持中央文革碰头会后，我只参加周总理召集的会，不再召集小组的会。周总理不在钓鱼台召集会的时候，我通常不再进那个“办公楼”。
不记得是哪一年，我曾经不经心地走进那个办公楼，看看管电话的同志，并且在开会厅坐了一下。忽然，江青来了，康生也来了，姚文元就在楼上住，一叫就到。
江青即宣布开会，臭骂我一通，康生也发言。他们那些话，我已记不住，主要是说，为什么不召集小组开会，等等。我只得让他们骂，不作回答。显然，我只有不肯召集小组单独开会这点本事，可以对付一下江青。
由于陈伯达无法在“中央文革小组”呆下去，他曾一度提出，希望辞去“中央文革小组”组长之职，到天津去工作。陈伯达曾这样回忆：
天津问题的由来，是我听说中共天津市委第一书记万晓塘同志自杀。万晓塘同志我是很熟的，在文化革命前我到天津去，差不多都是他出面招待，文化革命后听到他自杀，我很苦闷，有一回，还作了调查，没有调查出什么眉目。
因为我不想当那“中央文革小组”组长，也实在当不下去，天津出了此事，我就在中央会议上提出我到天津工作，毛主席表示同意。虽则我没有提出辞去“组长”名义，但意在不言中了。……
但是，过了些天，毛主席又说，天津情况也很复杂，你也难工作，让解学恭去。中央谈话的这一切经过，解学恭当然不可能知道。一回，在天安门上，毛主席遇见解学恭，就告以此事，可能周总理也在。解学恭到天津的经过，的确是这样。后来我听说，毛主席过去曾经认得解学恭。以后解决各省问题，中央会议在周总理的具体主持下，做了分工，由我参与天津事，在决定主要人选时，我根据中央的意见，就提解学恭担任中共天津市委第一书记。
有一次天津的大学生两派互斗，一派被围，断水断电，周总理主持的中央会议决定我马上到天津去解决，我当晚到天津就到现场，解决了一方之围，但我被另一方层层包围，几乎要被挤死，幸而解放军给我救急，找到一个吉普车，把我推进车上，匆匆开出，这是我经常感念伟大的解放军的。
在天津刚有些秩序时，江青听了她在天津的一个耳目的话，就夜间叫几十辆大卡车，把天津那时所有活动分子都弄到北京来，我阻止此事已来不及，还被迫去参加。此会一结束，天津市副市长王亢之回到天津自杀，天津市公安局长江枫被禁闭。
※ ※ ※
这里提到的王亢之、江枫，都与陈伯达有较多的来往。在陈伯达倒台之后，王亢之、江枫以及天津作家方纪，均被当时的天津报刊称之为“陈伯达在天津的死党”。1968年初，王亢之在被江青点名之后自杀。在自杀之前，王亢之留下遗嘱，把他所珍藏的宋版古籍送给陈伯达。
1979年初，身在秦城监狱的陈伯达从报上得知王亢之平反的消息，马上向有关部门提出请求，把王亢之送给他的两部宋版书，交还给王亢之家属。
陈伯达还回忆起，在“中央文革小组”，他与江青互相“回敬”：“我看不起你！”陈伯达说：
可能是在1968年，有一回，接到江青那里的电话，说要开会，是在她的住处。我去了，江、康、姚都已先在。
江青提出：“你要逼死一个文艺编辑。”
我说，报馆编辑部互相审查历史，我没有发动，没有参加，没有出什么文章，怎么会是我要逼死他？
康生说：“你没有看他写的东西，那是；‘绝命书’呀。”
接着，江青把她桌上的大瓷杯子狠狠地往地上一摔，化作粉碎，表示她对我的极度愤怒。我觉得房外有警卫战士，如果看到这堆碎片会很奇怪，因而把这些碎片一点一点地收拾起来，带回自己住处，要我那里的工作人员放到人足踩不到的河沟里。
那时，如果那位文艺编辑竟然屈死，我就要对此负重大的罪。但康、江并不关心任何人的命运。这件事当作问题向我提出，仅仅是“欲加之罪，何患无辞”。
听别人说，江青那时正要用那个文艺编辑当秘书，为此找了这样的借口。也是听别人说，因为毛主席反对此事，故未用成（这些事只是当时听说，没有做任何事实查对）。
江青早已找了一个借口，把我赶出中南海。上面的事发生后，第二天我即到当时新找的房子住下来，想避免在钓鱼台，继续受她的糟踏。当然，有时我也还到钓鱼台那个原住处看看。
就在我离开钓鱼台这件事，在毛主席主持的一次会议上，江青乘机正式告我一状，说：
“陈伯达已不要我们了，他已离开钓鱼台，另住其他地方。我同xx（指她的女儿）回到中南海给主席当秘书好了。”她在搞挑拨离间的勾当。在当时的情况下，我一句话未说。一次会上，江青说：“我同陈伯达的冲突，都是原则的冲突。……”张春桥也在会上鼓起怒目视我。
我火气一发，不再听江青霸道下去，从坐位上起来，即走出会堂。江青回过头来大声说：“我看不起你！”
我回了一句：“我也看不起你！”
陈伯达在“中央文革小组”里，不断与江青对吵。但是，陈伯达不能不容忍江青，这全然是因为江青是“第一夫人”：
一家报纸有一个不懂事的管照片的青年，找了毛主席一张像片，又找到江青一张，就拼凑在一块。据说，这是那个文艺编辑授意的。我原不知道这事，有一次开会后听说过，也没有再去询问。但有一次会议时，江青忽然对这张像片事发言，大意是：“人家说我要当武则天，慈禧太后，我又没有她们的本事。有什么历史问题，也不跟我说。
我插了一句说：“你说我要逼死他，谁敢给你说？”
江青便大声说：“你造谣！”
周总理接上一句：“你是说过呀。”
江青就跟总理对顶起来。
这时我离开会场，在大会堂转了一圈，又要进会场。周总理说：“你回来干什么呀？”
我听了周总理的话，觉得可不再参加会议，就回到住处。
当夜，有两位同志来，一个当时在总理处管警卫工作，一个是当时中央办公厅的工作人员。见面时，他们没有说什么话，但我一见，就觉得总理的高义盛情，深为感动。我说一句：“如果不是因为毛主席的关系，谁理她呀？”
这样的话，后来我也跟别人说过。
此事以后，我才通过宣传联络员去了解这张像片的制作的经过，也才看到这张假照片。