60年代初，体罚让位于破坏犯人士气的做法。埃迪·丹尼尔斯（一个自由党党员和“非洲人抵抗运动”的破坏活动人员）说：“我们到了监狱，政府有两个目的：摧残我们的士气和让世界忘记我们。他们却灰溜溜地失败了。由于有曼德拉和西苏鲁在一起，我们没有被削弱：他们帮助你，使你坚强起来。”他还说，“曼德拉教我如何顽强生存。当我生病时，他让所有的人照料我。他还亲自来看我。他甚至给我倒大小便。”
通过绝食、怠工和其他抗议，以及国际上越来越多的支持，政治犯待遇有了改进：彼此有了交谈的权力，伙食得到改进，增发了毯子，发给了长裤。丹尼斯·布鲁特斯述说过这种情景：晚上，看守们走后，某个犯人会开始打口哨吹一支曲子——虽然吹口哨被禁止——于是就会听到来自另一牢房的应和声，直到口哨声四起，形成小型的口哨乐队。
时常抱怨的是医疗工作的疏忽大意和麻木不仁。监狱长的定期换任也使他们不安：每个新官都有他自己的馊主意，犯人们必须重新设法应付。有一个监狱长绰号叫做“铁汉”，幸亏只待了6个月。后来有一任狱长稍微好一些，他确实听取犯人的抱怨，可是他又被换走了。
尽管吃了种种苦头，曼德拉坚持每天锻炼身体。尽管监狱生活非常单调，他发现——所有犯人都这样认为——甚至在狱中，日子也每天不一样。新的一天对于他们而言，是友谊不断发展和充满共同体验的一天，是重温往事和重申对未来的信心的一天。
他喜欢说他在滕布兰度过的青年时期和谈论他的非洲之行，有时随着幽默感所至也对逸闻旧事加以发挥。他谈起自己经历过的一件事，描述他在加纳乘坐一架由非洲人驾驶的飞机时所感到的惊慌失措，他们怎么能驾驶大型喷气式飞机呢？他的不信任完全情不自禁，这无疑是在南非所受教育的结果。在飞行中，当驾驶员出来和乘客聊天时，他想，这些非洲人是多么不负责任啊！他不知道这架飞机是自动驾驶的。
他的一个难友帕斯卡尔·恩加卡尼博士说：“不管环境多么恶劣，你总会找到东西乐一乐。”“这是人性中的保护机制。有一次，监狱看守让我们凡有驾驶执照的站到一边来！我们中会开车的就都站到一边，我们想，让我们去开卡车，可交给我们的却都是独轮车！”
除了探视，学习的权利比任何其他待遇都更为重要。曼德拉继续攻读法律学位，可以工作到夜里11点，姆贝基及其他大学程度的人也可以如此。但是，那些正在准备考大学的人则必须提前一小时结束学习。如果有人被发现在规定的时间之后读书，那就要被罚禁食三顿。菲基利·班姆在判刑前是一个学法律的学生，他称赞这样的场面：曼德拉把题目告诉大家，接着主持政治讨论，以此来考验自己对所学知识的理解和记忆。犯人间也不断进行交流，彼此学习。最糟糕的处罚是减少学习时间。
政治犯绝不允许看外界的报纸和听外界的新闻。曼德拉有一次受到指控和处罚，因为发现他牢房里藏着剪报。可是犯人们还是想办法搜集信息，利用每一点信息，分析它的意义。
1965年人们很振奋。因为他们听说：布拉姆·费舍尔在领导非法的共产党而将受审时，转入地下，力图恢复斗争。大约有一年，他躲避了当局的逮捕。政府通过一项新的法律：保安警察想要提审任何人，都可以拘留180天，单独监禁。不出几周，他们得到情报，费舍尔也被逮捕受审，被控与他在“利沃尼亚审判”中为之辩护的人同谋。他被判有罪并判处终身监禁，和其他白人政治犯一起关在比勒陀利亚中央监狱。
从看守们的行为常常能够觉察到外面可能发生了什么事情。这时，曼德拉和岛上的犯人们就会受到更粗暴的对待。例如1966年纳米比亚爆发的武装斗争，就是这样。政治犯只得知事情的梗概，详细情况是西南非洲人民组织领导人安丁巴·贾·托伊沃被押到监狱后才清楚的。托伊沃关在“隔离区”，服20年徒刑。非洲解放斗争不断出现新局面：安哥拉、莫桑比克以及纳米比亚的斗争都在扩展。
J·B沃斯特接替维沃尔德博士担任了总理，后者于1966年9月在白人议院中被一个精神错乱的白人信差所刺杀。
第二年一些民族之矛成员被送到岛上服长期监禁，他们是被罗得西亚军队俘获后交给南非警察的。他们和乔舒亚·恩科莫的津巴布韦非洲人民联合一起，组织了一支游击部队，打算在赞比亚与南非之间建立根据地。这个设想欠考虑的方案要穿过大片野生动物保护区和茫茫的灌木丛生地带，而且缺乏设备和经验，结果是一场灾难。