在院里劳动的最初几个月里，一名报社摄影记者得到允许为在砸石头的人拍照，并在休息时拍了一张曼德拉和西苏鲁在一起的照片：这是整个漫长的监狱生活中他们拍摄的仅有照片。
因利沃尼亚一案人员被监禁以及后来的民族之矛和非洲人国民大会领导人和组织者遭到逮捕，流亡国外的非洲人国民大会承认“敌人沉重地打击了运动的‘核心’”；这是“一次非常严重的挫折”。通过90天肉体和心理的折磨以及雇佣告密者的工作，非洲人国民大会、泛非主义者大会以及其他激进组织的成员从大陆接连不断地来到罗本岛。白人政治犯关押在比勒陀利亚；黑人妇女通常关押在克龙斯塔德。而罗本岛只关押黑人男子，其中有教师、农民、医生、劳工、会计、工人和工会会员。他们年龄从15岁到70岁不等，在这个小岛上空前地团结一致，虽然关押在特别区的领导人和其他区域隔绝。在这些区域里约有1000多名政治犯和大约300个刑事犯，每个牢房关60人。不久，纳米比亚人来了——西南非洲人民组织的领导人——被关进津克监狱。罗伯特·索布克韦被监禁在白人看守住处附近的一座房子里，由卫兵看管。
在仲夏，曼德拉和隔离区的同志们出去到石灰矿劳动，他们每两人一对，脚踝锁在一起，每天蹒姗地走到岛的中部。当另一队作业小队走近时，后者被命令停止前行，背过身子，等着这些人走过去。不许交谈，不许交换眼色互相鼓励。可是当局不能阻止他们观赏岛上开满黄花的灌木和桉树，偶然会有一只小鹿或一只鸵鸟。而在东南远方，隔着波光闪烁的海面，是桌山上的一片朦胧景色，隐约闪现在开普敦的上空。
在采石场，脚镣被打开，犯人们用尖镐和铁锹先挖出石灰石，然后将石灰石板装上卡车。在炎炎烈日之下，他们被赶进的大坑好象一个火炉，石灰反射着刺眼的阳光，他们从下到上都被炙烤着，而看守们却逼迫他们加紧干，喊着，“干活，嗨，干活！”他们一小时一小时地挖掘、装车，四肢和腰背酸痛，脚踝和手都磨起了泡，眼睛里是沙子，疼痛难忍。到下午他们一瘸一拐地回去，浑身都是石灰末。他们直接去冲澡，然后筋疲力尽地倒在牢房的垫子上。每晚看守一下班，透过牢房的墙壁传出犯人们一起祈祷，一起唱自由歌曲的声音。
这种生活日复一日地进行着，直到在发牢骚时间曼德拉提出抗议。脚镣去掉了，但他们希望做有益的工作未得到同意，他们继续在那个历代犯人挖的大坑里劳动。罗本岛最早居住着海豹（荷兰语叫做罗贝）以及企鹅和蛇，直到荷兰东印度公司最早一批在好望角建立基地的欧洲人认识到它适合作监狱：大海不仅使犯人难以逃走，而且可以阻止不受欢迎的访问者。罗本岛成为黑人反抗帝国主义历史的一部分。1658年，一个科伊族反抗者奥特舒马约——荷兰人称他赫里——第一个被流放到这里。他也是少数几个逃走的人之一。荷兰人还把爪哇和摩鹿加群岛的造反的酋长、王公和君主流放到这里。在19世纪英国占领好望角，将曼德拉从孩童时代就一直崇敬的那些英雄中的某些人物放逐到罗本岛。马卡纳在1819年，马科马在19世纪50年代都被关到该岛，他们是被殖民者的优势兵力所击败的阿马科萨人伟大勇武的酋长们。马卡纳逃出去时被淹死了，一些犯人称这个岛为马卡纳岛。英国也将各种族的慢性病人、精神病人和穷汉送到岛上，其中有麻风病人。很多人死在那里，他们的遗骨与那些被判无期徒刑的黑人囚犯和放逐者的骨头混在一起。1959年，南非司法部长沃斯特宣布，罗本岛是一个用于“非白人犯人”的有最大程度安全措施的监狱。由于不允许任何船只驶进1英里以内，而且海面上冲荡着湍急的海流，据说该岛固若金汤。
政治犯属于D类：准许每6个月写一封500字的信，可以有一次探监，但只许谈家庭琐事。温妮形容她“失去形象高大的人”，最初几个月是“痛苦欲绝”。当她“摸索着前进，想法适应”时，反复读着他的第一封信。
当第一次探监日期到来时，她和阿伯蒂娜·西苏鲁和卢图利的女儿阿伯蒂娜·恩加卡纳（她的丈夫正在短期服刑）一起出发。她们行程近千英里来到开普敦。到达码头时，她们要在犯人探监登记簿上签名，同意遵守以下规定：不许带相机、不许带猫、不许带狗、不许带16岁以下儿童。坐渡船过海需要45分钟，最后她们到了罗本岛。狱吏把她们从码头押送到探视室，一路上别无所见，一边是高墙把监狱遮掩起来，另一边是海。温妮第一次听到在未来岁月中她每次探监时都听到的警告。一个高级军官告诉她，她不能讲科萨语，除自己的孩子和“直系亲属”以外，也不准说任何人的任何事。如果她违反这个规定，就要停止探监。