不过，此后康熙的一项安排，却严重影响了他们父子之间的感情，那就是康熙让胤祥去辅佐太子胤礽。康熙不但外出时经常只带胤礽与胤祥两人，更是在处死了“太子党”的权臣索额图后，安排胤祥迎娶了索额图的姻外孙女兆佳氏，有意让他接管索党的残余势力。
然而这就是父亲康熙与儿子胤祥之间最后的温情了。随着康熙四十七年(1708)太子胤礽第一次被废，那个炽热的盛夏就结束了。年仅23岁的胤祥要开始面对他人生中的萧瑟深秋了。
没人能说清在康熙四十七年，胤祥与康熙之间到底发生了什么，因为几乎所有相关的史料都是空白的。史学家普遍推测，所有不利于胤祥的记载，应该都被雍正删除殆尽了。所以，今天的我们只能从边边角角的史料中，一点点拼凑出胤祥在康熙朝末期的生存状况。
康熙四十七年九月，胤祥与皇太子胤礽、皇长子胤禔一同被圈禁。但不到一年，史料中又出现了胤祥陪驾出巡的记录。只不过，老十三被圈禁又被释放的理由，在史书上也都是空白的。但胤祥失宠后，其地位一落千丈却是肉眼可见的。
康熙四十八年(1709)，老皇帝复立太子，为了安抚其他皇子，对他们大加封赏。在12个成年皇子中，老二是太子，老三、老四、老五被封为亲王，老七、老十被封为郡王，老九、老十二、老十四被封为贝子。而在没受封的3个人中，老大已经被定调是“丧心病狂之人”；老八则是因为“群臣拥立八阿哥事件”而失宠（见下文），但此前已经被封为了贝勒。活着的、享有自由的成年阿哥中，只剩下老十三胤祥仍是个没有任何爵位的平头阿哥。
一年后，康熙四十九年(1710)，25岁的胤祥遭受了精神与肉体的双重打击，人生步入了寒冬。
精神上的打击来自康熙四十九年六月，胤祥同老三、老十四一起向父亲康熙递请安折子，但康熙却公开批复说：
胤祥乃不大勤学忠孝之人，尔等若放任之，必在一处遇着他，不可不防。
今天我们实在难以想象，胤祥到底做过什么事情，竟能让康熙厌恶他厌恶到这种程度，以至于进行如此狠辣的公开批评。甚至，我们有理由怀疑这并不是康熙对胤祥唯一的批评，因为这只是一封满文奏折上的批复，被雍正忽略了，才没被销毁。
也同样是在这一年，胤祥的腿上突然生了毒疮，并且他还可能患上了结核性膝关节炎，一病就是两年，从此身体便时好时坏，这也为他未来壮年而逝埋下了伏笔。
同时，此时的胤祥在经济上也是极不富裕的。康熙五十一年(1712)，老皇帝曾有一次大赏宫廷的撒钱活动，不用说亲王，连御前侍卫都能领到币，但偏偏把老十三胤祥给跳了过去。要知道，老十三没有爵位，俸禄本就低于其他兄弟，各种赏钱活动又惨遭忽略，经济上的窘态可想而知。
在精神、肉体、物质上都活得极为痛苦的胤祥，逐渐开始变得谦卑、暗淡，再没了前半生那光彩照人的样子。我们可以看看胤祥在这一阶段所写的诗句：
虚廊宴坐夜沉沉，偶得新诗喜独吟。
万籁无声风不动，一轮明月印波心。
一股寂寞、消沉的气息，扑面而来。
二、父死兄继的转折
痛苦之余，他唯一的慰藉大概就是自己与四哥胤禛的手足之情依旧。雍正曾感慨，在康熙朝末期，十三弟经常给他写诗，每一首他都倍加珍惜。老十三前后写了共计32首诗，雍正如数家珍。
老四和老十三的感情甚至好到于家人面前都毫不避讳的程度。康熙五十八年(1719)，胤禛的五儿子弘昼病重，多亏老十三四处奔波、寻医访药，才救下弘昼一条命。以至于胤禛感动之余，当场勒令弘昼以后见到胤祥不要叫“叔叔”，直接喊“爸爸”。
只不过老四与老十三的关系虽亲昵，但在康熙朝末期，他们也是秘密来往的，二人的关系并不为外人所知。
影视剧中胤祥的那句“无情最是帝王家”，虽是改编，但大概也是那时的胤祥内心的真实写照：曾经与自己亲密无间的皇阿玛，转眼间就变得冷若冰霜；曾经的兄友弟恭，也一去不返；就连与四哥的交往，也只能暗通书信，或是寻医问药时才能顺理成章地流露真情。
但就事论事，纵览胤祥一生的种种作为，我们实在难以把他和“大逆不道”四个字联系在一起。考虑到胤祥并未像老大一样被治罪，胤祥的罪过极有可能是没有实质证据的，而他与康熙之间关系的骤然转变，更多可能是源于某种误会，只不过，这种误会被康熙朝末期的夺嫡斗争无限放大了。