自胡适的婚礼后，五六年过去了，两人的处境和从前大不相同，胡适已是三名子女的父亲，而曹珮声虽然只有二十一岁，却已是经历婚变的妇人了。两人的恋情是如何开始的呢？谁也说不准。曹珮声天性豁达，没有什么男女之防的想法，而胡适是个感情丰富的人，连他自己也承认“容易沉溺”。两人在西湖畔日夕相处了五天，临别时，胡适写了一首诗歌颂西湖，最后几句语带双关：
前天，伊却未免太绚烂了！
我们只好在船篷阴处偷觑着，
不敢正眼看伊了。
这几句诗，可以说是两人恋爱的预告。两三个月后，胡适在北大申请休假，到西湖养病，住在南山烟霞洞清修寺的斋舍里，这时正好是暑假，曹珮声不用上学。我们可以肯定，这几个月里和他在一起的，除了他的表侄胡思聪外，就是他的表妹珮声：她和胡适共享一个套间。看胡适的日记，这段时间两人几乎形影不离。
从中国传统家族的角度看，胡适到西湖养病，曹珮声前去照顾表哥和表侄的起居，似乎理所当然，连远在北京的胡太太江冬秀也在给胡适的信中说，有珮声照料他们，自己就放心了。
大概在江冬秀心目中，珮声还是当年做女傧相那个小女孩，况且又是自家人，怎会和男女之情扯上关系呢？但两个易于感动的人，在烟霞美景之中朝夕相对，很快就深陷情网，无法自拔了。看胡适现存的日记，当时两人日间联袂游山赏湖，诗歌酬唱，黑夜里观天数星星，月下对弈，浪漫之情，可以说是闻者尽皆向往。1924年胡适写过一首诗回想这段日子，简单直接地说明他的感受：
多谢你能来，
慰我山中寂寞，
伴我看山看月，
过神仙生活。
曹珮声和胡适在一起，显然并不避嫌，在人前也流露出热恋的神态，以致到访的众多朋友轻易就看出二人关系非比寻常。徐志摩就曾以此直接取笑胡适，而且还鼓励他和江冬秀离婚。这样的关系怎么能保密呢？徐志摩是个大嘴巴，会在友朋中当作美谈，广为流传，而一直同住的表侄胡思聪，是否也曾向家人提及此事呢？
反正曹、胡在杭州之恋终于传到身在北京的江冬秀耳中，让她惊怒不已。江冬秀是个急性子，藏不住话，马上扬言要南下杭州，讨个公道。为了避免冲突，胡适只好决定离开杭州，曹珮声则重返校园。当时两人应该有了默契，胡适回家后会设法办理离婚。
他们大概没考虑过江冬秀和胡适两人的性情：前者听到离婚两个字，竟然拿出菜刀说要杀掉儿子，后者只有投降。结果胡适离婚不成，但曹珮声和他并没有马上断绝关系。接下来两三年，每逢胡适南下，不论是到杭州或上海，两人都必定相聚，分隔两地时也书信不绝，为了掩人耳目，有好些信都不署名。据说苦恋期间，她曾怀过孩子，结果只好堕胎。
这段时间里，曹珮声从杭州女子师范毕业了，得到胡适一点助力，以特别生资格进入南京的国立东南大学，选修了农科。其实曹珮声自小受私塾教育，古文根底极好，在诗词方面的造诣很高（虽然她留下来的作品极少，但可以看出，水平比胡适高多了）。尽管如此，她进大学却选了相当冷门的农科，这个决定也和胡适有直接关系。胡适当年曾经立志学农，结果中途易辙，曹珮声选修农科事实上是要为胡适完成当年的心愿。
苦恋三年，两人无望的恋情终于被搁置，而提出分手的似乎是胡适。1926年秋天，他曾经填词一首，回答曹珮声寄来的诗，词中有以下几句：
殷勤说与寄诗人，及早相忘好，莫教迷离残梦，误了君年少。
胡适劝慰曹珮声，却安慰不了自己，回首前尘往事，难以释怀，不管是新文化的诗还是旧文化的词，都有他黯然写下的凄凉句子：
依旧是月圆时，
依旧是空山，静夜；
我独自月下归来，——
这凄凉如何能解！
翠微山上的一阵松涛
惊破了空山的寂静。
山风吹乱了窗纸上的松痕，
吹不散我心头的人影。
——《秘魔崖月夜》
山下绿丛中，瞥见飞檐一角，惊起当年旧梦，泪向心头落。
隔山遥唱旧时歌，声苦没人懂。我不是高歌，只是重温旧梦。
——《旧梦》
惟剩痴情在
虽然没有结合的希望，但曹珮声对这段感情比胡适更放不开，倾诉无门，只好把一腔幽怨化为诗词，写成一本小册子，自己常常翻阅，聊以解怀。但她毕竟走上了新女性的道路，人生有了学问和事业这些新元素。1934年，她得到哥哥资助，到美国留学，念的是棉花育种遗传。可是曹珮声对刻骨铭心的恋情依旧藕断丝连，即使身在异乡，仍然甘心活在胡适的身影下：她选的大学就是胡适的母校康奈尔，胡适写信给好友韦莲司，拜托她照顾。珮声留学期间，胡适曾经访美，但理性地避而不见，曹珮声事后知道了，大病一场。