从秦朝建立到西汉之初影响最大的隐士是“商山四皓”：东园公、夏黄公、绮里季、甪里先生。东汉章帝时的隐士梁鸿“仰慕前世高士，而为四皓以来二十四人作颂”。由此可见此四人在那个时代所占据的地位。四人最大的特点：一年岁高，二德行深，三知进退。在传统的看法中，认为真正的高士，并不是说永远呆在山中，而是说知道何时扶世，何时潜隐。四老原本是秦博士，秦末避战乱，潜行入商山。西汉初，刘邦欲请之出山，被四老拒绝。汉初建，刘邦在选接班人问题上很头疼，太子盈虽贤良却懦弱，刘邦有意立戚妃之子如意，这是个大问题。秦二世而灭，一个关键细节，即废长立幼，所选非人。当时，吕后和张良很着急，但又劝不动刘邦，只好以太子之名请四皓安刘。四皓为避免天下再陷动荡，慨然出山。刘邦平叛归来，于宫中设宴，见四位巍然老者侍于太子身后，问之为谁，答曰：“商山四皓。”刘邦问此时何以出山？答：“太子礼贤下士。”刘邦后再无废太子之意。太子继位为汉惠帝，欲封赏四皓，四人不受而去，重返商山。四皓之高，就在于进退有据。四皓之后，西汉有名的隐士，仅有汉成帝时的陕西郑子真、四川严君平。后来王莽篡汉，“是时裂冠毁冕，相携持而去之者，盖不可胜数”。但当时的隐逸之风只是出自对“正统”的维护和对新政权的不接受，跟伯夷、叔齐一类没有本质区别。
一般来说，乱世隐，盛世仕。但东汉不是这样。无论是这个王朝初期蓬勃发展时，还是中期乱象初生时，再到末期无法收拾时，都流动着一股壮观的隐逸潮流。这就是东汉在士人隐逸史上具有独一无二的地位的原因。东汉历代皇帝都非常尊重隐士的传统，映照在社会上，使当时有一种“以不仕为德高”的隐逸情结。这种传统与王朝之初出现的巨隐严光有直接关系。一般来说，王朝更迭时，往往社会会发生大动荡，这时候就会有一批人出山建立功名，另一批人入山避于林泉。而新王朝建立后，皇帝为展示宏大气象，同时也是出于对百废待兴的国家的恢复，就会征召隐士出山参与王朝的巩固与建设。刘秀即如此，所以东汉之初，全国各地都贴着征召贤良的公文。当时有很多隐士确实重新返回了岗位。但最有资格的严光却拒绝了。他是皇帝的老同学，早年曾和刘秀一起在长安读书。刘秀曾亲自去请严光，但后者高卧不起，刘秀上前，抚严光腹部，说：“子陵！不肯出山相助，为何？”严光睡而不应，过了半天，慢慢睁开眼：“昔唐尧着德，巢父洗耳。士故有志，何至强迫！”刘秀说：“子陵！我竟不能请你出山么？”于是叹息而去。后来，刘秀仍不肯放弃，又请严光到皇宫，两人同卧回忆往事时，严光将脚搭在刘秀的肚子上，皇帝也没有脾气。但即便如此，仍然无法说动严光出仕。
严光是中国历史上第一个最为纯粹的隐士。他的隐逸与政治立场没有关系，而是完全出自于个人的价值观。最后，他离开洛阳，返回富春江，在那里以垂钓度过余生。严光对后世士人影响极大，成为东汉以后隐士的标杆。北宋范仲淹在《严先生祠堂记》中写道：“云山苍苍，江水泱泱；先生之风，山高水长。”但后世对严光于清明之世、遇英明之主仍拒而不出的做法持严厉批评态度。南宋杨万里《读〈严子陵传〉》：“客星何补汉中兴？空有清风冷似冰。早遣阿瞒移汉鼎，人间何处有严陵！”朱元璋《严光论》说得更厉害：“汉之严光，当国家中兴之初，民生凋敝，人才寡少，为君者虑，恐德薄才疏，致民生之受患，礼贤之心甚切，是致严光、周党于朝。何期至而大礼茫然无所知，故纵之，飘然而往。却仍凄岩滨水以为自乐……假使赤眉、王郎、刘盆子等辈混淆未定之时，则光钓于何处？当时挈家草莽，求食顾命之不暇，安得优游乐钓欤……朕观当时之罪人，罪人大者莫过严光、周党之徒！”总结出来一句话：如果不是刘秀收拾乱世，哪有你在江边安然垂钓的机会？明末王夫之亦说：“遁非其时，则巢、许之逃尧舜，严光、周党之抗光武也，非其义，则君臣之道废，而徒以全躯保妻子为本，孟子所谓小丈夫也。”话虽如此，但严光的个人选择仍是值得肯定的，因为他的选择是忠于自己内心的。东汉士人普遍的隐逸情结跟魏晋名士还不一样，他们的隐逸更多是出于道德上的标准，也就是“守节”，认为隐是高于仕是因为“志意修则骄富贵，道义重则轻王公”，而不是像魏晋名士那样来自于对个体生命意识的自觉。除严光外，东汉还有周党、王霸等著名隐士。关于东汉隐士气节之高，在周党的答复中可以看出：“天子有所不臣，诸侯有所不友。”他们在权力面前保持着人格的高贵和独立，坚守自己最初的志向而不移。这实际上是隐士文化中最光辉的部分所在。