上欲废太子，立戚夫人子赵王如意。大臣多争，未能得坚决也。吕后恐，不知所为。或谓吕后曰：「留侯善画计，上信用之。」吕后乃使建成侯吕泽劫良，曰：「君常为上谋臣，今上日欲易太子，君安得高枕而卧？」良曰：「始上数在急困之中，幸用臣策；今天下安定，以爱欲易太子，骨肉之间，虽臣等百人何益！」吕泽彊要曰：「为我画计。」良曰：「此难以口舌争也。顾上有所不能致者四人。四人年老矣，皆以上嫚厉士，故逃匿山中，义不为汉臣。然上高此四人。今公诚能毋爱金玉璧帛，令太子为书，卑辞安车，因使辨士固请，宜来。来，以为客，时从入朝，令上见之，则一助也。」于是吕后令吕泽使人奉太子书，卑辞厚礼，迎此四人。四人至，客建成侯所。
汉十一年，黥布反，上疾，欲使太子往击之。四人相谓曰：「凡来者，将以存太子。太子将兵，事危矣。」乃说建成侯曰：「太子将兵，有功即位不益，无功则从此受祸。且太子所与俱诸将，皆与上定天下枭将也，今乃使太子将之，此无异使羊将狼，皆不肯为用，其无功必矣。臣闻『母爱者子抱』，今戚夫人日夜侍御，赵王常居前，上『终不使不肖子居爱子上』，明代太子位必矣。君何不急请吕后承间为上泣言：『黥布，天下猛将，善用兵，今诸将皆陛下故等夷，乃令太子将，此属莫肯为用，且布闻之，鼓行而西耳。上虽疾，彊载辎车，卧而护之，诸将不敢不尽力。上虽苦，彊为妻子计。』」于是吕泽夜见吕后。吕后承间为上泣而言，如四人意。上曰：「吾惟之，竖子固不足遣，乃公自行耳。」于是上自将而东，群臣居守，皆送至霸上。良疾，强起至曲邮，见上曰：「臣宜从，疾甚。楚人剽疾，愿上慎毋与楚争锋。」因说上令太子为将军监关中兵。上谓「子房虽疾，彊卧傅太子」。是时叔孙通已为太傅，良行少傅事。
汉十二年，上从破布归，疾益甚，愈欲易太子。良谏不听，因疾不视事。叔孙太傅称说引古，以死争太子。上阳许之，犹欲易之。及宴，置酒，太子侍。四人者从太子，年皆八十有馀，须眉皓白，衣冠甚伟。上怪，问曰：「何为者？」四人前对，各言其姓名。上乃惊曰：「吾求公，避逃我，今公何自从吾儿游乎？」四人曰：「陛下轻士善骂，臣等义不辱，故恐而亡匿。今闻太子仁孝，恭敬爱士，天下莫不延颈愿为太子死者，故臣等来。」上曰：「烦公幸卒调护太子。」
四人为寿已毕，趋去。上目送之，召戚夫人指视曰：「我欲易之，彼四人为之辅，羽翼已成，难动矣。吕氏真乃主矣。」戚夫人泣涕，上曰：「为我楚舞，吾为若楚歌。」歌曰：「鸿鹄高飞，一举千里。羽翼以就，横绝四海。横绝四海，又可奈何！虽有矰缴，尚安所施！」歌数阕，戚夫人歔欷流涕，上起去，罢酒。竟不易太子者，良本招此四人之力也。