悬吾眼于城门——自刎身亡
吴王回国之后，论功行赏，立伍子胥为相国，伯为太宰。吴军撤退后，楚即复国，但因其在战争中国力损失惨重，暂时无力对吴造成重大威胁，于是伍子胥便劝吴王将战略攻击目标转至越国。
吴王阖闾十九年，越王允常病死，其子勾践即位。阖闾不听伍子胥的劝说，率伯等趁越君新立之际，发兵攻越。双方在槜李（今浙江嘉兴西南）交战，结果吴军失败，阖闾也负伤身亡。其子夫差，在伍子胥的拥戴下即位为王。
夫差为报父仇，命伍子胥积极备战，企图一举消灭越国。正当吴军准备完毕即将攻越之时，越王勾践先发制人，于吴王夫差二年（前494年）发兵攻吴，双方水军大战于夫椒（今江苏苏州境内）附近水上。结果越军大败，退回本国。吴军乘胜追击，攻占越都会稽（今浙江绍兴）。勾践留范蠡坚守，自率残兵5000人逃至会稽山（今绍兴东南）。吴军把会稽团团围住，伍子胥领兵在左，伯在右。

会稽告急，越将文种献计说:“现在的形势比较紧张，我们只有暂时投降才能保全自己。”原来文种早有一计在心，他素闻伯贪财好色，又知伍子胥与伯志趣不投，而现今吴王夫差更加亲近伯。于是，勾践派文种带美女珠宝前去贿通伯。
伯得到文种送来的礼品后，就去拜见夫差，与夫差说了文种代表越王请降之意。夫差大怒，说自己与越人有不共戴天之仇，恨不得手刃越王，怎么能和他议和？而伯却说:“难道你不记得孙武说的话了？‘兵，凶器，可暂用而不久也’，越国虽然得罪了我们吴国，可越国已经答应了做我们的臣民，而现在，越国所有即吴王之所有，这与占领了越国是一样的。既然这样，我们何必再去兴师动武？如果逼人太甚了，对我们也没有好处。”伯说的这些话听起来确实很有道理，奸佞之人向来如此，这可是他们的拿手本领。夫差听后，竟也认为越国已衰微，不足以成为吴国威胁，再加上他急于北上攻齐，争霸中原，遂准备允越求和。于是夫差召见文种，并答应了他的议和请求。时早有人报知伍子胥，伍子胥急奔中军去见吴王，得知夫差已经答应，伍子胥怒气盈面连说不可，并进言吴王:“勾践能亲而务施，施不失人，亲不弃劳，与我同壤，而世为仇雠。于是乎克而弗取，将又存之，违天而长寇雠，后虽悔之，不可食已。”（《左传·哀公元年》）又进一步从地理条件上深入劝说吴王:“员闻之，陆人居陆，水人居水。夫上党之国，我攻而胜之，吾不能居其地，不能乘其车。夫越国，吾攻而胜之，吾能居其地，吾能乘其舟，此其利也，不可夫也已，君必灭之。”夫差不听伍子胥之言，还是允许越国求和，并下令撤军。伍子胥对此极为悲愤，气得面如土色。自此，伍子胥与伯的关系到了剑拔弩张的地步。
于是，便有了后来勾践的卧薪尝胆。
在对待越王勾践和越国的问题上，吴王夫差和伍子胥的看法越来越远，双方谁也说服不了谁。夫差对伍子胥的态度由不满逐渐发展到疏远冷落，并有了加害伍子胥之心。在准备再次大举攻齐前，夫差派伍子胥使齐下挑战书，以激怒齐国，以达到借齐国手而杀掉伍子胥的目的。伍子胥见吴王如此，料知吴国终将会被越国所灭，便趁为使去齐之际，把自己的儿子寄托给齐国鲍氏，改姓王孙氏。得知伍子胥寄子齐国之事，伯又趁机诬陷伍子胥，吴王遂以私通敌国、怀有二心的罪名，赐伍子胥以属镂之剑，迫使其自杀。伍子胥接剑在手，叹口气说:“以前先王本不想立你，是我一再力争才让你得以即位。我助你破楚败越，威名远扬，现在你却让我去死，我今日死，明日越兵至，‘掘汝社稷矣’。”他又对家人说:“我死后，请把我一双眼睛挖下来挂在姑苏城东门，让我有一天能看见越国大军从这门进来。”说完，他挥剑断喉而死。夫差闻知大怒，恨及枯骨，就把他的头割下来，挂在东门城楼之上。另外，把他的尸体包在皮革里，抛在江中，名曰“鸱夷浮江”，使之葬于鱼腹。
前471年，越王勾践果然出军攻吴，由于吴军数次北进攻齐，国力损耗极大，吴军最终战败被围。吴王夫差也想求和，可勾践不答应，夫差不得不自杀，临死前，他叹口气说:“吾悔不用子胥之言，自令陷此。”（《史记·吴太伯世家》）