等到江东豪族来到豫章郡治所城下的时候，黄忠早已在城头等候多时了。看着城下各个一脸愤愤不平的江东豪族，黄忠开了口，“我知道你们为什么而来，你们且放心，你们的家眷一切安好，如今都在城中好生歇息。我此番之所以请诸位前来，乃是为了保住尔等性命，也为了保住江东各豪族百年的基业。不想你们因为助纣为虐，而伙同那逆贼刘备犯上作乱。”

“放屁，你掳掠我们家人，还说是为我们好，当真是恬不知耻，黄忠你好歹也是武将风云榜上有数的高手，如今居然做此下作之事，当真是让人不齿，你还是速速将我们的家眷好生送出来，也免得你被世人啜弃。”城下有人喊道。

黄忠却不以为意，“诸位，你们不信我之言是吗？那你们不放在城外扎营暂且扎营，我可以允许你们各家派两人入城与你们的亲眷相见，确认他们安全，我们再来商谈如何？”

下面江东各族之人互看一眼，最终都点头答应了下来，在派入城中查看的族人传回亲眷尽皆无碍的消息之后，这些江东豪族终于都松了一口气，这时才决定与黄忠谈判。却不想黄忠却没有什么与他们谈判的兴致，只是推脱这让他们再等等，再等等，弄得这些人面面相觑，却不知道黄忠在等什么。江东豪族此来带了近四万人马，人数不再黄忠所率荆州兵之下，只是因为他们的亲眷都在城中，为了亲眷的安全，他们有些投鼠忌器，不敢贸然与黄忠撕破脸，攻打城池，只得在城外安营与荆州军对峙起来。

却说刘备这边，江东各豪族在没有他的命令之下就各自引兵前往豫章，当真让刘备气的摔了不少东西都难消心头之气。关羽被他留在了建康防御徐州军，只有张飞在侧，所以他让张飞点齐了人马欲往豫章而去，可是却没想到还没等他出会稽郡，就从建康传来了噩耗。太平军联合徐州军，举兵进攻建康，因为江东豪族带走了不少兵马，导致建康兵力不足，终于被太平军所击破，关羽率军突围而出，但建康城却为太平军所夺。太平军先锋吕蒙如今正率五千兵马向快会稽袭来。

刘备闻讯大惊，慌忙与张飞引兵而回，赶在了吕蒙之前撤回了会稽治所吴县，而关羽也逃了回来。不过让刘备郁闷的是，原本其麾下有八万兵马，因为江东豪族带走了大半人马，张飞偷袭逍遥津损失了五千，关羽在建康城中又折损了近万，如今刘备麾下兵马已不足两万，领军将领出了关羽张飞，也只剩下周泰、凌操两个，其他人要么跑去了豫章，要么被太平军所俘虏，比如陈武，董袭、蒋钦尽皆被生擒，还有一个被生擒的是刘备的谋士鲁肃，而刘备的谋士陈登早在刘备回援会稽的路上见机不妙自己借机跑了，如今下落不明。

等到吕蒙率军赶至吴县城下，高声叫嚷，诉说这当年他被张飞打的生死不知丢出大营之事，尽数刘备的不仁不义，把刘备气的面色铁青，等着张飞，这才从张飞口中得知了当年的事情，这一下更是让刘备气的七窍生烟，没想到一个自己这边的弃卒，如今居然都成为了太平军的将领，而且还攻到了自己城下，这要是传扬出去，岂不是让天下之人笑他刘备无识人之明？那天下贤才还有谁会来投？但是事已至此，也多说无益，刘备有些恼怒张飞的善做主张，又有些怨恨关羽对他隐瞒不报，与两人产生了不小的嫌隙。

吕蒙也不急着攻城，只是每日里在城下叫嚷当年之事，生怕别人不知道一般，同时借机拉拢刘备麾下兵士，那些兵士有认识吕蒙的，自是对吕蒙所说深信不疑，如此一来，在扬州军中这件事就此传扬了开来，弄得扬州军军心惶惶，让不少人对刘备产生了怀疑。这让刘备更是气极，想要纠正却又不知该如何下手，只得在军中严令禁止，甚至不惜杀人，如此一来，军中士卒更是惶恐，对刘备更是离心离德。