程昱的计谋深得曹操赞同，他用深沉的口吻对曹操说：“关羽虽有万人之敌的勇猛，但没有智谋我们依然能取之。我们可以利用刘备手下投降的士兵，让他们回到下邳，见关羽，假装是逃回来的，作为我们的内应。再引诱关羽出战，假装战败，把他引到其他地方，然后用精兵截断他的归路，这样就可以设法说服他了。”曹操听后点头同意，立即命令徐州降兵数十人，直奔下邳而去。
关羽见到这些回来的士兵，以为是他们逃回来的，没有丝毫怀疑，留在城中。次日，夏侯惇领兵五千前来挑战，关羽并未轻举妄动。夏侯惇见状，便命人在城下辱骂，激怒了关羽。关羽怒火中烧，率领三千人马出城与夏侯惇交战。两人战了十余合，夏侯惇假装败退。
关羽追赶上去，夏侯惇且战且走。关羽追赶了约二十里，突然心中一紧，担心下邳有失，于是提兵回城。然而此时，只听得一声炮响，左边徐晃，右边许褚，两队人马截住了他的去路。关羽试图闯出一条路，但两边伏兵瞬间出现，百张硬弩齐发，箭矢如同飞蝗一般密集。
关羽被箭雨挡住，无法通过，他只好再次勒兵回头，徐晃、许褚两人接住交战。关羽神勇无比，奋力杀退两人，然后引军欲回下邳。然而夏侯惇再次拦住了他的去路，激烈的厮杀再次展开。战斗一直持续到夜晚，关羽无路可退，只得带领士兵退到一座土山上，暂时屯兵休息。
曹操的军队团团围住了土山。关羽在山上远望下邳城，看到城中火光冲天。他此刻明白过来，原来是那些诈降的士兵偷偷打开了城门，曹操亲自带领大军杀入城中。他们举火只是为了迷惑他。关羽看到这一幕，心中惊惶，他连夜几次尝试冲下山，但都被曹操军队的乱箭射回。
在天亮之前，关公打算整顿军队准备下山与敌人交战，却突然看到一人骑马上山，原来是张辽。关公迎接他问道：“文远你是来与我为敌吗？”张辽回答：“不是的。我只是想见到故人，来与你相见。”于是他放下刀，下马与关公拜礼，然后坐在山顶上。关公问道：“文远难道是来安慰关某的吗？”张辽回答：“并不是。昔日兄弟相救，今日弟弟如何能不救兄长呢？”关公问：“那么文远是打算帮助我吗？”张辽回答：“也不是。”关公问：“既然不帮助我，你来这里干什么？”张辽回答：“玄德还不知道存亡，翼德也不知道生死。昨夜曹操已经攻破下邳，军民都没有受伤害，派人保护玄德的家眷，不让他们担忧。因此我特地来报告兄长。”关公生气地说：“这话是特地说给我听的吧。我虽然处在绝境，但对死亡视若无睹。你应该赶紧离开，我要下山迎战。”张辽大笑道：“兄弟你这话岂不是让天下人笑话吗？”关公说：“我以忠义而死，怎么会让天下人笑话？”
张辽说：“兄长如果现在就死，你有三个罪过。”关公问：“你说我有哪三个罪过？”张辽说：“当初刘使君与兄长结义时，发誓要同生共死；现在使君刚败，兄长就要战死，如果使君再次复出，想求兄长的帮助，却无法得到，岂不是辜负了当年的盟誓？这是第一个罪过。刘使君把家眷托付给兄长，兄长现在战死，二夫人无人依靠，背弃了使君的依托。这是第二个罪过。兄长武艺高超，通晓经史，不思为使君匡扶汉室，只想冒险成为英雄，怎么能说是忠义呢？这是第三个罪过。兄长有这三个罪过，弟弟不得不说出来。”关公沉吟着说：“你说我有三个罪过，你想我应该怎么办？”张辽说：“现在四面都是曹操的军队，兄长如果不投降，必定会死；光是死去没有任何用处，不如先投降曹操，然后打探刘使君的消息，如果知道了他的下落，再去投奔他。这样一来，既能保护二夫人，又不违背桃园结义的约定，同时也能留下有用之身。有了这三样好处，兄长应该考虑一下。”
关公说：“你说了三个好处，我也有三个条件。如果丞相能答应，我就愿意卸下武装；如果他不同意，我宁愿承受三个罪过而死。”张辽答应了，并骑马回见曹操，告知关公的条件。曹操笑着说：“我是汉相，汉就是我。这些条件我都可以接受。”张辽又提到二夫人想要给关公的俸禄和福利，不让其他人接近他们。曹操说：“我会给予关公更多的俸禄。至于严禁内外接触，那是家规，不必怀疑。”张辽又说：“关公只要知道刘皇叔的消息，无论多远都会去。”曹操摇头道：“那我养关云长有何用呢？这件事有些难以接受。”张辽说：“难道您没有听说过豫让的国士之论吗？刘玄德对关云长只是恩待而已。丞相如果能给予更多恩宠，以巩固他的心意，又何必担心关云长不服从呢？”曹操说：“文远的话很有道理，我愿意接受这三个条件。”张辽回到山上，告知关公曹操的回答。关公说：“即使如此，我也先请丞相撤军，让我进城见二夫人，告知他们情况，然后再投降。”张辽再次回去，将关公的请求告诉曹操。曹操立即下令，撤军三十里。荀彧说：“不可，恐怕有诈。”
曹操说：“云长是个有义气的人，不会失信。”于是他带领军队撤退。关公带领军队进入下邳，看到百姓们安稳无恙，最终到达府邸。他见到甘、糜二夫人，二夫人听说关公到来，急忙出来迎接。关公跪在阶下说：“是我让二夫人受惊，是我的罪过。”二夫人说：“皇叔现在在哪里？”关公说：“我不知道他的去向。”二夫人问：“二叔现在打算怎么办？”关公说：“我出城与敌军激战，被困在土山上，张辽劝我投降，我提出了三个条件。曹操已经都答应了，所以特地撤军，让我进城。我没有得到嫂嫂的意见，所以不敢擅自行动。”二夫人问：“那三个条件是什么？”关公将之前提出的三个条件详细地告诉了她们。甘夫人说：“昨天曹军进城时，我们都以为必死无疑。谁知道他们毫发无伤，一支军队都没有进来。叔叔既然答应了，为什么还要问我们二人呢？只怕以后曹操不允许叔叔去寻找皇叔。”关公说：“嫂嫂放心，我有自己的主意。”二夫人说：“叔叔自己决定吧，我们女流无需插手。”
关公辞别曹操后，带着数十骑兵前往许昌见曹操。曹操亲自出门迎接，关公下马行礼，曹操急忙回礼。关公说：“我是一位战败的将领，深感曹丞相不杀之恩。”曹操说：“我一直很敬佩关云长的忠义，今天能够见面，让我感到非常欣慰。”关公说：“我替文远传达了三个请求，幸得丞相答应，相信不会食言。”曹操说：“既然我说出口，就不敢失信。”关公说：“如果我知道刘皇叔的去向，就算是冒着危险，也会去跟随他。但现在恐怕没有时间告别，还请丞相见谅。”
曹操说：“如果玄德还在，他一定会跟随你去的，只是我担心他已经在乱军中丧命。关云长你要放宽心，我会尽力打听消息。”关公向曹操谢过后，曹操设宴款待他。次日，曹操率军返回许昌，关公整理车马，邀请二嫂上车，亲自护送车队前行。在途中休息驿站时，曹操想打乱君臣礼节，让关公和二嫂共处一室。关公却拿着蜡烛站在门外，从夜晚一直到天亮，毫不疲倦。曹操见到关公如此坚守，更加敬佩他。抵达许昌后，曹操安排了一府给关公居住。关公将宅院分为两个院子，内院由老军十人守卫，关公自己居住在外院。
曹操引领关公朝见献帝，献帝任命关公为偏将军，关公谢恩后回到住处。曹操次日设宴，在宴会上与众臣和武士一起款待关公，安排他坐在上座。还准备了绫锦和金银器皿等礼物送给关公，关公都交给二嫂保存。在许昌期间，曹操对关公的待遇非常厚重，小宴持续了三天，大宴持续了五天。还送了十位美女侍奉关公。关公将她们都送入内院侍奉二嫂。而关公则每隔三天就会来到内院外向二嫂行礼，询问她们的安危。二嫂回答完关于刘皇叔的问题后，就说“皇叔自便”，关公才敢退回自己的住处。曹操得知这件事后，更加佩服关公。