وصباح يوم 4 مارس 1869، عقد أندرو جونسون آخر اجتماعاته بالبيت الأبيض. ومع لقائه بوزيره غيديون ويلز، قال جونسون عبارته الشهيرة: “أظن أننا سننهي عملنا هنا دون التوجه للكابيتول”. في الأثناء، أثار قرار جونسون بعدم حضور مراسم التنصيب غضب العديد من الوزراء من أمثال وزير الخارجية وليام سيوارد الذي حاول مراراً ثني الرئيس المنتهية ولايته عن ذلك.
وقبل نحو نصف ساعة من منتصف يوم 4 مارس 1869، حلت عربة غرانت أمام البيت الأبيض بينما انتظرت عربة فارغة الرئيس المنتهية ولايته أندرو جونسون. وبينما انتظر الجميع خروج جونسون، فضّل الأخير البقاء بمكتبه لتوقيع بعض الوثائق رافضاً حضور مراسم أداء اليمين. وفي حدود منتصف اليوم، صافح جونسون وزراءه وشكرهم قبل أن يغادر مكتبه لآخر مرة ويتجه لاحقاً نحو ولاية تينيسي.