返回地球后，随之而来的是种种摆脱不了的名誉和光环。可是，阿姆斯特朗对自己的成名并没有心理准备，认为成名是个负担，渐渐无法应付和承受。让他感触最深的是，周围的朋友和同事们对待他的方式与过去截然不同了。渐渐地，阿姆斯特朗变得越来越孤僻。他两岁的女儿死于脑瘤，最初似乎并未影响阿姆斯特朗太多，可渐渐地，后遗症显露出来，这位父亲会看着女儿过去的照片发呆。不久之后，阿姆斯特朗出任太空总署航空学协会副会长。接着，为了彻底从公众目光中隐退，阿姆斯特朗在1971年从美国宇航局退休，到辛辛那提大学航空工程学院担任教授至1979年。阿姆斯特朗在后来甚至还在一个偏僻的乡下买了一个杂草丛生的农庄，开始了自己的半隐居生活。他感慨地说道：“到底要花多少时间，别人才不将我当作一名宇航员看待？”曾经有人建议阿姆斯特朗多出去走走，到各地散散心，可这个倔强的美国人只说了这样一句话就堵住了所有人的嘴：“我连月球都去过了，地球上还有什么地方吸引我呢？”由于工作需要，阿姆斯特朗很忙而且需要经常出差，为此根本没有太多时间陪伴家人，两个儿子的成长和教育过程他很少参与。从月球返回之后，他的生活更是发生了翻天覆地的变化，妻子珍妮特渐渐厌倦了这样的日子。1989年年底，珍妮特在餐桌上留了一张纸条给他，提出离婚的要求。1994年，阿姆斯特朗与共同生活了38年的妻子珍妮特正式离婚。阿姆斯特朗回忆当时的场景，唏嘘不已：“我想挽留她，可在当时那样的情景中，我能说什么呢？我们的婚姻，就像一次失败的飞行，无声地崩溃了……如果可能，我还要说，我爱妻子。我很抱歉，我们的婚姻，成为我成功的最大代价。”几年前，阿姆斯特朗再婚了。垂暮之年的他更愿意“生活在现在”，还经常驾驶滑翔机过把飞行瘾。