雍正四年（公元1726年），谢济世任浙江道监察御史。上任不到十天，他就上疏弹劾河南巡抚田文镜营私负国，贪虐不法，引起雍正不快，结果被免去官职，谪戌边陲阿尔泰。与谢济世一同流放的还有两个人。经过漫长的跋涉，他们终于到达陀罗海振武营。三人商量着怎样去拜见将军，这里的人告诉他们：戍卒见将军，要一跪三叩首。另两人听后神色凄然，为读书人竟要向一介武夫下跪而难过。谢济世却不以为然，劝慰他们说：“这是戍卒见将军，又不是我们见将军。”没想到，将军对读书人很是敬重，不仅免去了他们行大礼，还尊称他们为先生。从将军那里出来的时候，那两人很是高兴，面露得意之色，谢济世一脸平静地说：“这是将军对待被罢免的官员，不是对待我们，没什么可高兴的。”在一般人看来，遭逢屈辱是非常痛苦，甚至难以忍受的事情：而享受尊敬却是令人得意、欣喜的。这是人之常情，本无可厚非。但谢济世在做人的境界上显然更胜一筹，那就是，他做到了“无我”。谢济世铁骨铮錚，疾恶如仇，为民谪命，不畏权贵。一生四次被诬陷，三次坐牢，两次丢官，—次陪斩，一次充军，历尽坎坷，被当时朝野誉为“铁面御史”和“小包公”。无论置身于怎样的处境，他总能忘却自己的荣辱得失，把自己置身事外，这样就免除了各种烦恼和困惑。