进京之后，光武帝刘秀亲自接见他，与他像老朋友一样抵足而眠，彻夜长谈，请求他帮助自己来治理天下，对他的关怀可谓无微不至，派人给他安排住处，送去床褥，又派太官早晚给他送饭。但严光无论如何也不愿意做官，虽人在京城，但心向隐居。刘秀亲驾前来，严光竟然卧床不起。刘秀走到他的床边，拍着他的肚子说：“子陵啊，我难道不能用你帮助我治理国家吗？”严光闭着眼睛不答，过了半天，才慢慢睁开眼睛，对刘秀说：“想当初，唐尧治理天下，成为著名帝王，而巢父淡于名利，成为著名隐士。你做你的尧舜之君，我做我的隐士，人各有其志向，为什么要以权势相逼呢！”刘秀无法，只得叹息而去。
司徒侯霸与严光也有旧交，但他把严光估计得过低了，他听说严光到来，便派侯子道致书相请。严光见侯子道进来，并不起身，坐在床上将书信看完，对侯子道说：“君房（侯霸的字）一向痴呆，如今已成朝廷三公之一，痴呆的毛病难道还没有好点吗？”