进京之后,光武帝刘秀亲自接见他,与他像老朋友一样抵足而眠,彻夜长谈,请求他帮助自己来治理天下,对他的关怀可谓无微不至,派人给他安排住处,送去床褥,又派太官早晚给他送饭。但严光无论如何也不愿意做官,虽人在京城,但心向隐居。刘秀亲驾前来,严光竟然卧床不起。刘秀走到他的床边,拍着他的肚子说:“子陵啊,我难道不能用你帮助我治理国家吗?”严光闭着眼睛不答,过了半天,才慢慢睁开眼睛,对刘秀说:“想当初,唐尧治理天下,成为著名帝王,而巢父淡于名利,成为著名隐士。你做你的尧舜之君,我做我的隐士,人各有其志向,为什么要以权势相逼呢!”刘秀无法,只得叹息而去。
司徒侯霸与严光也有旧交,但他把严光估计得过低了,他听说严光到来,便派侯子道致书相请。严光见侯子道进来,并不起身,坐在床上将书信看完,对侯子道说:“君房(侯霸的字)一向痴呆,如今已成朝廷三公之一,痴呆的毛病难道还没有好点吗?”