宋亡，終身不仕、不娶，及壯，自號(儒、佛、道)三教外人，又號九鑒山人，人稱文行先生，淡泊名利，遍游名山。常在寺院閉門靜坐，每日用飯一次。德祐元年(1275)至余杭洞霄宮，友人住山沈介石為建白鹿山房石室居住，匾曰空屋，旁植梅竹，和五松相間。平時不著布衣，以楮紙作服，常去超然館靜坐，有時竟數月不出，與里人葉林為至交。元元貞二年，王修竹延至山陰陶山書院。大德三年，入余杭洞霄，四方名勝多求其文。元大德九年(1305)，朝廷派玄教大師吳全節請牧出山，斷然拒絕。與南宋遺民謝翱、周密等友善，來往甚密，為翱作傳，為密作《蠟屐集序》。十年卒，年六十。