岑羲拜相后，兄長岑獻擔任國子監司業，弟弟岑仲翔、岑仲休擔任州刺史，岑氏兄弟子侄數十人都官居要職。岑羲感嘆道：“物極必反，我得有所戒懼啊。”但卻并未因此有所黜退。

早期事跡

　　岑羲年輕時考中進士，累遷至太常博士。691年（天授二年），宰相岑長倩被誣謀反，下獄而死。岑羲因是岑長倩的侄子，也受到牽連，貶為郴州司法參軍。

　　在擔任金壇縣令期間，岑羲因政績突出，與弟弟長洲縣令岑仲翔、溧水縣令岑仲休并稱江東三岑，受到宰相宗楚客的贊譽，又被江南道巡察御史薦為汜水縣令。

回朝任職

　　704年（長安四年），武則天命宰相舉薦官員。鳳閣侍郎韋嗣立便推舉岑羲，并道：“只可惜他被伯父岑長倩所連累。”武則天道：“只要他有才干，就不會受到連累。”于是任命岑羲為天官員外郎。此后，劉守悌、裴惓等受到親屬牽連的官員相繼獲得擢升。

　　705年（神龍元年），唐中宗復位，岑羲被任命為中書舍人。不久，侍中敬暉打算上表朝廷，請求降封武氏諸王，請人起草奏疏。岑羲執筆而書，言辭懇切，因此惹怒武三思，被貶為秘書少監。

　　707年（景龍元年），太子李重俊發動政變，失敗被殺。侍御史冉祖雍趁機誣陷相王李旦與太平公主曾與太子同謀，請求中宗審問調查。岑羲與中書侍郎蕭至忠上表勸諫皇帝，力保李旦與太平公主。后來，岑羲監修《中宗實錄》，將此事記述下來。

　　708年（景龍二年），岑羲改任吏部侍郎。當時，一同負責選官的吏部侍郎崔湜、太常少卿鄭愔、大理少卿李元恭都大肆受賄，以貪腐著稱。只有岑羲恪守正道，受到輿論的稱贊。

擔任宰相

　　710年（景云元年），唐中宗駕崩，韋皇后立溫王李重茂為帝，是為殤帝。岑羲被擢升為右散騎常侍、同中書門下三品，成為宰相，不久又持節巡撫河南道。

　　不久，李隆基發動唐隆政變，殺死韋皇后，廢黜唐殤帝，擁立相王李旦為帝，是為唐睿宗。岑羲出任陜州刺史，后歷任刑部尚書、戶部尚書，并監修國史。

　　712年（先天元年），岑羲再次擔任同中書門下三品，并因此前保護睿宗的功勞，進拜侍中，封爵南陽郡公。同年八月，唐睿宗禪位于皇太子李隆基，是為唐玄宗。

　　當時，太平公主權傾朝野，岑羲與竇懷貞、崔湜全都依附于她，日夜謀劃作亂。宰相劉幽求和禁軍將領張暐計劃除掉他們，但是事情泄露，都被流放嶺南。

政變伏誅

　　713年（開元元年），太平公主與竇懷貞、岑羲、蕭至忠、崔湜及太子少保薛稷、雍州長史李晉等人密謀，打算廢黜唐玄宗，另立皇帝。

　　同年七月，太平公主定于四日起兵作亂，命左羽林大將軍常元楷、右羽林將軍李慈率軍闖入武德殿，又命岑羲與竇懷貞、蕭至忠在南衙舉兵響應。結果尚未行動，消息便已泄露。

　　唐玄宗與岐王李范、薛王李業、宰相郭元振商議后，命龍武將軍王毛仲率軍由武德殿進入虔化門，斬殺常元楷、李慈，并闖入朝堂，擒斬岑羲、蕭至忠。岑羲死后，家產也被抄沒。