就在王國維風光無限之時，他與此時已結為親家的羅振玉之間的關系卻出現了罅隙，顯露出了“羅王之裂”的端倪。
當王國維準備将自己的那部後來被郭沫若稱為“在幾千年來的舊學的城壘上”築起的“一座崔巍的樓閣”式的文集——《觀堂集林》進呈給溥儀時，羅振玉希望他一并代呈自己關于甲骨文方面的幾部著述。
這讓王國維十分為難，囿于羅振玉與朝廷内的遺老之間的矛盾，為了避免自己卷入紛争，王國維不得不婉言推脫，告知“數月以後”再行辦理。對此托辭，羅振玉十分不滿。
而後，羅振玉又有一次讓王國維代奏“上疏”，而王國維以同樣的緣由予以婉拒。此時羅王之間的裂縫已到了難以調和的地步。
1924年10月23日，馮玉祥發動“北京政變”，溥儀小朝廷被驅逐出了紫禁城。王國維跟随鐵杆遺老，護駕出了宮。
此後不久，因胡适的推薦，清華學校校長曹雲祥親自前往王國維的寓所聘請其為國學研究院導師，但被婉拒。
無奈曹雲祥再找胡适出面。對于胡适的出面邀請，王國維沒有當面拒絕，但推脫需要“一星期考慮”。在這一星期時間裡，胡适居然請得溥儀的一道“聖旨”，王國維這才同意就職。
1925年2月23日，國學研究所主任吳宓持校長聘書谒見王國維，并“在廳堂向上行三鞠躬禮”。
而後，清華國學院又先後聘用梁啟超、趙元任和陳寅恪，始成清華“四大導師”；又與特别講師李濟合稱“五星聚奎”。
30年前，梁啟超是王國維仰慕的偶像；30年後，梁啟超卻對王國維甘拜下風，舉薦其為研究所的首席導師——“教授方面，以王靜安先生為最難得，其專精之學，在今日幾為絕學；而其所謙稱為研究者亦且高我十倍，我于學問未嘗不可有一精深之研究……王先生則不然。”
國學院任教期間，王國維擔任經學、小學、上古史、金石學、中國文學等學科的指導，精力旺盛，學業成熟，著作彪炳。
在給學生講課時，王國維突破舊史學方法，提出了以“二重證據法”和“阙疑法”為主要特點的新史學方法——即所有曆史文本不再具有絕對的權威性，它必須接受來自“地下新材料”的挑戰，“以實證史”而又“以史證實”，開創了以科學方法研究史學之新河。
所有這些為了向學生講授而重新總結的新成果，皆收錄在“先生平生最著名之研究”《古史新證》中。它是王國維多年學術研究的一個總結，收錄了代表當時某些學術領域的最高成就。
後來，郭沫若在《革命春秋》中談到他研究甲骨文的經過時說：“在當初，我第一次接觸甲骨文字，那一樣一片墨黑的東西，但一找到門徑，差不多隻有一兩天的工夫，便完全解決了它的秘密。這倒也并不是我一個人有什麼了不起的本領，而我是應該向一位替我們把門徑開辟出來的大師，表示虔誠的謝意的。這位大師是誰呢？就是1927年當北伐軍進展到河南的時候，在北平跳水死了的那位王國維了。”
郭沫若所說的“門徑”，便是王國維在清華國學院所傳授的古史“二重證據法”。此“二重證據法”，也深深地影響了陳寅恪，成了他接到牛津大學聘書後急切想要出國的一個重要原因。
1929年9月26日，王國維最為鐘愛的長子王潛明在上海病逝，這成為“羅王之裂”的導火索。
此時的王潛明已是羅振玉的女婿，得知王潛明病危的消息，王國維與羅振玉分别從北京和天津趕來上海，而在王潛明入殓之後，羅振玉帶着女兒不辭而别，先行回了天津。
羅振玉的這一舉動，使正處在老年喪子之大悲中的王國維極為不滿，怒道：“難道我連媳婦都養不起？”随即将王潛明病時的醫藥費全部彙去羅家。羅家把錢退回來，王國維又寄過去，如此往複兩回。最後，王國維氣得不言語，從書房抱出一大沓和羅振玉往來的信件，撕毀并付之一炬。
随後，在關于海關發放撫恤金的歸屬問題上，兩人又展開了你來我往的書信辯論。在辯論中，雙方的言辭逐漸激烈并上升到知識分子最為看重的人格尊嚴上，從而最終導緻近三十年的深厚友情和學術情誼徹底決裂。此後，兩人再無交流。
直到半年後，發生了“靜安自沉”事件，羅振玉愧疚萬分道：“靜安以一死報知己，我負靜安，靜安不負我。”