由于吐蕃的主要兵力集中在蘭州以東的會州（今甘肅會甯）至渭州（今甘肅隴西）一帶，後方兵力空虛，對地方上的控制力減弱。元稹派出使者，到河西幾個較大的漢人豪族進行聯絡，準備從後方來一次大起事，從後方打擊吐蕃。
使者到達沙州後，向張元甫、張議潮父子仔細介紹了唐軍在前線的勝利，也說明了因吐蕃軍的陰招，緻使唐軍暫時無法發動大規模攻擊的情況，要求張元甫和其他漢人，利用吐蕃後方的空虛，在後方起事，從後方夾擊吐蕃。
張元甫、張議潮非常痛恨吐蕃人的殘暴，早就想起事反抗吐蕃，隻因敵我力量懸殊，才暫時隐忍，暗地裡積聚力量。
唐軍利用火器，大量殺傷吐蕃軍的消息，早就在漢人中口口相傳，很多人都期盼早日推翻吐蕃人的統治。經過使者的聯絡，肅州的李明達，瓜州的吳安正等漢人大族，也都表示願意配合唐軍起事。
元和七年五月，張元甫、張議潮率先在沙州起事，城内外的漢人自發武裝起來，與沙州的吐蕃軍隊進行戰鬥。吐蕃軍也是不甘心失敗，極力鎮壓起義的漢人，雙方的戰鬥很殘酷。
戰鬥持續了三天，随着加入的漢人越來越多，吐蕃軍終于不支，戰敗逃竄，沙州起義宣告成功。
沙州起事成功後，吐蕃大相尚思羅極為惱怒，派出廓州節度使論恐勒帶領五千騎兵，到沙州鎮壓。張元甫帶人死守城池，抵住了吐蕃軍的進攻。
由于吐蕃抽調兵力鎮壓沙州起義，其他地方更加空虛，肅州的李明達，瓜州的吳安正趁機先後帶人起事。論恐勒前面鎮壓不利，後面又出新情況，為防後路被截斷，急忙帶兵逃向涼州。經過河西漢人的艱苦鬥争，元和七年六月，沙、瓜、肅三州先後光複。
李純讓使者到河西，任命張元甫為沙州刺史、李明達為肅州刺史、吳安正為瓜州刺史，置河西為歸義軍，由張元甫兼任節度使。命張元甫帶領河西三州的軍隊向東進攻，配合東線唐軍的進攻。張元甫命其子張議潮為先鋒，兵鋒直指甘州，經過五天的進攻，順利攻下甘州。
歸義軍繼續向涼州進攻，但是涼州是吐蕃重兵據守的城池，如被攻下，吐蕃軍面臨覆亡的危險，所以拼死抵抗，難以攻下。李純也不想讓歸義軍過多消耗，令其暫停進攻，從西面圍困吐蕃。
論恐勒鎮壓沙州起義失敗，導緻河西四州先後被歸義軍攻取，尚思羅大怒，要對其嚴懲。論恐勒幹脆一不做二不休，帶領人馬回到其老巢廓州，準備對抗尚思羅。
李純派人偵知這一消息，立即派使者向論恐勒傳話，如果其能起兵自立，大唐将承認其占領的吐蕃地盤。
有了唐朝皇帝的傳話，論恐勒反叛的決心更大，他早就看不慣尚思羅專權，早就想割據一方，趁此機會大肆招兵買馬，準備死磕尚思羅。
尚思羅得知論恐勒有反叛的意圖，氣憤至極，利用和唐軍前線短暫僵持的機會，抽調兩萬人馬去征讨論恐勒。
論恐勒也不是善茬，知道尚思羅不會饒過他，早就做好了對抗的準備，在沿途布置重兵，利用讨伐軍過河的機會，趁機發起進攻，把尚思羅的讨伐軍打的大敗而歸。