好在此时尚处于东汉王朝的上升期，汉光武帝令马援率兵平定羌乱。
汉安帝永初年间（107~113年），东汉国势转衰，随着羌乱愈演愈烈，出身关东豪族的朝臣庞参屡次建议放弃西域，被西州士大夫耻笑。
庞参以国用不足为由，说动出身关东的大将军邓骘（邓禹之孙）放弃凉州，仍被出身西北豪族的朝臣驳回。
永初五年（111年），先零羌自并州攻入河内，距首都洛阳仅一河之隔，东汉朝廷大震，决议放弃陇西、陕北诸郡，迁民入内地。
凉州百姓安土重迁，不欲离乡，当地官吏就毁坏他们的农田、房屋，逼他们走人，导致大批百姓死于道路，几乎激起大规模民变，加上西北豪族强烈反对，不得不中止。
中央不可靠，凉州人只能靠自己，驰骋疆场，保卫家园。
东汉后期汉顺帝、汉桓帝时期，凉州豪族中同时出了三大名将，即皇甫规（字威明）、张奂（字然明）、段颎（字纪明），号称凉州三明，在对羌战争中取得重大胜利，段颎甚至对羌人实行中国史上少有的种族灭绝政策，一时镇压了羌乱。
不过，随着东汉政治在腐败的道路上一路狂奔，汉灵帝时爆发了黄巾起义，虽然很快被镇压下去，但是人心思乱，边疆不稳，凉州再度爆发羌乱，而且还有凉州汉人豪族参与。东汉政府派出善战的皇甫嵩、孙坚、董卓，依然无法平定。
出身关东的司徒崔烈再次建议放弃凉州，凉州豪族傅燮怒不可遏，当场痛斥：
斩司徒，天下乃安！
最终，在傅燮的推动下，东汉组织凉州残余的政府力量，由凉州刺史耿鄙统帅平叛。
耿鄙是关东巨鹿耿氏，任用奸吏荼毒凉州，出征途中，担任别驾从事的凉州豪族举兵哗变，杀死耿鄙。
傅燮以寡兵死守汉阳，壮烈战死，东汉王朝对凉州的控制彻底失去。
而这次他们的对手不再是先零羌或者烧当羌的野人酋长，而是凉州的汉人名士韩遂及其手下的汉羌联军。
至此，凉州心向中央的豪族基本死绝或者客死他乡，剩下的半因羌族胁迫，半对朝廷绝望，毅然决然的与叛羌合作，不但割据凉州，还进而率领他们攻击长安，与汉朝为敌。
凉州豪族之所以与东汉政府决裂，里面有长期的积怨与复杂的原因。
两汉为了防止地方官与当地势力结合，形成割据，设计了任用外地人担任地方官的制度。
但在其他地区，有时还会选文化差别不大的邻郡人为官，在凉州则为了防范武力强大的凉州豪族，有意使用关东地区的人当地方官。
这些人家业远在千里之外，面对羌族进逼，为了保自己安全，就建议放弃凉州，把居民内迁，施政时也往往贪残不顾后果。
凉州豪族对他们恨之入骨，对他们背后的东汉政府也颇多不满。
可以说，凉州之所以会变成凉州人的凉州，当时汉朝的统治者与关东豪强世家有推脱不去的责任。