治承四年〔1180年〕四月，首先向平清盛举起长剑的是其宠臣源赖政。源赖政是摄津源氏多田氏流，论辈分乃是在“平治之乱”中伏诛的源义朝的堂叔〔义朝属河内源氏，两家同源〕，但在清盛和义朝的战争中，他站到了清盛一边，虽然不但因此保住了性命，还赢得了富贵，但除清盛外，平氏一门都瞧他不起，而源氏残党更以其为敌，生活得极为苦闷。眼看平氏的天下万人诟骂，时年七十七岁的源赖政终于憋不住了，于是奉后白河院的第二子以仁王为主，悍然掀起了反旗。

当时平氏在京都的势力仍然非常强大，源赖政和以仁王一方面向各地发布讨伐平氏的令旨，一方面逃出京都，计划潜往奈良去进行长期抗战，以等待各地源氏一族赶来支援。然而还没跑到奈良，先在宇佐地方被平氏追兵赶上，经过激战，赖政父子战死，以仁王自杀。

这次政变虽然失败了，但熊熊烈火就此燃起，很快变成燎原之势。当年十月，奈良兴福、般若等寺的僧兵七千人挖断道路，构筑工事城郭，以对抗平氏。平清盛派儿子头中将重衡率步骑四万，兵分两路杀去，很快就踏平了僧兵们的工事，并将寺院烧毁。

名为持斋念佛，实际舞刀弄枪，贪财好色的那些和尚，当然不会是平家武士的对手，然而蛰伏在东国的源氏残党们受此鼓舞，加上得到了以仁王令旨，也开始蠢蠢欲动了。

当时源氏最大的势力乃是信浓的木曾义仲和伊豆的源赖朝。源赖朝本是在“平治之乱”中伏诛的源义朝的亲子，义朝死后，年仅十三岁的赖朝遭擒，被流放到伊豆国，受豪族北条时政的监押。然而赖朝逐渐长大成人，看到这位身份高贵的囚徒能力超群、志向高远，北条时政竟然把女儿政子嫁之为妻，和他暗中勾结起来。在得到对平氏的讨伐令后，赖朝首先竖起反旗，在丈人的支持下统合附近大小豪族的部队，挥师西进。

这是治承四年〔1180年〕四月间的事情，同月在石桥山会战中，源赖朝以三百步骑对抗平氏武将大庭景亲的三千人，结果全军覆没，他逃入山中才侥幸存活下来。然而赖朝并不因此气馁，他南下安房国重新整顿兵马，逐渐收拢周边豪族力量，颇有卷土重来之势。为了消灭这颗毒瘤，当年八月，清盛派长孙维盛、儿子知盛等人统率两万大军前往讨伐。

这支东征部队于路搜聚兵马，在到达骏河国清见关时，兵力已达七万。当年十月，源平两军在富士川列阵对峙，源赖朝派大将武田信义率一支奇袭军趁夜包抄敌后，武田军在通过富士沼泽时，惊动了群集在沼泽中的水鸭，一时间群鸭惊飞，鸣叫不止。可笑的是，平氏大军士气低落，听到鸭叫，不但没有产生警惕之心，反而误以为敌军从背后袭来，竟然一哄而散，落荒奔逃。

平维盛等人就此狼狈逃回京都，京都百姓做歌传唱，嘲笑他们说：“富士河穿岩奔腾的水，赶不上伊势平家的腿。”然而源赖朝并未趁胜追击，他的目光远大，看到了自己即将面对的不仅仅是仇敌平氏，而是群雄并起的一个混乱局面，只有趁着平氏大军退去，加紧巩固自己的关东根据地，才能在即将到来的争霸战中脱颖而出。于是他退回老巢、相模的镰仓，开始着手构建崭新的武家政治系统。

首先，赖朝设置了“侍所”，任命亲信和田义盛为长官“别当”，他把收拢来的豪族改编为直接从属于自己的家臣御家人，由侍所别当统一管辖和训练，战时别当即以“军奉行”的身份指挥军队。寿永三年〔1184年〕，他又设置了行政机关“公文所”和司法机关“问注所”，由从京都请来的政治家大江广元、法律专家三善康信担任这两个机构的“别当”。可以说，就在各地势力厮杀不休的时候，只有源赖朝稳居关东，一方面扎实地扩展领土，一方面创建了与平安朝廷完全不同的武士为主体的新国家体制。