Yoritomo erlitt bereits am Anfang des Genpei-Krieges eine bittere Niederlage. Er verlor in der Schlacht von Ishibashiyama so erbärmlich gegen Tairas Armee, dass er froh sein musste, dass er überhaupt lebend hatte fliehen können. Er rettete sich an die südliche Spitze der Halbinsel Awa und begann von dort seinen Eroberungsfeldzug des Ostens. Er holte nach und nach starke Lokalfürsten aus Tairas Lager in seine Armee, baute in Kamakura seine Basis für eine neue Samurairegierung auf und lauerte auf seine Chance, Taira einen empfindlichen Schlag zu versetzen. Endlich kam es zu einer großen Schlacht zwischen Taira und Minamoto am Fluss Fujigawa. Yoritomos vereinte Armee trieb die von Koremori Taira geführten Soldaten in die Flucht. Diese Schlacht war die erste Warnung für die Tairas, dass sie militärisch schwächelten. Kiyomori sah sich immer mehr von starken Gegnern bedrängt. Nicht nur Yoritomo, auch die Mönche und Yoshinaka Minamoto von Kiso erhoben sich gegen Taira.