武藤一族は上杉家を後ろ盾とし、庄内一円を支配していたが、天正11年（1583）、天正15年（1987）の最上氏の来攻で一時撤退する。武藤一族の一人である武藤義氏は「悪屋形」とも言われ、「われ逝くもののごとく」の本文でも「悪名高い武藤家」と記されるが、これは最上氏の吹聴であるとの説もある。（「荒倉神社社報 第１号」）。天正16年（1588）、上杉景勝・本庄繁長の支援を得て最上氏の討伐に成功し、庄内へと戻ってきた。しかしその後の天正19年（1591）、太閤検地に反対する一揆が起き、それを扇動したとの疑義がかけられ改易される。その後は上杉家の家臣として仕えた。