天文１３年(1544)岩屋城尼子の支配下にあった時、城主は中村大和守則治であったが、尼子　は副将格として芦田備後守正家をおく。その後尼子は衰退し毛利が美作に侵攻してきた時代となって岩屋城も毛利に従属した頃のこと、兼ねてより宇喜多直家は、戦略上作州進出を望み特に岩屋城に注目していた。
このことを知った正家は宇喜多になびかせようと永禄１１年(1568)謀反を企て、正家は城内で城主中村則治を殺害し宇喜多直家に降り岩屋城主となった。一方家臣加藤伊豫守はこのことを知り、嘆き悲しみ自分は病身であり主君を守ることもできず、仇をも討つことができず無念に思い自害し果てた
。 今日岩屋城の南東に位置する麓に「自害谷」と呼ばれている地名がある、その箇所に数基の墓があり割腹した加藤伊豫守と他数人の忠臣のものと云われている。
主君の無念を思い共に散った忠臣 加藤伊豫守 を忘れることなく、伝承されている。

岩屋城は、美作国の支配権を有する守護山名の本城として築城されましたが、作州全土からみて西よりに位置するため、東美作にみを利かすため、一門の守護代山名忠政に命じて津山鶴山にも鶴山城を築かせ、この城の城主とし、国中の支配に当たらせております。
いうなれば、江戸期になって森忠政公が鶴山に津山城を築城しましたが、それ以前に津山城の起源ともいえる鶴山城を岩屋城初代城主が築城しており、山名築城時の遺構と云われるなども防備の一端として組み込まれ、今も一部が残されていると伝えられていますし、また、山名忠政が鶴山城築城に際し、城の守りとしてその山に祀られていたをその後、森忠政公が津山城を築城の際に発見し、「いずれも清和源氏の末流、彼も忠政、我も忠政」 と同名の因縁をかしこみ、このを現在地にし祀って永く鶴山のめとしたと云われています。
この様に岩屋城と津山城は大変深い関わりがあると存じます。
もちろん江戸期に築城された津山城は美作地域の中心の城跡で観光振興における代表的な存在ですが、時代考証的には室町期から戦国時代は石垣とか屋根瓦・天守がまだ発達していない土造りの岩屋城跡ではないでしょうか。

岩屋山のについて　（H23,11本山奨、西尾一朗 調査メモ）
慈悲門寺本堂跡の東端に、古墳のような盛り上がった箇所があるが、この正体が何物であるのかいつも不思議に思っていた。上部には枯れた老松が１本目印となっており、岩屋城築 城後は戦略的な見張り台の説もあるが、この箇所をよくみると全体が岩の塊となっている。　 南側は雑木が茂っているが平らな部分が２段ぐらいあり、さらに下ったところが慈悲門寺下砦跡である。
東側は急な斜面となっているが大きな岩が露出し点在している。この盛り上がった箇所の南側から真北を望むと、山王宮を拝むことができる。

以前からこの場所は、磐座ではないかとの考えもあったようであるが、１１月７日に岡山歴史研究会の方々が岩屋城跡の下見視察に来られた際に、この場所は磐座ではないかとの質問をしたところ、その一行の中に野崎　豊さんという岡山大学考古学研究会会員 イワクラ（磐座）学会会員である磐座のことを研究している人が、僅かな時間であったが慈悲門寺跡から山王宮あたりを調べてくれ、方角や角度からして磐座に間違いないということであり、又、寺跡の下方向に関係のある物が何か必ずあると言われ、これは岩屋谷の入り口に、昔山王宮への道しるべとして石燈籠があったことを思い出し、現在は妙福寺の境内に移転しているが、元あった位置を地図上で確認したところ、ほぼ一直線上にあることが判明した。
後日、次の回答が岡山歴史研究会よりあった。
「岩屋城が岩屋山に築かれる以前は、山王宮を祀る岩山で、岩山（磐座）の中腹にある窪みに山王様が祀られ、真南の下方には磐座を持った天台慈悲門寺跡も在り、お寺の創建が平安時代であることから古代よりの神山と推理される。
なお上部の三の丸と馬場に挟まれた谷間に在る、水神様も真南の直線上に在り、山王様の祠、慈悲門寺の磐座も一つのまとまりで祀られていた筈であり、「修研道にも活用された筈である」と連絡があった。
この磐座説が本当ならば岩屋山の新たな発見でもあり、円珍がこの地に寺院を建立した理由が、更に強くなったのではないか？.... 即ち天台寺院の守護神は圧倒的に山王様であり、この地に建立する際に守護神として近江国坂本（現滋賀県大津市坂本）にある日吉大社より山王大権現（祭神：大山咋神）を勧請して慈悲門寺の上部磐座に祀ったことは、日吉大社にも八王子山の頂上部に牛尾宮(大山咋神の荒魂)・三宮宮（鴨玉依姫神の荒魂）があり、その奥にという磐座が存在しており、磐座がある岩屋山が同じような立地条件であったことが理由ではないかと推理される。ところで、この牛尾宮・三宮宮の社殿は急斜面に立っており、どちらもりとなっている。
懸造りといえば鳥取県三朝町にある三徳山三佛寺の投入堂が有名であるが、岩屋山の山王宮にも岩窟の中いっぱいに投入堂のような懸造りの社殿があったのであろう。
この投入堂は７０６年の昔、役の行者が法力で岩屋に投げ入れたと云われるお堂である。
その後、天台宗第3代座主の円仁（慈覚大師）が三佛寺を建立したと伝えられている。
磐座(いわくら)とは、仏教などの外来宗教の影響を受ける以前の日本に古くからある自然崇拝である古神道のなかの一つの信仰をさしており、巨岩に対する基層信仰の一種である。
自然への信仰の例は岩以外にも、山とか大木、火や滝さらには風雨・雷といった自然現象までの多岐に渡るものである。
神社に社殿が設けられるようになったのは、平安時代になってからのことで、仏教の隆盛により立派な寺院が建築されるようになり、神社もそれに習って豪壮な社殿や拝殿が立ち並ぶようになりました。
その始まりは春日大社ということです。しかし、それまで神社には今のような立派な常設の社殿はなく、大きな大木や山頂の大石の上などに必要に応じて神を降臨し、雨乞いをしたり、冬至や夏至の太陽を拝むなど純粋で原始的な祀りを執り行っていました。
つまり岩自体が御神体であり磐座ということです。