翌4年(770)8月8日には称徳天皇が崩御し、白壁王が皇太子となる。同21日皇太子は令旨を下し、坂上苅田麻呂らの告発で道鏡がひそかに帝位をうかがっていたことが発覚したとし、下野国薬師寺別当として左遷、習宜阿曾麻呂を多褹島守とした。翌日、道鏡の弟の弓削浄人(大宰帥)、その息子広方、広田、広津も土佐に配流。同年9月6日和気清麻呂と広虫を召喚(以上続日本紀)。改元後宝亀元年(770)10月1日白壁王が即位して光仁天皇になる。翌2年和気清麻呂を豊前の守に任ずる(東大寺要録・託宣集)。同4年(773)正月禰宜辛嶋勝(すぐり)与曾女、宮司宇佐公池守を解任、禰宜に大神小吉備売(おきひめ)、祝に辛嶋勝龍麿、大宮司には復帰した大神田麻呂を任じた(豊前国司解)。さらに、3月には和気清麻呂らの義で、宮司職をめぐって三氏が競望することがあるので、今後大神比義の子孫を大宮司の門地、宇佐公池守の子孫を少宮司副門地、辛嶋勝乙目の子孫を禰宜・祝の門地と定めるようにとの託宣が出た(八幡大宮司解・託宣集)。同10年(779)に大尾社に坐す八幡大神は小椋山再遷座を指示し、延暦元年(782)小椋山遷座(建立縁起・託宣集)ということになる。
その間の「大菩薩」賜号(天応元年781)を受けて、もとは女性首長の家だった辛嶋氏は女禰宜職を大神氏に収奪され、辛嶋氏からは男性任用がなされることになる。比売大神の祭祀と合わせて権威も大神氏が担うようになったといえるが、その背景を考えてみたい。篠崎八幡が宇佐神宮の分霊を勧請したとされる天平宝宇7年(730)、辛嶋勝久須売羽根木になって数年間託宣がないので解却しその子の志奈布女を補するということがあった。それに対して大神は浄所に移り朝廷を保護したいと託宣し、なぜかその志奈布女ではなくその年新たに禰宜となった与曾女に対して神は「別堂を造り奉り観世音菩薩像一体と四天王像各一躰を安置せよ」と託された(「承和縁起」)という事件があり、与曾女と祝龍麻呂らは弥勒寺金堂東方に二宇の堂を造り、妙法堂と号し、観世音菩薩像一体を安置したが、四天王像はまだできないままという状況だった。そして、清麻呂が初めて続日本紀に名をあらわす天平神護元年(765)、しかも清麻呂・広虫に吉備藤野和気真人が賜姓されたのと同じ月、かつ八幡の帰座の託宣の翌日である3月23日なってようやく官符が下され、宇佐公池守を造営押領使として、菱形宮の東大尾山を切り開いて大御神宮を造らせ、その年に大神を移し、禰宜として志布志女、祝は辛嶋勝龍麻呂が補された(承和縁起)。そしてそれを受けて清麻呂の義がおこなわれるという流れなのだ。この流れを見ると、再遷座に絡んで篠崎と宇佐との間で綱引きがあり、八幡の名を篠崎八幡に戻そうとする辛嶋氏と宇佐小椋山に固定しようとする大神氏の力関係で、大神氏側が勝利を収めたという構図が見えてくる。つまり、篠崎八幡側に志奈布女がおり、それに対して宇佐に与曾女がおり、与曾女に託宣が下って宇佐に神宮ができ、その時点でようやく宇佐に八幡の実体が初めて移ったといえ、しかもそれはあくまでも別堂として作った妙法堂の隣に神宮が作られたということが読み取れるわけである。そして、おそらく称徳天皇としては、篠崎八幡側を八幡宮だと信じ、神宮寺に関してもそちらに作るのだと考えていた可能性が高い。その4年間にわたる信頼をすべて裏切られたということに対して激怒した、という方がずっと見通しがよい。又、宇佐神宮の実態に関してそこは少なくとも天長6年(829)までは弥勒寺と一体だった可能性があり、宇佐宮独自の荘園の始まりは、早くとも延喜10年(901)宇田院内親王家が肥前国高来郡油山12か所を寄進したところからで、はっきり見られるのは長徳6年(1000)11月2日に豊前国下毛郡深水荘を寄進したのが初見であり、宇佐に八幡が祀られ、それが実際に宇佐神宮と呼ばれるようになったのは正確にいつなのか、ということはさらなる検討を要するといえる。
これが宇佐神宮が八幡神を祀るようになったいきさつである。ここからわかることは、八幡神の信仰が宇佐から始まったということはまずなく、八幡神をだれに比定するのかの問題を含めて八幡神について分かっていることは非常に限定的であるということだ。そして八幡神が宇佐に祀られるようになったいきさつからは、奈良時代の政治状況を明らかにする手がかりが多く得られ、そしてそれらを精査することによって日本古代史の見通しも大きく変わってくるということが言える。