左の絵は有名な「伴大納言絵詞」の一部である。応天門の火災をめぐる陰謀をテーマとしたこの絵巻は日本の絵巻物の最高傑作といわれる。 時の大納言父子が、政敵の左大臣を陥れるために応天門に放火した事件を絵巻物にしたものである。

なぜそんなことを取り上げるのかというと、伴善男が大原氏（篠山氏）の祖であるとされているからである。篠山氏や大原氏、山岡氏、多喜氏、毛枚氏、大鳥居氏、上野氏をはじめ甲賀忍者の子孫の多くが、先祖を古代からの名族である大伴氏としており、ことに伴善男から分かれた子孫として位置づけているからである。

大伴氏は古代倭国家の大氏族の一つ。４，５世紀の大和国家の草創時代に倭国家の軍事力をになう氏族となり首脳にまで伸長した。壬申の乱には吹負、安麻呂らが大海人皇子にくみして天武朝で家門をおこした。安麻呂やその子旅人らは大納言にまで昇進し、台頭してきた藤原不比等らと拮抗した。旅人の子家持は歌人としても有名であるが、藤原氏に圧迫され大納言にとどまった。家持の兄弟の子孫に継人、国道があり、その子が善男である。

善男は、祖父の継人が長岡京建設の推進者藤原種継を暗殺した事件で、父国道が佐渡に流されたので、生まれは佐渡である（異説あり）。延暦２４年（８０５）恩赦で許され京都に還り、仁明・文徳両天皇の寵を受け嘉祥元年（８４８）には参議、貞観６年（８６４）には大納言に任ぜられた。天性才知に富み容貌も「深眼」で「鬢」が長く、背は低くやせ型で、気性は剛強であった。弁舌さわやかで政務の処理も自在で朝廷の制度にも明るく問えば答えないことがなかったが、心に寛雅の徳がなく他人の短所を指弾して憚らなかったという。善男が嫌ったのは左大臣源信で、信兄弟が共謀して反逆を企てているという投書に乗じて信を攻撃したり、信の家人で武術練達の士を地方官に転出させて、勢力弱体化を図ったりした。そのような状況の中で応天門の変が起こったのである。

時は貞観８年（８６６）３月１０日の夜、大内裏八省院正門の応天門と左右の楼が焼失した。原因は放火と見られ、善男が左大臣源信の仕業だといったので、右大臣は参議基経に命じて信を逮捕させようとした。しかし、基経が太政大臣藤原良房に連絡したところ、良房は早速参内して源信が無罪であることを奏上して逮捕を中止させた。さらに、８月３日になって左京人備中権史生大宅鷹取が、放火犯人は伴善男と息子の右衛門左であると訴え出た。出火の夜、たまたま彼らの犯行を目撃したが、事の重大さに黙っていたところ、善男の家人生江恒山が、子どもの喧嘩から鷹取の女の子を殺したので、憤激した鷹取が善男の秘密を訴えたのである。こうして関係者が次々と逮捕され、善男は伊豆に流され、その子中庸は隠岐に流された。共犯者の紀氏も遠流に処せされた。

しかし、この事件には当時から疑問があり、院制期に作られた説話集ではいずれも善男に同情的であり、伴大納言絵詞でも善男は一度も画面に出てこない。真偽はともかくこの事件で大伴氏と紀氏は中央政界から追放され、結果的に藤原氏が他氏を排斥することになり、良房は人臣にして初めての摂政、そして基経は中納言になり、藤原北家の摂関政治の基礎がここに出来上がった。（参照：日本歴史大事典　河出書房）

篠山氏との関係は、この配流されてから後に発生する。即ち、篠山氏や山岡氏系図によると、善男は「年を経て赦免あり。三河国に至り、幡豆郡の郡司大伴常盛が家に入り、其女を妻とす」と書かれている。妻の名は「清犬子」、子は「員助」という。しかし、これにはいくつかの疑問が生じる。