1852年（嘉永5年）10月15日、鹿児島の加治屋町に生まれる。
家柄は桓武平氏の出で、父五百助盛�E（いおすけもりたか）は薩摩藩の右筆であった。
1863年（文久3年）の薩英戦争では砲弾運搬などの雑役に加わる。
12歳の初陣であった。16歳の時、薩摩藩の藩兵募集に18歳と偽って採用され、薩摩藩兵小銃第八番小隊に編入される。
1867年（慶應3年）藩主島津忠義に従って上京、翌年鳥羽伏見の戦いついで戊辰戦争に軍功をたてる。
1869年（明治2年）、薩摩藩から派遣されて東京に遊学。西郷隆盛の紹介で勝海舟の食客となり、海軍を志望する。海舟から有形無形の指導を受ける。同年9月に築地に海軍操練所（後の海軍兵学寮）が設けられ、薩摩藩推薦の貢進生として入所。
1873年（明治6年）10月、「征韓論」問題で西郷隆盛らが連結辞職し帰郷したことについて、江藤新平の書いた文書を読み、政府に対する不信の意を強めた結果、直接西郷に会って真相を確かめようと鹿児島に帰郷し西郷に会う。この時、西郷から日本の将来にとって海軍がいかに重要なものかを説かれ、納得して兵学寮に戻る。
1874年（明治7年）、海軍兵学寮を卒業、1877年（明治10年）、ドイツ軍艦に搭乗し各地を航海していたので、西南戦争には従軍しなかった。この頃ドイツがニカラグアとの紛争に山本らを使おうとしたので、日本政府は山本らの召喚を要請し帰国する。帰国後津沢鹿助の三女登喜子と結婚、そして海軍中尉に任ぜられる。

高千穂艦長、海軍省主事などを歴任。山本の転機となったのが、1892年（明治25年）11月に開かれた第四回議会での予算案をめぐり、政府提出の予算案は野党の自由、改進両党により軍艦製造費を削減された。予算案は再検討され建艦費は復活されたが、総額として260万円が削減されたので行政整理断行が必要となった。この時既に山本は海軍諸制度の根本改革整理を構想、秋ごろまでに成案を得ていた。大臣官房主事として山本は人事の整理登用に公平を期し、この時斎藤実、出羽重遠、山下源太郎、岡田啓介、名和又八郎ら薩摩以外の出身者が多く登用された。この人員整理問題をきっかけに山県有朋、井上馨、井上毅らと会い、力量を認められることになった。
1894年（明治27年）、日清戦争には大本営にあり活躍、イギリス船高陞号事件では、山本の沈着な処置により日英間に事なきを得た。1898年（明治31年）山県内閣の海軍大臣となり、さらに伊藤、桂両内閣に重任した。西郷従道らのもとで日本海軍の育成に貢献し、薩摩閥の後継者となった。
1904年（明治37年）、日露戦争では東郷平八郎を連合艦隊司令長官に大抜擢するなど、大本営幕僚長として活躍する。
1907年（明治40年）伯爵となる。1913年（大正2年）、大正政変により政友会を与党に第一次山本内閣を組織し、軍部大臣武官制の現役規定を廃止したが、翌年シーメンス事件で退陣。
1923年（大正12年）、関東大震災後の首相となり、その復興に努力したが、虎ノ門事件の勃発により翌年辞職した。