1873（明治6）年愛知県葉栗郡に生まれる。
幼少より絵の才能を発揮し、14歳で望月玉泉に入門、その後、幸野楳嶺、橋本雅邦に師事する。
1898（明治31）年日本美術院創立とともに参加。
1907（明治40）年の文展設立の際には審査委員に任命される。以後、国民的画家としての地位をゆるぎないものとした。
戦後は1944（昭和19）年から1957（昭和32）年に亡くなるまでの10余年を青梅市御岳で過ごした。 奥多摩の自然をこよなく愛し、この地で数々の名作を生み出した玉堂の人柄は土地の人々からも慕われていた。
没後、この御岳の地に玉堂の美術館を建てようとの声が上がり、寄付金を募って1961（昭和36）年に河合玉堂美術館が開館した。 15歳ごろの写生から84歳の絶筆までの作品や愛用品が展示され、奥には玉堂の画室が再現されている。
日本の自然の風景を描き続け、代表作に「渓村春麗」「彩雨」「山水観月」「鵜飼い」などがある。