1862年（文久2年）、土佐国佐川村（現、高知県高岡郡佐川町）の裕福な商家に生まる。
幼少のころから植物に興味を示していた。
10歳より寺子屋、さらに塾で学び、その後12歳で小学校へも入学したものの2年で中退し、好きな植物採集にあけくれる生活を送るようになる。小学校を中退した理由として、酒屋だったので、小学校で学業を修め、それで身を立てることは全く考えていなかったからだと述べている。
酒屋は祖母と番頭に任せ（両親は早くになくなった）、地元の学校の教師などから英語を学び、気ままな生活を送っていた。植物の採集、写生、観察など研究を続けながら、欧米の植物学も勉強し、当時の著名な学者の知己も得るようになる。書籍や顕微鏡が欲しくなるなど研究心が固まった牧野は19歳の時、お供を2人連れて上京した。
22歳の時には東京帝国大学（現東大）理学部植物学教室に出入りするようになり、やがて25歳で、共同で『植物学雑誌』を創刊した。その後、26歳でかねてから構想していた『日本植物志図篇』の刊行を自費で始めた。今で言う植物図鑑のはしりである。それから牧野は東京と郷里を往復しながら研究者の地位を確立していくが、同時に家産も傾いて行った。

27歳で新種のヤマトグサに学名をつけ、『植物学雑誌』に発表した。 1890年（明治23年）、28歳のときに東京の小岩で、分類の困難なヤナギ科植物の花の標本採集中にみなれない水草を採集する機会を得た。これは世界的に点々と隔離分布するムジナモの日本での新発見であり、そのことを自ら正式な学術論文で世界に報告したことで、世界的に名を知られるようになる。
31歳で帝国大学理科大学の助手となったが、その時には生家は完全に没落していた。その後も各地で採集しながら植物の研究を続け、多数の標本や著作を残していく。ただ、学歴の無いことと、大学所蔵文献の使用方法（研究に熱中するあまり、参照用に借り出したままなかなか返却しないなど）による研究室の人々との軋轢もあり厚遇はされず、経済的にも苦しかった。
1926年（大正15年）には津村順天堂（現ツムラ）の協力を得て、『植物研究雑誌』を創刊した。
1912年（大正元年）から1939年（昭和14年）まで東京帝国大学理科大学講師。
65歳で東京大学から理学博士の学位を授与され、同年に発見した新種の笹に翌年亡くなった妻の名をとって「スエコザサ」と名付けた。78歳で研究の集大成である「牧野日本植物図鑑」を刊行、この本は改訂を重ねながら現在も販売されている。
1950年（昭和25年）、日本学士院会員。
1951年（昭和26年）、89歳のとき、第一回の文化功労者となる。1953年（昭和28年）、東京都名誉都民。
1957年（昭和32年）1月18日、94歳で死去、没後従三位に叙され、勲二等旭日重光章と文化勲章を授与された。