1897年5月22日、東京王子に王子製紙専務取締役藤山雷太の長男として生まれる。
慶應幼稚舎時代、当時の官立崇拝の強い風潮の中、府立一中を受験するも失敗、慶應義塾普通部に進学した。
更に慶應義塾政治科（現在の慶應義塾大学法学部）に進むが1918年に中退し、父が築いた藤山コンツェルンの後継者として大日本製糖社長となる。
その後、日東化学工業（現在の三菱レイヨン）社長や日本金銭登録機（現在の日本NCR）社長などを歴任した。
1941年に僅か44歳で日本商工会議所会頭に就任した。第二次世界大戦下の1943年には大正製薬創業者の石井絹治郎の葬儀委員長を務めた。
戦後の連合国軍の占領下で公職追放となるが1950年に復帰。1951年に日商会頭を再任され、その後日本航空の初代会長にも就任。その一方で経済同友会代表幹事などを歴任した。
1957年の岸内閣発足によって、民間人ながら当時は盟友だった岸信介に請われ、外務大臣に就任し慶應の後輩で自社社員の斎藤文夫を秘書として採用。 同時に日商会頭を初めとする202にも及ぶ経済界の要職を辞任した。
翌1958年の第28回衆議院議員総選挙には自民党公認で、横浜市を基盤とする神奈川県第1区（当時は中選挙区制）から衆議院議員に当選（現在まで唯一人の現職民間人閣僚にして、新人代議士候補である）。
外相として、日米安保改正に取り組み、日米地位協定制定などに奔走した。

岸退陣後は総理大臣の座を目指して1960年7月の自民党総裁選にも出馬するも敗北（池田勇人が総裁に当選）。
この総裁選を機に星島二郎・江崎真澄・小泉純也・福家俊一らを擁して岸派から分派、愛正会（藤山派）を結成した。
その後は自民党総務会長を経て経済企画庁長官などを歴任。
その後総裁選に計3度立候補をするも尽く敗北し、派閥維持の費用などで巨額の私財を政治につぎ込む格好となった。結果として藤山コンツェルンは解体されてしまい、資産の多くを失った。
その後、藤山派が細っていくのと同時に、権力闘争にも興味を示さなくなったといわれる。
その傍ら親中派議員として1970年12月に日中国交回復議員連盟を結成し、政界引退後も国際貿易促進協会会長を務めるなど松村謙三・古井喜実らと共に日中国交回復に心血を注いだ。
「藤山現代中国文庫」と言われた中国近現代史料のコレクションを所有し、母校慶應義塾大学に寄贈する話がまとまっていたが、1982年2月に発生したホテルニュージャパン火災で、ホテルに構えていた事務所も巻き込まれコレクションも焼失した。
1967年に勲一等旭日大綬章を受章。
1976年9月、総選挙に出馬せず政界を引退。連続6回当選。
1985年2月22日死去。87歳没。没後勲一等旭日桐花大綬章が追贈された。