別名 古川緑波とも本名は古川 郁郎（ふるかわ いくろう）。
元東京帝国大学総長加藤弘之男爵の長男にあたる加藤照麿男爵の六男として東京市麹町区に生まれる。
生後間もなく「嫡男以外は養子に出す」という父の方針により、義理の叔父（父の妹の婿）で満鉄役員の古川武太郎の養子となる。幼少期より文才に優れ、のちに芸名として用いた「緑波」の号は尋常小学校三年生の頃に自らつけた筆名である。
旧制早稲田中学校在学中の16歳の頃からキネマ旬報などの映画雑誌に投稿を始め、早稲田第一高等学院に進学後、キネマ旬報編集同人となる。早稲田大学英文科在学中に菊池寛に招かれ、文藝春秋社に雑誌『映画時代』の編集者として入社した。
1935年5月、東宝の前身PLCに引き抜かれる。劇団名も「古川緑波一座」と改め、7月には有楽座に出演して丸の内に進出。浅草を根城としブルーカラーをその支持基盤としたエノケンに対し、ロッパは大手企業や外資系企業を中心としたオフィス街である丸の内のホワイトカラー層から支持を得ることになる。
第二次世界大戦中は、当局による度重なる検閲や空襲による自宅の焼失などの苦難を乗り越え、『花咲く港』『歌と兵隊』などの舞台や映画出演、戦地慰問公演などで活躍し、人気を保った。

一方では、劇団員や共演者からは周囲に専横を振るう「天下の暴君」としても知られ、多くの者が「あんなに怖い役者はいなかった」と述懐している。俳優としての下積みの苦労を知らずにトップスターになったこともあり、勝手気ままなところが多分にあった。わがままで取りつく島もないような性格を物語る逸話も多く残る。宴席で上座がわからず「私はどちらに座ればよろしいでしょう?」と恐る恐る伺いを立ててきた下っ端の役者に対し「おまえが座ればどこでも下座だ」とにべもなく答えたり、戦時中の食糧統制下帝国ホテルのグリルでさえ一人一食の割当があったが、巨漢の緑波は二人分を食べるためにわざわざ付き人を連れて行き、その付き人には一口も食べさせないまま側に座らせていたりと、枚挙に暇がない。
それでも榎本健一と舞台や映画での共演やアメリカ映画出演が持ちかけられたりして話題を集めた他、1954年、社団法人日本喜劇人協会設立に際し、柳家金語楼とともに副会長に就任（会長は榎本健一）するなど、喜劇界の重鎮としての存在感を示していた。また、脇役中心とはなったものの、ラジオや映画出演は依然多く、日本テレビ開局時より放映開始された連続テレビドラマ「轟先生」では、主人公を演じて茶の間の人気を博し、気を吐いていた。
しかし、このころから持病の糖尿病（美食・鯨飲馬食が祟った）の悪化に加え、あらたに結核を患うなどして、体調の悪化と戦いながらの活動が続いた。さらに、銀行を信用せず、常に現金を持ち歩いてそれを盗まれたり、大物総会屋の上森子鉄（キネマ旬報のオーナーでもあった）に取り込まれ、出演料を騙し取られるなどして、多額の借金を抱えた。
病気と闘いながらも、生活の為に舞台活動を続けたが、1960年11月の大阪・梅田コマ劇場公演『お笑い忠臣蔵』出演中に倒れ、翌1961年1月死去した。晩年の彼の日記には、日々喀血と呼吸困難に苦しめられる様子が克明に描かれていた。ロッパ死去の報を伝える新聞記事の扱いは小さく、往年の人気を知る者には寂しい哀れな最期だった。