父は彫刻家石工だった。ドレスデンで学んだ後、アメリカに渡りシカゴの高層ビルや実用的なデザインを見て大きな影響を受けた。1896年の帰国後は、設計より執筆活動が先行した。様々な建築様式で飾られたウィーンの都市を「ポチョムキン都市」と皮肉ったのを始め、「装飾は罪悪（犯罪）である」と宣言した。ロースによれば、装飾は原始人の刺青と同じようなもので、装飾の多さは文化水準が低いことを示すものである。「装飾罪悪論」は、建築家オットー・ワーグナーの「芸術は必要にのみ従う」という合理主義・機能主義の主張を更に徹底させたものと言えるが、こうした過激な言論で「ウィーン分離派」や「ウィーン工房」（ヨーゼフ・ホフマン）の装飾性を攻撃した。

代表作となったロースハウス（1909-1911年）は、装飾をそぎ落とした建物で、モダニズム建築の先駆的な作品である。現在見ると、低層部に列柱が並び古典主義的な印象を受けるが、ウィーンの王宮前で歴史的建造物が並ぶ一角に建設されたため、当時は激しい非難を浴びた。そのため建設が一時中断されたが、最終的には窓辺に花壇をつけることで建設が許可された。

1912年にアドルフ・ロース建築学校を設立。第一次世界大戦後の1921年からはウィーン市の住宅建設局で主任建築家になり労働者住宅の設計にも尽力したが、自身の設計案が却下されたことをきっかけに1924年退職、翌年パリに居を移した。晩年は絵を描いて過ごしたが、死の直前に全て焼き捨てたという。