創造的な子どもで、音楽や絵画を好んだ。特に母方の祖母と薪ストーブの燃料用木くずを使って作った台所の床上の「小さな町」は、自身の創作の原点だと語っている。また、波型鉄板や金網、合板などの工業用素材の使用は、10代の放課後や土曜日に手伝った祖父の金物店での経験が影響を与えている。トロントの高校を卒業し、1947年に、家族とロサンゼルスに移住。トラック運転手や親戚の事業の手伝いをしながら、ロサンゼルス・シティー・カレッジの夜間クラスに通い、美術と建築を学んだ。また、南カリフォルニア大学の時間外プログラムにも通い美術史や陶芸を学んだ。1952年、最初の妻アニタと結婚。1954年に南カリフォルニア大学より建築学士号を取得する。同年、第一子の誕生に際して、反ユダヤ主義の影響を避けるために姓をユダヤ系のゴールドバーグから現在のゲーリーに変更する。ハーバード大学デザイン大学院で都市計画を1年間学んだ。その後、ロサンゼルスに戻り、ペレイラ＆ラックマン事務所を経て、大学時代に働いていたヴィクター・グルーエン事務所に所属する。グルーエン事務所には1960年まで所属し、住宅から商業施設、オフィス、複合施設など幅広く設計を手がけた。

1961年、友人の誘いもあり、スティーヴス邸の設計料を元手に、妻と幼い2人の娘と共にパリへ移った。パリでは、建築家のアンドレ・ルモンデ（André Remondet）の下で働き、1967年に他の若い建築家と事務所を設立する。