歴史的には５番街の黄金時代は１９世紀半ばから１９２０年代だと言われる。　当初はワシントンスクエアから２３丁目あたりにかけてアメリカンドリームの成功者たち、つまりは 「ニューマネー」を代表するアスター、ヴァンダービルド、ロックフェラー、グールド、 カーネギーなどの一族の 大邸宅が建ち並んだ。　５番街南は王宮のような豪邸の林立を見るが、それから徐々に北へと発展していく。　その後背地となるマディソンアベニュー沿いに洋服仕立て屋などができ、今日の ブルックスブラザーズ、ポールスチュアート、Jプレスなどとなった。

世界に冠たる高級商業エリアとしての５番街神話は１９２０年代以降に確立され、６０年代を最盛期とする説が有力だ。最盛期のこの通りは、環境に調和した重厚な商業ビルの間に教会や社交クラブ、豪華ホテル、邸宅があり、エレガント、シック、コンサーバティブが形容詞だった。　ロックフェラーセンターの一連の超高層ビル群も、５番街の通りからはセットバックした方式で建てられ、北 から南を望む５番街のヴィスタ（見晴らし）はエンパイヤステートビルを頂点に、逆遠近法で 整合されていた。

かつて５番街のエレガンスを支えた力の一つは、「フィフスアベニュー・アソシエーション」だった。　この組織は平たく言えば地域商店街であり、ワシントンスクエアから９６丁目までの南北５番街と、ハドソン、イースト両河川までの東西５７丁目のほか、隣接するマディソン、 パークアベニューまでを管轄しこの地域での美観を統制保護してきた。

同アソソエーションは古くは、この一帯での地下鉄、鉄道の乗り入れ、駐車場敷設を拒否し、看板 ・ネオンサインを規制し、歩道の靴みがきに反対し、ショーウィンドウー・ディスプレイにも口を挟んできた。　もちろん「Going out of Business」の看板規制、トラックなど大型車の乗れ入れ規制も 試みてきた。

時代とともにこの規制にムリが出てきたのは周知のとおりだが、今日でも、南北５番街を通してニュ-ズスタンドがないのはこの規制が生きているからだ。　「いや、４２丁目にニューズスタンド ある」という人はよく観察していただきたい。　５番街を挟んで４２丁目北角両サイドにあるスタンド はいずれも 辛うじて、５番街のヴィスタからはずれている。

ペドラーと呼ばれる露天商も５番街は規制しているが、ごく最近までは傷い軍人関係者に 書籍販売などで特別に行商を認めていた。　しかしその趣旨が徹底しなかったところから不法露天商が増え、いまはすべて規制している。　ニセ・ブランドの時計、Tシャツなどの路上販売はもちろん不法、徹底追放の構えだ。