『ベイビー･ドライバー』の歌いだしが，曲の作者が生れた時を活写している。ポール･フレデリック･サイモン(Paul Frederic Simon)はニュージャージー州ニューアークに1941年10月13日の，おそらくは曇り空の朝に生れた。その曲中で描写されている，『聞こえてくる音楽』はラジオバンドのベースプレイヤーの父親，ルイス･サイモンのものだろう。母親ベルは，小学校の教師であった。
　1945年の12月14日に，弟エディが生れた。サイモン一家はニューヨーク，クイーンズの郊外，フォレスト･ヒルズに引越した。フォレスト･ヒルズはクイーンズボロ・ブリッジの東側に位置していた。一家は街路樹の並ぶ広い通りに面したすてきな2階建てのレンガ造りの家に住んでいた。その地域の家は全くそっくりなものが並んでいて，後にポールは，父がよくそのことで混乱していたと語った。
「父はいつも間違った家の道に迷い込んだんだ。そして，『くそっ，ちっとも見分けがつきやしない』って言っていたものだ。」しかしそこはまともで治安がよく，居心地のいい地区だった。サイモン一家はそこで幸せに暮らしていた。そこからたった3ブロック離れたところで，ポールより遅れること3週間，小さな男の子が生まれた。アーティと呼ばれる少年だ。
　アーサー・アイラ・ガーファンクル(Arthur Ira Garfunkel)は1941年11月5日，ニューヨーク市に，3人兄弟の次男として生まれた。長男はアーティより3歳年上で，ジェリーは4歳年下。父親のジャック・ガーファンクルは，自身の製品―梱包材や輸送容器―を販売する成功したセールスマンだった。また発明家でもあった。母親は秘書をしていた。一家の安定性は明らかにアーティに影響している。のちに彼は「自分は自己鍛錬と価値観を両親から受け継いでいる。」と語った。
　ガーファンクル一家はショービジネスには全く無関係だったが，よく歌った。アートの最も古い記憶の1つは，4歳の頃，スタンダード曲『When The Red， Red Robin』に第3音でハーモニーをつけて，それをワイヤー・レコーダに録音しているのを聞いているというものだった。幼いアーティにとってそれはいつでも“快い音”であった。自分の声が再生されるのを聞くと，どきどきした。「その体験こそが，自分を他の何よりもこの業界に引き込んだんだ。歌って，それを録音できる業界に。」アートには自分が良い音程を持っていることがわかったし，通学中，自分の歩くリズムにあわせて歌を口ずさんだりもした。「歩道のひび割れを飛び越しながら，歌って，ある種の練習をしていたんだ。」
　ポールの最初の記憶は，アートのものとは全く違っている。不思議に感じてしまうが，音楽とは全く関係がない。その記憶は1947年にリビングで父親の膝に座り，ラジオの野球中継を聞き，彼の大好きなチーム，ヤンキースを応援しているというものだ。またこんな記憶もある。同年に，父親とエベット球場(注:ドジャースの当時のホーム球場)に行った。ドジャース対ヤンキース戦で，敵チームを応援していると知られないように，顔を見分けられないようにとローン･レンジャーのマスクを被っていた。
　1947年の秋，ポールとアーティはクイーンズ・ヴァレーにある第164公立学校に入学した。その学校では，ベル･サイモンが3年生を教えていた。校長のルイス・リッカはベルを「優れた教師ですばらしい人物だ」と言っている。この段階ではポールとアーティはまだ知り合ってはいない。ポールのアーティについての特筆すべき最初の思い出は，3年生のときに起こったことだ。学校でのコンサートでアーティが舞台に立ち，ナット･キング･コールの『トゥー・ヤング(They Tried To Tell Us We're Too Young)』を歌った。観客席は彼が歌う間静まりかえり，突然教師と子供達の大きな拍手に満たされた。ポールは深い印象を受けた。隣に座っている女の子が，ポールの方に身を乗り出し，「アーティってなんてすばらしい声をしているのかしら。」と言った。アーティは9歳で，一夜にしてスターとなったのだ。ポールがアートの声についての賞賛を失うことはなかった。「アーティはいつだって最高の歌手なんだ。｣
　異論を持つものはほとんどいないと思うが，初めからアーティは歌うのが大好きだった。そしてこのときには既に，非常に熟達した方法で自分の声をトレーニングしていた。テープレコーダーがワイヤー･レコーダーに取って代わった時，ガーファンクル家はテープ･レコーダーを真っ先に購入した家庭の1つだった。アートはレコーダーに向かって歌い，その歌を再生し，自らの声のいかなる瑕疵に対しても厳しくとらえ，上達を目指して耳を澄ました。やがて，アートはさらに野心的になった。「父にこう言ったんだ。『ハーモニーをつけたいから，もう一台レコーダーを買おうよ。』レコーダーが2台になって，僕は有頂天だった。多重録音が出来るようになったんだから。」
　音楽に囲まれて育ったにも関わらず，ポールが歌うことに真剣に取り組み始めたのは，ちょっとした言葉がきっかけだった。10歳頃のある春の午後，ポールはベッドに座り，『不思議の国のアリス』のレコードにあわせて歌っていた。夏の卒業発表会に出ることが決まり，歌を練習していたのだ。ルイス･サイモンはその夜のクラブでの演奏の準備をしていた。タキシードを着て，ポールの部屋のドア口でたたずみ，歌を聞いていた。そして，「いいね，ポール。いい声をしているよ。」その一言が彼の人生を変えたターニング･ポイントだった。「その一言だったんだ。そのときから，自分を“歌える人間”として考えるようになったんだ。」
　ポールの父に対する尊敬は，ポールの人生の始まりを大きく特徴付けていた。色々な意味において，ルイスは息子にとって魅力的なお手本であった。ロックンロールのレコードでも何度か演奏したことのある，成功したベース・プレーヤー。テレビのゲリー・ムーア・ショウやアーサー・ゴッドフリー・ショウでも演奏したことがあった。
　ポールはこう語る。「僕たちは夜更かしして，父がテレビに出るのを見てたんだ。父がとても誇らしかった。父が好きだったし，ミュージシャンとしても好きだった。でも最終的には，父はそういうことにうんざりしたんだと思う。40代になると，父は教育学の博士号を取得して，結局市立大学で教えるようになった。そのことも大好きだけどね。」
　ポールが練習していた『不思議の国のアリス』がポールとアーティを近づけた。1953年の初夏，2人の少年がそれぞれの役を練習していた。アートはチェシャ猫，ポールは“とっても大事な約束に遅れている”白ウサギ。アートが受けたポールの第一印象はこうだった。5月と6月は毎日放課後に練習があった。そこにはとってもとってもおかしな，ポール・サイモンって名前のやつがいたんだ。」　2人は練習後一緒に帰宅するようになり，自分達にどれだけ共通点があるかわかった。2人とも音楽とスポーツという趣味があった。アートはこう語った。「どちらもグループに向いたタイプじゃなかったんだ。そのことが僕たちを近づけた。ある意味では，アウトサイダーであることが理由だったんだ。」
　日曜の午後には，ポールはアートの家まで歩いていった。雨が降っているときには，家の中でテープに声を録音した。「ディスク・ジョッキーごっこをしたこともあるんだよ。ポールはテッド・ハワード，僕はアート・マイケルズって名乗ってね。」2人は11歳にして既にチームとなりつつあった。
　1953年の秋，ポールとアーティは優秀な生徒向けの飛び級課程の一環として，パーソンズ中学に入学することになった。2人はそこで2年間過ごすこととなっていた。彼らはそこが大嫌いだった。学校は自分達が住んでいるところから徒歩20分ほどの，荒っぽい地域にあったのだ。
　最初の1年は悲惨だった。通学途中いたるところで地域の少年の襲撃を受け，教科書をフェンスの向こうに投げられたり，昼食を買うお金を取られたり，勝ち目のない喧嘩をしかけられたりした。ポールとアーティはその少年達を恐れた。このことも，2人の友情を固めた要素の一つかもしれない。
　1954年の秋に，2人は13歳になった。ユダヤ系の少年にとって大切な年齢で，バル・ミツバーの年である。これは伝統的に，13歳の誕生日に一番近い土曜日に行われる。シャイな若者にとっては苦しい試練である。というのは，儀式を受けるものは親戚や友人の前に立ち，自分にしてくれたことに感謝しなければならないからだ。しかし，誇り高いものでもある。両親から感動的なスピーチを送られ，自分でも，この厳粛な言葉「今日，私は成人した。(Today, I am a man.)」で始まるスピーチをするのだ。
　アートはバル・ミツバーを受けることを全く楽しまなかった。「自分が注目の的になると本当に居心地が悪くて。歌うのは大好きだったけど。自分の儀式の時には，先唱者も務めたんだよ。」アートはハイ・ホリディ(ユダヤ教の正月)の聖歌隊でも歌っていて，そのことによりハーモニーとブレス・コントロールの技術が身についていった。
　対照的にポールは，地域社会の宗教的な生活にあまり参加していなかった。「父は全然そういうことを信じていなかったんだ。でも母は信仰深い家庭の出だった。だから毎年シナゴーグに行っては，帰宅してこう嘆いていた。『一人で座っていたのなんて私だけだったわ。』」
　青春とともに，新しい興味の対象ができた。ロックンロールだ。当時，rock'n'rollがセックスを婉曲に表したスラングであるとか，黒人のリズムアンドブルースの流れを汲む音楽だということをわかっていたものは白人にはほとんどいなかった。50年代初期には数名の黒人アーティストが人気を博していたとはいえ，音楽業界には多くの人種差別があった。ある意味では，ロックンロールが黒人音楽(注:原文ではback musicとなっているのですが，black musicのミススペルでは？)を主流へと組み入れたのだ。
　アラン・フリードは，黒人音楽を取上げた数少ない白人のDJであった。彼自身が「ロックンロール」という言葉を発明したわけではなかったが，その言葉を有名にしたのは確かだ。アートはラジオにあわせて歌い，スタイルを学んでいった。特にヒルトッパーズ，クルーカッツ，フォー・エイシズなどのグループにあわせることが多かった。アートは常にフランキー・レインやエディ・フィッシャーのようなソロの人気歌手よりも，このようなグループに自分を重ね合わせていた。時々はマーティン・ブロックがDJを務める『Make Believe Ballroom』を聞くこともあった。「でもあまりマクガイア・シスターズにあわせて歌いたいとは思わなかった。」
　アーティにとって，ロックンロールは，アラン・フリードがクリーヴランドからニューヨークにやってきて，1954年にラジオ局WINSで，毎夜7〜11時に番組『ロック・アンド・ロール・パーティ』を放送したときに始まった。その年，アメリカはその番組に夢中だった。アーティは，偶然その番組のことを知った。「自分の机をあけたら，クラスの男の子の，ある女の子への伝言が書かれたメモが入っていたんだ。『今夜のアラン・フリードの"ロックン・ロール・ショー"を聞いてくれ。君のためにリクエストを出してあるんだ。』って書いてあって。好奇心に駆られて僕も番組を聞いてみたらあっという間に夢中になってしまった。ポールも夢中になっていた。」　2人とも毎晩番組を聞き，どちらもその活気に満ち溢れ，制約のないスタイルに魅了された。
　そして，ポールが自分の青春時代を捧げるアイドルとなる歌手の名前を知ったのもこの頃だ。エルヴィス・プレスリーである。ウォールドバウムスーパーマーケットの駐車場で待っているときに，車の中で初めて聞いたのだ。エルヴィスはポールに多大な影響を与えた。若者の多くと同じように，ポールはエルヴィスのようになりたいと心から願った。後にこのように語っている。「エルヴィス・プレスリーを見て，13歳でギターを始めたんだ。」
　もちろん，プレスリーの，あからさまでむきだしのセクシャリティと，彼を真似ようとする13歳の少年のきまりの悪さには大きな隔たりがあった。ポールは自分の限界に正直にむきあった。「僕はエルヴィス・プレスリーが大好きだ。でも自分に言い聞かせていた。『エルヴィス・プレスリーには絶対，絶対，なれない』って。」この憧れは，『ワン・トリック・ポニー』でわかるように，後になっても続いた。映画で，ポールは，エルヴィスとその音楽に取り付かれたジョナを主役に据えた。アーティによると，「ポールは今までずっとエルヴィスを好きでいつづけていると思うよ。尻ポケットからするっと取り出すように，エルヴィス・プレスリーのスタイルを身につけているしね。」
　不器用な若者であることを受け入れるのは，いつだってつらいものだ。音楽は若いポールにとってそこから脱出する手段であった。「一人で座って演奏しながら夢見ていた。そうするといつでも幸せな気分になった。」自分の欠点と見なすものを，こう自分に言い聞かせることで受け入れた。「これからはエルヴィスがすることは絶対しない。自分自身でやることを何か見つけるんだ。」ポールの母親も強さの大きな源であった。「母はものすごく支えになってくれた...僕の人生の中でも第一級の，僕を元気付けてくれる人なんだ。母と一緒だと，自分が必要としているものを真剣に受け止めても大丈夫だって気分になるんだ。なぜなら母がそうしているんだから。12〜3歳くらいまでには，ギターが弾けて，曲を作れるんだから，自分は特別なんだって感じるようになった。」
　アートにとっても，ロックンロールはターニング・ポイントだった。「全部大好きだった。リトル・リチャード，ファッツ・ドミノ―レコードがだめになるくらいかけた。あのサウンドが持つ味わいが好きだった。『アース・エンジェル』にはすばらしい味わいがある。ジョニー・エースの『Pledging My Love』にもね。」ティーンエイジ特有の熱狂をもって聞き入りながらも，アートは彼らのパフォーマンスと，自身の歌とを比べるようになった。「音楽を聞きだした最初の頃から，僕たちは彼らに対抗意識をもっていたと思う。少なくとも僕はそうだった。曲を聞いてはこう言った。『自分だって，全く同じことができるさ。』って。」