Dari awal, minatnya menjauh dari ideal kelas menengah profesional. Di masa remajanya, dia membaca puisi Rimbaud dan memoar jazz hipster terkenal Mezz Mezzrow. Dia mendengarkan Bessie Smith, Jimi Hendrix, dan Led Zeppelin; berpakaian dengan selendang Afrika Utara; dan pernah terkenal mengatakan di meja makan keluarga, sambil memegang kepala, “Aku tidak akan pernah bekerja!”
Meskipun sangat cerdas, dia dipecat dari satu sekolah menengah dan drop out dari sekolah lain, lalu mulai mengambil pekerjaan paruh waktu. (Selama bekerja sebagai pengemudi ambulans di Bandara Charles de Gaulle, dia mendorong kursi roda Jean-Paul Sartre dan Charles Mingus.) Ketika tidak bekerja, dia memainkan bass di band rock dan bergabung dengan teman-temannya untuk memulai diskotek dan restoran, yang mereka buka selama dua tahun. Dia dan salah satu pendirinya, Christine Corbet, akhirnya menikah.
Istrinya masih hidup, demikian juga putri mereka, Céline Allard, dan saudaranya, Jean-Marc. Putra Mr. Allard, Pablo, meninggal sebelum dia.
Setelah mengambil pekerjaan di departemen musik klasik di Fnac, jaringan rekaman dan elektronik Prancis, dia dipekerjakan di PolyGram France di divisi klasiknya. Ketika para eksekutif perusahaan memutuskan untuk memulai departemen jazz, dia mengingatkan mereka bahwa dia tidak tahu banyak tentang musik klasik tetapi sangat menyukai jazz. Mereka menugaskannya untuk memulai departemen tersebut.
Pada tahun 2007, dengan PolyGram sekarang dimiliki oleh Universal Music Group, Mr. Allard dipromosikan untuk mengelola semua divisi rekaman dan penerbitan Universal Music France. Dia merelansir Impulse! Records, label jazz yang pernah kuat namun telah tidak aktif di Universal, pada tahun 2014, dan merilis album oleh Henry Butler-Steven Bernstein Hot 9, pianis Sullivan Fortner dan Rodney Kendrick (pianis pendamping mantan Ms. Lincoln), Mr. Haden dan lainnya.
Dia meninggalkan Universal pada tahun 2017 untuk memulai perusahaannya sendiri, Le Bureau des Artistes, yang bekerja terutama dengan musisi pop Prancis dan hip-hop. Dan pada akhir 2022, dia memulai label independen, Artwork Records.