ジミー大西は、言葉を覚えるのが非常に遅く、小学2年生まで喋れませんでした。言葉が喋れなかったこともあり、幼少期は1人で積み木や電車ごっこをして遊んだそうです。

小学校時代にマキちゃんという女の子に初恋をしており、始めて喋ったのは「好き」という言葉だったそうです。小学校2年生まで喋れませんでしたが、初恋がきっかけで喋れるようになり、小学校3年生からは友人も出来たそうで、友人が出来たのはマキちゃんのおかげだと語っていました。

勉強が全くできなかったため、母親からは「ひでちゃんの成績はマラソンと一緒やね。1、2、1、2」と言われたことがあるようです。また、そろばんを習っていましたが級を取ることが出来ないほど、勉強が苦手だったようです。

勉強は苦手でしたが運動神経はよく、小学校時代は、ボーイズリーグの強豪である八尾フレンドに所属していました。八尾フレンドの4年後輩には桑田真澄がいます。

中学時代は野球部と柔道部に所属し、活躍していたようです。

中学では「ガッツ石松が試合負けた時の顔」という長めのあだ名が付けられたことを番組内で明かしていました。

野球部での活躍が評価されスポーツ推薦で大阪商業大学堺高等学校に進学しました。

スポーツ推薦で入学したジミー大西は、硬式野球部に入部しました。当時の野球部の監督は読売ジャイアンツに在籍していた山本功児の兄で、怖かったそうです。

数式を用いたサインが覚えられず、試合中にバッターボックスでサイン数式を地面に書いて計算し、監督に怒られたこともありました。

怒られてばかりだったようで、試合に出してもらえず、高校1年の夏から引退するまでマネージャーとなりました。

高校時代は、よくいじめに遭っていたようです。当時いじめっ子だった同級生に「次に来る快速電車に乗りたいから何とかして停めろ」と脅され、裸で線路に突き落とされたジミー大西が身を挺して電車を緊急停車させたことがあり、その後すぐにジミー大西は駅員に捕まり、学校に連絡されて停学処分を受けることになりました。

この事件のせいで、ジミー大西の両親は国鉄から請求された賠償金（数百万円）を借金をしてまで支払わなければならない破目になってしまいました。