1936年，戴森通过竞争激烈的考试升入了父亲所执教的温彻斯特学院，直至1941年毕业。他与隆科-希金斯兄弟（H. Christopher Longuet-Higgins，Michael S. Longuet-Higgins）、赖特希尔（J. Lighthill）一起结成了“四人帮”，他们后来都在各自的科学领域做出了卓越的贡献，都入选为英国皇家学会会员[6]。克利斯朵夫·隆科-希金斯（1923-2004）是理论化学家，同时也是音乐认知学家。迈克尔·隆科-希金斯（1925-）是数学家和海洋学家，曾与几何学家考克斯特（H. S. M.Coxeter）合作过关于均匀多面体的著名论文[7]。赖特希尔（1924-1998）是著名的流体力学专家，曾担任狄拉克（P. A. M. Dirac）与霍金（S. Hawking）之间的卢卡斯数学讲座教授[8]。

　　温彻斯特学院不赞成逼迫有天赋的孩子提前学习高等数学与科学。教师认为学生自主地学习会更好，因而有意地放任学生，学生有许多时间可自由支配，戴森和其他男孩主要靠自学。戴森说，“四人帮”之间相互学习的收获比从老师那里学到的还要多。

　　在戴森看来，学院设有极好的评奖机制。对每个年级，学院每年举行三次竞赛，优胜者将获得三十先令，但必须在学院的书店里花掉。戴森经常在竞赛中获奖，因而拥有了自己的藏书。从1937年至1940年，他一共赢得了19本书。这些书对他的兴趣发展及智力培养起到了决定作用，有些书甚至成为他一生的珍爱。其中最有影响的几本是：贝尔（E. T. Bell）的《数学精英》[9]、哈代（G. H. Hardy）与赖特（E. M. Wright）合著的《数论导引》[10]、朱斯（G. Joos）的《理论物理》和拉曼纽扬（S. Ramanujan）的《数学论文集》。

　　戴森的书架，来源：

　　戴森为贝尔的数学科普书《数学精英》所深深吸引。他曾回忆道[11]：

　　十四岁时我读了贝尔的《数学精英》。该书记载了许多伟大数学家的传奇故事。贝尔是加州理工学院的数学教授，同时也是很有天赋的作家。他令人信服地向读者介绍了数学界的精英。他懂得如何去打动情感敏锐的青少年的心弦。贝尔的书造就了整整一代的年轻数学家。尽管书中许多细节与事实不符，但主要情节是真实的。在贝尔的笔下，数学家是有血有肉的人，也会做错事，也有瑕疵。数学俨然成了各种各样的人都可以涉足的魔法王国。该书传递给年轻读者的信息是：“如果他们能做到，为什么你就不能呢？”

　　贝尔的书激发了戴森成为数学家的抱负。他甚至有了这样的梦想，有一天要证明出著名的黎曼假设（Riemann Hypothesis）。

　　1939年9月3日，英国首相张伯伦被迫对希特勒宣战，英国加入了第二次世界大战。圣诞假期里，为了弄懂爱因斯坦的相对论，戴森开始自修一本比较高深的数学书，皮亚焦（H. T. H. Piaggio）的《微分方程》，是他同年在学校获得的奖品。戴森担心他可能会在战争中丧生，那样的话他甚至可能比贝尔书中最悲惨的数学天才伽罗瓦（É. Galois）还要悲惨，因为伽罗瓦毕竟在决斗之前就已经创造出不朽的数学成就。

　　当时，他满脑子里只有伽罗瓦决斗前的遗言“我没有时间了，我没有时间了。”因此，戴森将所有的时间都投入到数学中，每天从早上六点学到晚上十点，除了中午休息两个小时，每天平均学习长达十四个小时。

　　虽然戴森自己乐此不疲，但却令他的父母很担忧。母亲引用了乔叟（G. Chaucer）笔下的牛津教士的话“一心专注求学问，无暇他顾出一声”，并警告他，长此以往将要生病甚至损坏大脑。而父亲则一再建议他放下书本，一起出去帮他干点农活以暂时放松一下。但戴森置若罔闻，继续沉迷于皮亚焦的《微分方程》中。圣诞假期快结束时，戴森已经完成了书上的近700道习题，差不多要大功告成了，因此他愿意抽空陪母亲一起散步。对此，母亲已祈盼多时了，而且早有准备。母亲当时说的话对戴森产生了深远的影响。我们从《宇宙波澜》[12]中引述如下：