1871年，卢瑟福诞生在新西兰的一个农村。他家人口很多，卢瑟福从小一边上学一边帮着家里干农活。
少年时的卢瑟福是个很爱动脑筋的孩子，尤其喜欢自己动手做些小玩意。他曾经“发明”了一种可以发射“远射程炮弹”的玩具火炮，还巧妙地设计出增加炮击距离的方法。有一次，家里的大钟坏了，卢瑟福便动手把钟拆开来，他的兄弟姐妹都认为一定会受到父母的责罚，但卢瑟福竟把钟修好了，而且以后还走得很准。后来，他还自制了一架照相机，自己拍摄，自己冲洗，成了个摄影迷。
24岁时，卢瑟福获得一笔奖学金，来到英国剑桥大学凯文迪许实验室进行深造。从此，他开始了在英国的科学研究生活。37岁那年，由于他对于放射性现象研究的杰出成就，他获得了诺贝尔化学奖。但他并没有满足，决心对原子进行更深入的探索。
早在古希腊时代，就有人提出，自然界天地万物是由原子构成的。长期以来，人们一直认为原子是物质最小的单位，是不可分割的，它的形状像个实心小球。而此时随着科学的发展，一些科学家认识到原子内部还有着更小的单位，卢瑟福的老师汤姆逊就持这一种观点。他们认为，原子的模样像西瓜，瓜瓣就像是原子内均匀分布的正电荷，而瓜子就是电子。“原子果真像老师所说的那样吗？“卢瑟福想通过实验来探究一下自己一直思索的这个问题。
他想，如果原子果真像个西瓜，那么，如果用比原子更小的粒子作“炮弹”来轰击它，就一定很容易地穿过它而笔直地前进。于是，他决定用一种叫做“a“的粒子做“炮弹”，来轰击原子，看看会发生什么情况。
然而，要做这个实验并不是一件容易的事。除了要设计一套专门仪器外，实验本身就像是用机关枪扫射几个散落在茫茫草原中的小核桃一样的困难。
在年轻的助手和几个学生帮助下，卢瑟福终于设计出了一个试验装置：
一个“a”射线的放射源，就像一挺机关枪，一个金属箔作靶子，就像放核桃的草地，在它的旁边放一个硫化锌的荧光屏，屏后安装一架显微镜，来观察实验的情况。
实验开始了，发射源发射出的“a”粒子“炮弹”，以每秒2000米的速度穿过金属箔，在漆黑的实验室里，荧光屏上出现了点点闪光。
“这是怎么会事呢？”学生们问道。
“这说明绝大多数a粒子穿过金属靶子飞走了，只有个别a粒子被弹了回来。”卢瑟福说。
可这意味着什么呢？卢瑟福陷入了沉思。
实验使卢瑟福感到惊叹，他开始了连续不停的实验和思考，像着了魔一样整日整夜地呆在实验室里。管理实验大楼的工友搞不清他是否离开过，他的妻子儿女也难得见他一面。一天清晨，卢瑟福兴冲冲地冲进了办公室，对着正在整理东西的助手，大声地说道：
“我知道了，我知道了。原子到底是什么样子我知道了。”略一停顿，他又说：“它大致可以设想为一个小的太阳系。”助手怔怔地看着他，耸了耸肩说：
“什么？您是说我们在一个看不见的世界里当了普罗米修斯吗？——普罗米修斯是希腊神话中为人类送来火种的神。“是的，就像是太阳系。”卢瑟福继续解释到，“原子既不是像小实心球，也不像西瓜，它的中心有个小的、带阳电的核，而带阴电的电子在围绕着这个核飞转。这就如同：原子核是太阳，电子就像行星，绕着太阳转……
“那么，a粒子被弹回来的现象怎么解释呢？”助手问他。“这是因为原子内部大部分是空隙，所以比原子更小的粒子能很容易穿过；又因为当中有个核，a粒子碰上这个坚硬的核就会被弹了回来。
卢瑟福终于打开了原子神秘之宫的大门！他的这一崭新的原子结构理论，具有划时代的意义。从此，原子学和原子核物理学便诞生并发展起来。
1919年，卢瑟福用人为的方法第一次分裂了原子，他用a粒子轰击氮原子，使它变成了一个氧原子和一个氢原子。1926年，在他的指导下，两个年轻研究人员瓦耳顺和科克拉夫特设计出了一架巨型原子捣碎机，用这架仪器，他们把轻金属锂转变为氦。
一时间，报纸新闻把这一消息迅速传遍了全球。
一些人们惊慌地说：“原子分裂了，世界是否已经到了末日？”“人工可以制造黄金了，货币就要贬值！”
但是，科学家们清醒地预感到：世界迎来了一个新的时代——原子时代。
1933年，62岁的卢瑟福仍在不知疲倦地进行着研究工作。就在这一年，他又发现和命名了质子——氢原子核，并预言核内存在着中子。
由于他卓越的成就和影响，多种荣誉和奖赏不断向他涌来。英国皇家学会授予他最高奖章——科柏莱奖章。几十所大学和科学团体争相授予他荣誉学位和学籍。在巨大的荣誉面前，卢瑟福仍然保持着谦虚的态度，从不夸耀自己的成绩。1937年10月，卢瑟福由于长期紧张地工作，积劳成疾，在英国剑桥医院与世长辞。
为纪念这位杰出的科学家，英国皇家学会在一所实验室门前，为他雕塑了一座半身铜像。每年都有很多人来到他的墓碑前，向这位揭开原子秘密的先驱者表示深深的怀念与敬意。