1818年12月24日詹姆斯·普雷斯科特·焦耳出生于英格兰北部曼彻斯特近郊的索芙特，他们家在索尔福德的新贝利街，与他家的啤酒厂毗邻。他的父亲是本杰明·焦耳(1784-1858)，一个富有的酿酒师。焦耳在年幼时因为身体健康原因一直在索尔福德附近彭德尔伯里的一个家庭学校里就学。焦耳自幼跟随父亲参加酿酒劳动，没有受过正规的教育。青年时期，在别人的介绍下，焦耳认识了著名的化学家道尔顿。道尔顿给予了焦耳热情的教导，教给了他数学、哲学和化学方面的知识，这些知识为焦耳后来的研究奠定了理论基础。而且道尔顿教会了焦耳理论与实践相结合的科研方法，激发了焦耳对化学和物理的兴趣，并在他的鼓励下决心从事科学研究工作。
1834年，16岁的焦耳和他的哥哥本杰明被送到曼彻斯特文学与哲学学会的道尔顿的门下学习。焦耳兄弟俩跟随道尔顿学习了两年算术和几何。后来道尔顿因中风而退休。但是跟随道尔顿的这段经历影响了焦耳的一生。焦耳兄弟俩对电学非常着迷，曾经实验过相互电击，还拿家里的仆人们做过实验。焦耳在受道尔顿指导期间，于1835年进入曼彻斯特大学就读。毕业后开始参加经营自家的啤酒厂，直到1854年卖出啤酒厂，他在经营上都一直很活跃。科学开始只是焦耳的一个爱好，直到后来他开始研究用新发明的电动机来替换啤酒厂的蒸汽机的可行性。
1837年，焦耳装成了用电池驱动的电磁机，并发表了关于这方面的论文而引起人们的注意。
1838年，他的第一篇关于电学的科学论文被发表在《电学年鉴》上。这份学术期刊是由戴维斯的同事威廉·斯特金创办和主持的。
1840年，焦耳把环形线圈放入装水的试管内，测量不同电流强度和电阻时的水温。1840年，22岁的焦耳第一篇重要的论文于被送到英国皇家学会，当中指出电导体所发出的热量与电流强度、导体电阻和通电时间的关系，即焦耳定律。由于不久之后，俄国物理学家楞次也独立发现了同样的定律，该定律也称为焦耳-楞次定律。焦耳提出能量守恒与转化定律：能量既不会凭空消失，也不会凭空产生，它只能从一种形式转化成另一种形式，或者从一个物体转移到另一个物体，而能的总量保持不变，奠定了热力学第一定律(能量不灭原理)之基础。焦耳在英国皇家学会上宣读了关于电流生热的论文，提出电流通过导体产生热量的定律。他本来准备让皇家学会大吃一惊的，可后来发现自己被仅仅当作乡下的业余爱好者。当斯特金在1840年搬到曼彻斯特后，他和焦耳成为了这个城市知识分子的核心。他俩同感，科学和神学应该并且可能整合在一起，焦耳开始在斯特金的皇家维多利亚实践科学讲座上开办讲座。
1843年8月21日在英国学术会上，焦耳报告了他的论文《论电磁的热效应和热的机械值》，他在报告中说1千卡的热量相当于460千克米的功。他的报告没有得到支持和强烈的反响，这时他意识到自己还需要进行更精确的实验。
1844年，焦耳研究了空气在膨胀和压缩时的温度变化，他在这方面取得了许多成就。通过对气体分子运动速度与温度的关系的研究，焦耳计算出了气体分子的热运动速度值，从理论上奠定了波义耳-马略特和盖-吕萨克定律的基础，并解释了气体对器壁压力的实质。
1847年，焦耳做了迄今认为是设计思想最巧妙的实验：他在量热器里装了水，中间安上带有叶片的转轴，然后让下降重物带动叶片旋转，由于叶片和水的磨擦，水和量热器都变热了。
1852年，他们发现当自由扩散气体从高压容器进入低压容器时，大多数气体和空气的温度都要下降。这一现象后来被称为焦耳-汤姆逊效应。这个效应在低温和气体液化方面有广泛的应用。焦耳对蒸汽机的发展也做出了不少有价值的工作。
1850年，焦耳凭借他在物理学上作出的重要贡献成为英国皇家学会会员，当时他三十二岁，两年后他接受了皇家勋章。许多外国科学院也给予他很高的荣誉。虽然焦耳不停地进行着他的实验测量工作，遗憾的是，他的科学创造性，特别是在物理概念方面的创造性，过早地就减少了。
1875年，英国科学协会委托他更精确地测量热功当量。他得到的结果是4.15，非常接近1卡=4.184焦耳。1875年，焦耳的经济状况大不如前。这位曾经富有过但却没有一定职位的人发现自己在经济上处于困境，幸而他的朋友帮他弄到一笔每年200英镑的养老金，使他得以维持中等但舒适的生活。五十五岁时，他的健康状况恶化，研究工作减慢了。1878年，当焦耳六十岁时，他发表了最后一篇论文。
在去世前两年，焦耳对他的弟弟的说，“我一生只做了两三件事，没有什么值得炫耀的。”相信对于大多数物理学家，他们只要能够做到这些小事中的一件也就会很满意了。焦耳的谦虚是非常真诚的。很可能，如果他知道了在威斯敏斯特教堂为他建造了纪念碑，并以他的名字命名能量单位，他将会感到惊奇，虽然后人决不会感到惊奇。
1889年10月11日，焦耳在塞尔的家中逝世，被埋葬在该市的布鲁克兰公墓。在他的墓碑上刻有数字“772.55”，这是他在1878年的关键测量中得到的热功当量值。墓碑上还刻有约翰福音的一段话，“趁着白日，我们必须做那差我来者的工;黑夜将到，就没有人能做工了。