祖冲之祖籍河北，他的祖父和父亲都曾在南朝做官，因而他出生于南方. 晋朝末年，由于北方连年混战，中原地区的人口大量迁移到南方，促使长江流域的农业生产和社会经济各方面都有迅速的发展，祖冲之正是诞生在这样的时代环境里.祖家历代对天文历法都很有研究.在家庭的影响下，祖冲之从小便对天文学和数学发生了浓厚的兴趣.
在青年时代，他便对刘歆、张衡、王蕃、刘徽等人的工作进行了深入细致的研究，驳正了他们的错误.以后他继续钻研，在科学技术方面作出极有价值的贡献.精确到小数点后第六位数的圆周率，便是他其中最杰出的成就之一.在天文历法方面，他曾将自古代到他生活年代为止所有可以搜罗到的文献资料，全部整理了一遍，并且通过亲自观测和推算，做了深切的验证.他指出当时所流行的何承天（公元370-447年）编定的历法有许多严重的错误.因此他便开始编制另一种新的历法.
宋大明6年（公元462年），33岁的祖冲之编好了新的历法大明历.这是一部最好的历法，但是却遭到了当时朝廷中最得势人物戴法兴的反对.许多官员惧怕戴法兴的势力，不敢对祖冲之新历作公正的评定.祖冲之为了坚持真理，勇敢地与戴法兴展开了辩论，他写了一篇有名的《驳议》，逐条驳斥了戴法兴的无理责难.这场辩论，实际上反映了当时科学发展过程中科学和反科学、进步和保守之间的尖锐斗争.戴法兴等人认为：历代流传下来的东西，都是古制，是不可革的，是万世不易的，他们认为天文历法不是凡人可以修改的，他们说：非冲之浅虑妄可穿凿，甚至进一步责骂祖冲之是诬天背经.祖冲之对他们提出了尖锐的反驳.他认为日月五星的运行非出神怪，是有形可检，有数可推，只要进行细心的观测和推算.孟子早先所说千年之日至（夏至、冬至）可生而致的话是完全可以做到的.祖冲之在《驳议》中写了两句非常有名的话愿闻显据，以覆理实，浮词虚贬，窃非所惧.他希望双方都拿出真实的证据，辨明真正的是非，至于造谣和诽谤，那是他丝毫不怕的.由于种种阻碍，大明历一直到他死后十年，在梁朝才得以颁行（公元510年）.
祖冲之除天文历法和数学之外，对机械方面也有研究，他制造过指南车和千里船，此外，他对音律也很精通，对古代的许多书籍进行过注释，他还写过十卷小说，他真称得上是一个多才多艺的科学家.关于他在数学方面的著作，最著名的要算是《缀术》，此外还有《九章算术译注》、《重差注》等等，但这些也都失传了.
祖冲之的儿子祖也是一位杰出的数学家，他继承了祖冲之在数学和天文历法方面的工作，并进一步发扬光大了他父亲的成就.祖冲之的大明历就是经过祖三次建议之后才被梁朝采用的.关于球体体积的计算也是作为祖的工作流传下来的.祖终生好学不倦.传说他小的时候，专心读书，连打雷也不觉得，走路时思考问题，曾经撞到别人身上.
祖冲之父子的名字，不仅在国内已是受到称道，在世界上也受到了应有的重视.