吳覺農的父親鄭忠孝原籍安徽，因貧困而入贅于吳家。吳覺農7歲入塾，學名榮堂，后入巽水小學和縣立高等小學，17歲浙江省甲種農業專科學校，在那里立下了為中國茶業奮斗的宏愿，因矢志于振興農業，更名覺農。畢業后留校任教。1919年考取官費留學日本，為中國第一位去國外攻讀茶葉的學生。在日本農林水產省靜岡縣“牧之原”國立茶葉試驗場專修茶葉，收集了大量有關各國茶葉生產、制作、貿易的材料，撰寫了《茶葉原產地考》、《中國茶業改革方準》等論文，更是系統地論述了中國茶業的發展之路。1922年回國，這年他發表了《中國的農民問題》，影響很大，成為毛澤東主辦的廣州農民運動講習所采用的培訓教材。1923年在鄉人王佐、胡愈之等的幫助下在上虞嶺南泰岳寺辦起了茶場，并從日本引進制茶機械。他在后來為《上虞市志》寫序時回憶道：“我與幾位同仁在上虞與嵊縣交界處創辦茶場和茶葉實驗學校，計劃汲取國外先進技術，搞機械制茶，改變我國茶業落后狀況。此地是海拔……在政治腐敗、社會黑暗的舊中國，要辦成一件利國利民之事談何容易！茶場終因得不到有關方面支持，資金不足，加之缺乏經驗而失敗。”1928年任上海園林試驗場場長，次年任浙江省建設廳合作事業管理室主任，1931年出任上海商品檢驗局技正及茶葉檢驗處處長，這是他實現振興中國的開端，他在商檢局的7年時間里編制了中國第一部出口茶葉檢驗標準。1935年與人合著了《中國茶葉復興計劃》，提出創辦國家茶葉公司的構想。后又兼任浙、皖、贛等省茶葉改良場場長。1933年與陳翰笙、薛暮橋、孫冶方等，發起組織中國農村經濟研究會并任常務理事。1934～1935年赴印度、錫蘭、印尼、日本、英國、法國、蘇聯等國考察茶葉市場情況。抗戰時在武漢、重慶任貿易委員會專員，為加強茶葉出口貿易支持抗戰，提出茶葉統購統銷，促動政府頒發了《管理全國茶葉貿易辦法大綱》，從此改變了茶葉由各地茶商、茶棧和洋行層層盤剝的實際，為此中國的茶業生產不但未因戰爭而受到影響，而且還有較大的增加，其中皖、浙二省的綠茶出口額增加了10萬箱，茶價提高了35%，祁門紅茶增加了20%，茶價提高了58%，寧紅茶價提高了63%。中時創辦了中國第一個高等學校茶葉專業——復旦大學農學院茶葉系，創辦了中國第一個茶葉研究所。1947年創辦之江機械制茶廠，任董事長。

1949年出席了開國大典，任農業部副部長兼中國茶葉學會理事長、名譽理事長，中國茶葉公司總經理。歷任當選為第一、二、三、四屆全國政協委員，第一、二、三、四屆民建中央常委。在“三反五反運動”和“文化大革命”中受到沖擊，多年積累的茶學資料更被紅衛兵付之一炬。

1979年開始撰寫他準備了幾十年的茶學巨著——《茶經述評》，1987年90歲時出版，陸定一在序中直稱其為“當代茶圣”。其主要作品輯入《吳覺農選集》。

死后葬于上虞縣龍山南麓。