吴伯滔的次子吴徵待秋，18岁时娶同邑方氏为妻，并生有子女各一。其子弱冠而婚，并得一孙，然而，其子和其孙都因患上了传染性疾病而死亡。然后，吴待秋续娶李嘉福之女隐玉为妻，亦生有一子，但可惜的是，不久其妻和其子又亡。之后，吴待秋又在友人的劝说下，再娶嘉兴的沈氏为续。一年后，生有一子，对于这一次，吴待秋由于有了前两次妻和子均亡的不幸，故而就对新生婴儿有些惴惴不安，且又恐怕其年景不长，便给其取名彭年。此事被吴昌硕得知后，就对吴待秋说：“彭已足，不必及年。”因在辛酉年生，属鸡，并以养到木鸡之意，字养木，养与木，迄今已80年。后来，吴待秋专心致志于书画，名声大噪，吴昌硕便笑着对人道：“伯滔得其子矣！”
有一天，吴昌硕对吴待秋说：“明日中午请与夫人及孩子同来我家午餐，切记莫忘。”吴待秋问：“孩子带来为何？”吴昌硕道：“明日同来便知。”次日，吴待秋一家三人遵嘱赴约，当时，吴 木仅两岁，79岁高龄的吴昌硕见了非常高兴，把 木抱于怀中，并授以画笔， 木紧握不放。午餐过后，吴昌硕笑问吴待秋：“今邀夫人与孩子同来，知其用意否？”同时吴老还指了指碗中之瓜豆汤，问：“以此饷客，知其意否？”，“授孩子以画笔，知其意否？”“我抱汝子，知其意否？”吴待秋回答说：“老伯今日如此高兴，不知何故？”吴昌硕笑着说：“你二次续弦，深感痛苦，此子（指 木）应想尽办法，使其长大，我自知凡童婴经我抱过者，无不长大，授以画笔而紧握之，望能继你家衣钵，瓜豆汤以示‘种瓜得瓜，种豆得豆’之意也！文（徵明）家书画历明、清两代之久，你我共勉之！”吴待秋听了，甚为激动，道谢而归。
等到吴木稍长，吴昌硕已长逝人间。吴待秋常以缶翁这段教诲之语，来勉励 木刻苦学习。吴 木4岁即喜作画。在其父严格教导下，先习人物，后学花卉，最后专攻山水，9岁创作《长江万里图》，城廓、舟辑、豆人蚁马，无所不备，见者称奇。当时许多书画家作诗称赞，其中有“石门今见玉麒麟”之句（“石门”为吴 木之祖居地，今浙江桐乡崇福镇）。
1982年的夏天，吴 木先生应杭州同道的邀请来到风光绮丽的杭州，并在氵蒙氵蒙细雨中，到西泠印社瞻仰吴昌硕先生的铜像。两鬓已斑白的老人，伫立良久，不胜感叹：“ 木身弱，曾几次得重病，均垂死得生。老人之言，虽不可信，而老人之心，爱人如爱己，可为后人之鉴焉！”
