潘祖年年紀輕輕，雖未為官，亦深知官場險惡。兄長離世，在北京再無庇佑，只能攜帶著所有藏品回鄉避禍。
潘達於曾回憶，當年各種藏品足足裝了四艘船。古人形容藏書數量之巨的“汗牛充棟”，想來也就是這樣的光景吧。
潘祖蔭窮盡家財收藏的大量青銅器和珍本古書，是出於一個文人對古文化的痴狂。潘裕達認為：“潘祖蔭收藏青銅器的最終目的，是因為他醉心於古文字學研究，絕不是今天我們理解的古玩收藏或是什麼投資。不然，以潘家藏品的價值來說，應該是‘富甲天下’，而不是‘藏甲天下’了。”
在潘祖年後來編著的《潘祖蔭年譜》中可以看出，潘祖蔭在世時，雖對自己所藏極為珍視、自豪，卻從不私藏。“每得一器，與同好者切磋研究，圖狀釋文，以傳後世。”常與商榷者，有周孟伯、張之洞、王懿榮、吳大澂等，皆清朝末年有金石之癖的一代大吏。
而潘祖年接管了這批海量的文物珍品後，深恐藏品“露富”而被貪佞圖謀，定下了“謹守護持，絕不示人”的家規。
潘祖年攜寶歸鄉之後，起初住在祖父潘世恩留下的祖宅之中。潘世恩曾高中狀元，官至清朝武英殿大學士、軍機大臣，身後育有四子，潘祖蔭、潘祖年即三子潘曾綬之子，在潘家譜系中稱“老三房”。
潘家家族龐大，在蘇州府邸甚多。鈕家巷的潘世恩故居最為門庭顯赫。潘祖年始終顧慮這棟大宅門庭顯赫，太過惹眼，不久又搬到了南石子街，“老二房”一座空閑的宅院之中。自此，潘祖年過起了半隱居的生活，終日與滿屋的青銅器為伴，藏身古籍故紙堆。
|
