除了茶叶生意做的风生水起之外，伍秉鉴还在英国东印度公司资金紧张的时候借钱给他们，他是东印度公司最大的债权人。为了求得安宁，伍秉鉴花了很多钱财在朝廷当中为自己买了官职，但是这个官职却成为朝廷问他要钱的借口。在签订了《南京条约》以后，清政府面临巨大的赔偿金额，伍秉鉴替清政府偿还了一百万，之后又被清政府三番五次的"借钱"。
伍秉鉴虽然在经商方面能力出众，但是他很讨厌政治上的问题。清政府那时候很穷，国库亏空，时不时会找借口对伍秉鉴经营的商行罚款，让他很有压力。他没有心思再做生意了，而且清政府对他的剥削也更加严厉，他处于入不敷出的状态。
后来，伍秉鉴的家业变得很小，他的后代也混的越来越落魄，大多没有经商的，全是农民。这可能就应验了一句古话，富不过三代。
