根据《税收征收管理法实施细则》第18条规定：除按照规定不需要发给税务登记证件的外纳税人办理下列事项时必须持税务登记证件：开立银行账户；申请减税、免税、退税，申请办理延期申报、延期缴纳税款；领购发票；申请开具外出经营活动税收管理证明；办理停业、歇业；其他有关税务事项。