这道题主要考查对内分泌组织的识别，需要我们了解每个选项中所涉及的结构是否具有内分泌功能，从而判断其是否属于内分泌组织。
A 选项：胰腺内的胰岛是胰腺的内分泌部分，由多种细胞组成，如胰岛 A 细胞分泌胰高血糖素，胰岛 B 细胞分泌胰岛素，这些激素对血糖水平的调节起着关键作用，所以胰岛属于内分泌组织，该选项错误。
B 选项：卵巢内的卵泡可分泌雌激素，对女性生殖系统的发育和功能维持起着重要作用；黄体可分泌孕激素和雌激素，在月经周期和妊娠过程中发挥重要调节作用，因此卵巢内的卵泡和黄体属于内分泌组织，该选项错误。
C 选项：睾丸内的间质细胞可分泌雄激素，雄激素对于男性生殖器官的发育、第二性征的出现以及维持男性生殖功能等方面具有重要作用，所以睾丸内的间质细胞属于内分泌组织，该选项错误。
D 选项：消化管壁的内分泌细胞可分泌多种胃肠激素，如胃泌素、促胰液素等，这些激素能调节消化腺的分泌和消化道的运动，对消化功能起着重要的调节作用，属于内分泌组织，该选项错误。
E 选项：小肠管壁的集合淋巴滤泡是淋巴组织，主要参与机体的免疫反应，属于免疫系统的一部分，不具有内分泌功能，所以不属于内分泌组织，该选项正确。
综上，答案选 E。