Pedro Salazar y Mendoza, administrador del Hospital de Tavera dice sobre el Cardenal, en su Crónica de Tavera: «mostró también su mucha modestia en que no se consintió retratar, si bien lo procuraron muchos valientes pintores y escultores, particularmente Alonso de Berruguete, que fue de los más celebrados de aquel tiempo. El retrato que se puso en el cabildo de su iglesia, y otros que hay en el hospital, se hicieron después que murió, por orden o mano del mesmo Berruguete». La máscara mortuoria que del Cardenal Tavera modeló Alonso de Berruguete fue realizada en yeso sirviendo como modelo para el sepulcro del Cardenal que el escultor realizó en mármol de Carrara, y que décadas más tarde utilizaría el Greco para inmortalizar al fundador del Hospital de San Juan Bautista de Toledo.