Ο Αζωγυρές απέχει εννέα χιλιόμετρα από την έδρα της Κοινότητας Παλαιόχωρας. Κοντά στο χωριό αυτό υπάρχουν τα περίφημα σπήλαια Χάρακας και Ζουρές που είναι απόλυτα συνδεδεμένα με τη θρησκευτική παράδοση της περιοχής. Το πρώτο σπήλαιο ονομάζεται Χάρακας και βρίσκεται νοτιοανατολικά του οικισμού.
Το σπήλαιο αυτό αποτελείτο από τρία λαξευτά διαμερίσματα, τα οποία όπως υποστηρίζεται χρησιμοποιήθηκαν στην αρχαιότητα, σαν τόπος ταφής επισήμων νεκρών.
Σήμερα τα διαμερίσματα αυτά δε διακρίνονται, διότι στον ίδιο χώρο κτίστηκε μεταγενέστερα, το 1864 η μονή των Αγίων Πατέρων, η οποία και σώζεται. Γιορτάζει στις 7 Οκτωβρίου.
Ο κώδικας της μονής αναφέρει ότι 36 μοναχοί μαζί με τον Αγιο Ιωάννη αναχώρησαν από την Κύπρο, κι απ’ εκεί πήγαν στην Αττάλεια της Μ. Ασίας. Επισκέφτηκαν και άλλες πόλεις της περιοχής αυτής, προστέθηκαν στη συνέχεια αρκετοί νέοι αδελφοί και έφτασαν τέλος στους ενενήντα εννέα (99), που μαζί με τον επικεφαλής Χριστό απετέλεσαν μια κανονική εκατοντάδα.
Το πλοίο που τους μετέφερε από τόπο σε τόπο και από χώρα σε χώρα για να διδάξουν τη χριστιανική πίστη, εξαιτίας κάποιου δυνατού ανέμου, προσάραξε στη Γαύδο. Γι’ αυτό και η τοποθεσία αυτή ονομάστηκε «Πατεροβόλακας». Χρονολογικά
ο ερχομός των μοναχών αυτών στην Κρήτη τοποθετείται γύρω στο 1300 μ.Χ. Κατά την παραμονή τους σ’ αυτή την ερημική και άνυδρη ακτή του νησιού, υπέφεραν πολύ από την έλλειψη νερού. Ο πρώτος λοιπόν από τους μοναχούς αυτούς, ύστερα από μια πολύωρη προσευχή και παράκληση έκανε το σημείο του σταυρού πάνω σ’ ένα ξερό βράχο και αμέσως άρχισε να τρέχει καθαρό κρυστάλλινο πόσιμο νερό.
Έτσι η συντροφιά των αγίων αυτών ανθρώπων κατάφερε να παραμείνει στο νησί είκοσι τέσσερις ημέρες.
Φεύγοντας από τη Γαύδο οι Αγιοι Πατέρες, ξέχασαν να ξυπνήσουν τον Αγιο Ιωάννη. Υποστηρίζεται ότι αυτό έγινε γιατί ο Θεός ήθελε να τον δοξάσει και να φανερώσει στους ανθρώπους την αρετή του. Τον σκέπασε λοιπόν εκεί που κοιμόταν και έτσι φεύγοντας δεν τον αντελήφθηκαν οι άλλοι αδελφοί του.
Όταν όμως ξύπνησε και είδε ότι ήταν μόνος, έκαμε την προσευχή του για να τον βοηθήσει ο θεός να συναντήσει τους υπόλοιπους μοναχούς που κατευθύνονταν προς την Κρήτη.
Αέγεται ότι τότε έκαμε το ραβδί του καΐκι και το ράσο του πανί, και έτσι κατάφερε να ταξιδέψει άνετα και να συναντήσει τη συντροφιά του, που κι αυτοί τον περίμεναν με αγωνία για να συνεχίσουν όλοι μαζί το διδακτικό τους έργο.
Το μέρος που προσάραξε το πλοίο με τους Αγίους Πατέρες, βρίσκεται κοντά στην ανατολική παραλία της Παλαιόχωρας. Όλοι μαζί από το μέρος αυτό κατευθύνθηκαν βόρεια προς τις σπηλιές για τις οποίες γίνεται λόγος.
Κατέληξαν στις σπηλιές αυτές για να ησυχάσουν, ύστερα από τη μεγάλη ταλαιπωρία των στη θάλασσα. Παρέμειναν στο μέρος αυτό. Μερικοί ασκήτευσαν στο σπήλαιο Χάρακας και άλλοι στο σπήλαιο «Βάραθρο του Ζουρέ», όπου και πέθαναν. Το σπήλαιο του Ζουρέ βρίσκεται βόρεια δυτικά του χωριού Αζωγυρές και σε υψόμετρο 535 μ. Τρεις σιδερένιες σκάλες σε βοηθούν να κατέβεις στο σπήλαιο αυτό, που προχωρεί σε μεγάλο βαθμό, είναι βραχώδες και αβυσσαλέο με πηγή νερού και πολλούς σταλακτίτες. Μετά το κατέβασμα, προχωρείς αρκετά για να καταλήξεις σε μια μικρή εκκλησία. Την εκκλησία των 99 Αγίων Πατέρων.
Ο Αγιος Ιωάννης όμως, για άγνωστο λόγο, θέλησε ν’ απομακρυνθεί από τους συντρόφους του, και γΓ αυτό μετάβηκε στο Ακρωτήρι Χανίων, όπου και εκοιμήθηκε.
Η επίσκεψη του σπηλαίου αυτού σήμερα, μπορεί να γίνει μεμονωμένα, αλλά συνήθως οι ντόπιοι προσκυνητές συνδυάζουν την επίσκεψη αυτή, με την ημέρα που το χωριό πανηγυρίζει την εκκλησία των Αγίων Πατέρων στις 7 Οκτωβρίου.