Η παλιά πόλη του Ρεθύμνου αποτελεί ένα ιδιαίτερα ξεχωριστό κομμάτι της πόλης, το οποίο διατηρεί αρκετά στοιχεία από την περίοδο της Ενετοκρατίας και της Τουρκοκρατίας. Τα περισσότερα και συνάμα πιο όμορφα μνημεία της πόλης προέρχονται κυρίως από την περίοδο της Ενετοκρατίας. Ορισμένα από αυτά αποτελούν το φρούριο Φορτέτσα, η ενετική Λότζια, η κρήνη Ριμόντι, η πύλη Guora, ο μεγαλοπρεπής ναός του Αγίου Φραγκίσκου και το γραφικότατο ενετικό λιμάνι. 

Όσον αφορά την περίοδο της Τουρκοκρατίας, οι Τούρκοι δεν έχτισαν πολλά νέα κτίρια καθώς προτίμησαν να χρησιμοποιήσουν τα ήδη υπάρχοντα ενετικά, τα οποία και διαμόρφωσαν ανάλογα με τις ανάγκες που υπέβαλε η χρήση που ήθελαν να τους δώσουν. Δύο από τα πιο σημαντικότερα μνημεία που διατηρούνται από την εποχή εκείνη, αποτελούν το Νεραντζέ Τζαμί και το Τζαμί του Καρά Μουσά Πασά. 

Η ίδια η παλιά πόλη διασχίζεται από δεκάδες υπέροχα στενά σοκάκια, ιδανικά για περιπάτους, τα οποία είναι γεμάτα με όμορφα δημόσια και ιδιωτικά κτίρια, βενετσιάνικα αρχοντικά, ταβέρνες και πολυάριθμα μπαράκια.