Πόρτο Ράφτη σημαίνει «το λιμάνι του ράφτη». Ο ράφτης είναι ένα άγαλμα.
Στη νησίδα Ράφτης, τη μεγαλύτερη στην είσοδο του κόλπου, κάθεται μια κολοσσική μαρμάρινη μορφή: μια ένθρονη γυναίκα με βαριά, περίτεχνα ενδύματα. Έχει χάσει το κεφάλι και τα χέρια της. Από μακριά, από τη θάλασσα, η καθιστή σιλουέτα με το υψωμένο κολόβωμα του χεριού έμοιαζε στους ναυτικούς με ράφτη που δουλεύει, και το όνομα κόλλησε σε όλο τον κόλπο.
Ποια είναι στην πραγματικότητα δεν έχει ξεκαθαριστεί ποτέ. Κάποιοι υποστηρίζουν ότι είναι η Ρήγιλλα, σύζυγος του Ηρώδη του Αττικού, άλλοι η θεά Κυβέλη ή η Ρέα. Αμφισβητείται και η προέλευση του ονόματος: εκτός από την ιστορία του ράφτη, οι μελετητές έχουν προτείνει την αλβανική λέξη rrapthi, «μικρό πλατάνι», και μια σύνδεση με τη λατρεία της Ρέας στην ανατολική Αττική.
Οι νησίδες δεν ήταν πάντα έρημες. Οι αρχαιολόγοι έχουν βρει ίχνη μυκηναϊκού οικισμού, και ο κόλπος εξυπηρετούσε τους αρχαίους δήμους Πρασιαί, Στειριά και Κορώνη. Έμεινε εμπορικό λιμάνι ως την κατάρρευση της Ρωμαϊκής Αυτοκρατορίας.
Μια πιο σκοτεινή σημείωση. Στα τέλη Απριλίου 1941, μετά τη γερμανική εισβολή στην Ελλάδα, ο κόλπος ήταν ένα από τα σημεία από όπου εκκενώθηκαν συμμαχικά στρατεύματα. Οι ήσυχες παραλίες ήταν γραμμή επιβίβασης μέσα στη ζώσα μνήμη.