È il 1642 a Boston. L'ambiente sociale è caratterizzato da severità morale a sfondo religioso tipica dell'epoca. Hester ha dato alla luceuna bambina, Pearl, nonostante il marito sia assente da anni dalla città, e per questa ragione ha affrontato un processo per adulterio e, come punizione, viene esposta alla pubblica umiliazione su di un patibolo vestendo sul petto una lettera A scarlatta (che sta per "Adultera"). L'autore indugia sui discorsi delle comari, alcune delle quali vorrebbero che Hester venisse uccisa, in quanto la pena per l'adulterio sarebbe la morte. Hester non vuole rivelare chi sia il padre della bambina, anche se le viene domandato più e più volte.
Il caso vuole che il marito di Hester (che in città nessuno conosce) faccia ritorno dopo una lunga prigionia a opera dei pellirossa, proprio nel giorno in cui la moglie è esposta sul patibolo. Siccome Hester non vuole rivelare neppure al marito il nome dell'uomo con cui ha commesso adulterio, suo marito assume il nome di Roger Chillingworth, e prende a esercitare l'attività di medico in città, forte dei suoi studi in Inghilterra, ma anche delle cognizioni di medicina indiana che ha appreso durante la prigionia; in tale modo, sotto falsa identità, egli spera di riuscire a identificare il padre di Pearl.