Qualche settimana dopo l'inattesa morte del padre, Paul Auster, si ritrova nella grande casa ormai deserta di un uomo che per tutta la vita aveva vissuto caparbiamente distaccato dal mondo e dagli affetti. E accostando i frammenti sparsi di un'esistenza pressoché estranea, facendo lo spoglio delle carte e degli oggetti personali di quel padre che era sempre parso distante e sfuggente, Auster si imbatte nelle testimonianze di un lontano delitto che aveva scosso la vita della famiglia all'inizio del secolo. Se nel Ritratto di un uomo invisibile, la prima parte de L'invenzione della solitudine, Paul Auster veste i panni del figlio, nella seconda, Il libro della memoria, la sua attenzione si sposta sulla sua identità di padre. E attraverso un mosaico di immagini, coincidenze e associazioni, «A» riflette su come il caso impercettibilmente governi le nostre vite, sulla natura solitaria dello scrivere e l'inevitabile distacco che lo separa dal figlio Daniel.
Un delicato ritratto di famiglia, tutto giocato sul filo della memoria, una commossa riflessione sulla difficoltà di essere figli e padri.