Da Karen Wright vender hjem til sit barndomshjem, for at pleje sin svagelige far, er det med et tungt hjerte. Huset er stadig hjemsøgt af fortidens spøgelser, hendes fars lukkethed og hemmelighedskræmmeriet om baggrunden for hendes smukke mor Elizabeths død, som indtraf under tragiske omstændigheder år forinden.
Under oprydning støder hun på nogle falmende fotografier, samt et laset kærlighedsbrev poststemplet i Tyskland før krigen, adresseret til hendes mor fra en ukendt afsender. Karen har altid kæmpet for at forstå sin generte og ængstelige mor, men indser nu, at hun kun kender halvdelen af historien. For det første, hedder hendes mor ikke engang Elizabeth og hendes grufulde historie begynder længe før Karen var født. Den starter i 1941, i det besatte Berlin, hvor en ung kvinde ved navn Liese tvinges til at bære den gule stjerne.
Det ved kun vi er en smuk og gribende krigshistorie om familiehemmeligheder og de umulige valg, som vi må træffe under frygtelige omstændigheder.
