Cresciuto in un ambiente multiculturale, nel quale lo yiddish era il linguaggio familiare, il linguaggio della Bibbia e del Talmud che ha studiato fino all'età di nove anni. Nel 1907 è emigrato in Palestina, dove è rimasto fino agli ultimi giorni. Fin da giovane, Agnon ha scritto una cronaca del declino ebraico in Galizia, per esempio, Hakhnasat Kalah (The Bridal Canopy 1922), che ricrea l'età dell'oro dell'Hassidismo, e il romanzo apocalittico Oreach Nata Lalun (A Guest for the Night 1939), in cui dipinge vividamente la rovina della Galizia dopo la prima guerra mondiale. La maggior parte dei suoi scritti sono ambientati in Palestina e narrano del ricambio dei primi insediamenti ebraici con il più organizzato movimento Sionista dopo la seconda guerra mondiale.
I primi pionieri sono ritratti nell'epico Temol Shilshom (Only Yesterday, 1945), considerato il suo più grande lavoro, negli incubi del Sefer Hamaasim (The Book of Deeds, 1932).
Nel 1966 è stato insignito del premio Nobel con questa motivazione: "Per la sua arte narrativa profondamente caratteristica con motivi dalla vita del popolo ebraico." È morto il 17 febbraio del 1970.