הרב קלר נולד בפברואר 1909 בעיר בויטן, גרמניה, בן למשפחה בת תשעה ילדים. התחנך בברלין שם שילב השכלה כללית יחד עם לימודי קודש. בהמשך לימודיו השלים תואר דוקטורט מאוניברסיטת ברלין והוסמך לרבנות ע''י בית המדרש לרבנים ע''ש הילדסהיימר בברלין.
מבוקש ע''י הגסטאפו
במהלך מלחמת העולם השנייה נספתה כמעט כל משפחתו בשואה כשרק הוא ואח נוסף הצליחו לשרוד. לאחר שהואשם ע''י הגסטאפו באשמת הרחבת היתר הכניסה לאסירים יהודים בכלא הגרמני, ברח ברכבת מגרמניה לפולין עם אשתו ובנו הקטן, משם המשיכו באוניה לרומניה ומשם היתה הדרך קצרה לפלשתינה.
בשנת 1939 הגיע ארצה לתל-אביב.הצג את ההמשך