Nació en la ciudad alemana de Ulm, cien kilómetros al este de Stuttgart, en el seno de una familia judía. Sus padres fueron Hermann Einstein y Pauline Koch. Hermann y Pauline se habían casado en 1876, cuando Hermann tenía casi veintinueve años y ella dieciocho.13 La familia de Pauline vivía cerca de Stuttgart, concretamente en la ciudad de Cannstatt; allí su padre, Julius Koch, explotaba con su hermano Heinrich un comercio muy próspero de cereales. Pauline tocaba el piano y le transmitió a su hijo su amor por la música, entre otras cualidades como su "perseverancia y paciencia".14 De su padre, Hermann, también heredó ciertos caracteres como la generosidad y la amabilidad que caracterizaron a Albert
En 1880 la familia se mudó a Múnich, donde se criaría durante catorce años, y su padre y el hermano de este, Jakob, quien influyó intelectualmente sobre Albert, fundaron en octubre una empresa dedicada a la instalación de agua y gas. Como el negocio marchaba bien, con el apoyo de toda la familia decidieron abrir un taller propio de aparatos eléctricos (Elektrotechnische Fabrik J. Einstein & Cie.), que suministraban a centrales eléctricas en Múnich-Schwabing, Varese y Susa en Italia, la que fracasaría tras endeudar a toda la familia. Esto causó un trauma no solo a Albert sino también al resto de la familia. A fin de saldar las deudas y financiar el traslado, el querido jardín de la casa de Múnich fue vendido a un promotor inmobiliario.
Desde sus comienzos, demostró cierta dificultad para expresarse, pues no empezó a hablar hasta la edad de tres años, por lo que aparentaba poseer algún retardo que le provocaría algunos problemas. Al contrario que su hermana menor, Maya, que era más vivaracha y alegre, Albert era paciente y metódico y no le gustaba exhibirse. Solía evitar la compañía de otros infantes de su edad y a pesar de que, como niños, también tenían de vez en cuando sus diferencias, únicamente admitía a su hermana en sus soledades. Cursó sus estudios primarios en una escuela católica; desde 1888 asistió al instituto de segunda enseñanza Luitpold (que en 1965 recibiría el nombre de Gymasium Albert Einstein). Sacó buenas notas en general, no tanto en las asignaturas de idiomas, pero excelentes en las de ciencias naturales.