Nacido el 6 de marzo de 1787 en Straubing, un pueblo de Baviera, Joseph von Fraunhofer era el más pequeño de una familia de once hermanos. Sus padres, artesanos del vidrio, murieron cuando él tenía once años. Fue entonces cuando Fraunhofer entró en el taller de Weichelsberger. Lejos de enseñarle el oficio, este le obligaba a realizar las tareas domésticas, además de prohibirle ir a la escuela los domingos y negarle una lámpara para leer por las noches.