1904年6月10日，徽因出生于杭州。祖父林孝恂得知孙女出生的消息，喜悦地吟哦着《诗经·大雅》中的诗句：“思齐大任，文王之母。思媚周姜，京室之妇。大姒嗣徽音，则百斯男。”他为孙女起名为徽音。

徽音改名为徽因是30年代初的事情。当时她经常有作品见诸报刊，而另一位经常写诗的男作者名叫林微音，报纸杂志在刊发他们的作品时，常把两人的名字搞混。《诗刊》为此还专门发过更正声明。

徽因说：我倒不怕别人把我的作品当成了他的作品，我只怕别人把他的作品当成了我的。从那以后，林徽音遂改名为林徽因。

林徽因原籍福建闽侯。祖父林孝恂字伯颖，为光绪十五年（1889）年进士，授翰林院编修，一直在浙江做官。历任金华、石门、仁和、孝丰知县和海宁知州。在任期间，他创办了养正书塾、蚕桑职业学堂，是清朝末年创办新学的先驱之一。

林孝恂有五女二男七个孩子，徽因的父亲林长民是长男。为了林家子侄辈的教育，林孝恂在杭州家中设立了家塾。家塾分国学与新学两斋，国学延请林纾为主讲，新学延请林白水为主讲。徽因的父亲、叔叔和姑姑们，从小打下了国学深厚的根基，又受到了新学的启蒙。

徽因两岁那年，父亲赴日本留学，在早稻田大学学习政治法律。徽因与母亲跟着祖父母生活。

在徽因幼年的记忆里，父亲就是那个成年不在家的人，父亲就是一封封从日本寄回来的信。那些信都是写给祖父母的，信中抨击时弊，谈论政治，抒发抱负；徽因和母亲是父亲在信的末尾一笔带过的一句问候。

徽因4岁了。祖父让她跟着表姐，由大姑母发蒙读书。

徽因喜欢和表姐们在一起读书玩耍。大表姐孟瑜、二表姐孟亮是大姑母的女儿，三表姐语儿是三姑母的女儿。孟瑜比徽因大5岁，孟亮比徽因大3岁，语儿比徽因大两岁。四个女孩在一起，一时好得像一个人，一时又会为一点小事争执不休。大姑母总是由着她们闹，不到不可开交之时，她是轻易不会出面调停的。

大姑母常对家人赞叹徽因聪颖灵秀。一起读书的几个姐妹中，数徽因年龄最小、也最贪玩，听讲时看似漫不经心，可每叫她背书时，她总是滔滔成诵，口齿伶俐清晰。

1910年，林长民从早稻田大学毕业。回国后，与同学刘崇佑在家乡福建创办了福州私立法政学堂，他担任校长。

1911年，武昌起义爆发。林长民把法政学堂交给别人管理，他奔走于上海、南京、北京等地，到处宣传革命。南京临时政府成立后，他就任临时政府参议院秘书长。他发起组织了“共和建设讨论会”，拥戴流亡日本的梁启超为领袖，并促其回国。

民国初年，风云际会，各种政治力量“乱纷纷你方唱罢我登场”。林长民作为民初立宪派的名人，始终旗帜鲜明地拥护共和，反对复辟。张勋复辟期间，时任国务院参事的林长民,支持段祺瑞讨伐张勋复辟，后被段祺瑞政府任命为司法总长。

随着林长民升迁的脚步，徽因一家由杭州搬到上海，而后迁居北京。