這種情形是希特勒夫人無法忍受的。她離開了阿洛伊斯，與他合法分居。現在，在希特勒的家庭舞台上該輪到法妮出台了。她俨然以合法夫人的身份，而不是情婦的身份出現。她非常明白，一個漂亮的女傭對易動感情的阿洛伊斯來說，具有多大的引誘力。她的第一招就是将克拉拉弄走。兩年後，即1882年，法妮産下一男孩——與他的父親一樣，是個私生子。
次年，希特勒已出走之妻死于肺痨。于是他便正式娶了法妮。婚禮是非常及時的——不到兩個月，第二個孩子安吉拉便出世了。這樣，阿洛伊斯終于有了個合法婚生子，盡管是在不合法的情形下受孕的。他還承擔了取名叫阿洛伊斯·希特勒的第一個男孩的法律責任，而法妮呢，雖然身份已經合法，卻也不見得更加幸福，因為老阿洛伊斯又有朝三暮四的迹象。與她的前任一樣，也染上了嚴重的肺病，不得不離開布勞瑙，到空氣新鮮的鄰近的鄉間去。阿洛伊斯帶着兩個小孩，又住在波馬客棧的頂層，他會求助于漂亮的侄女，這也是合情合理的。克拉拉同意了，再次住進波馬客棧。這一次，她是女傭、保姆和情婦。阿道夫·希特勒未來的母親是個心地善良的姑娘。她經常探望法妮，盡力幫她恢複健康。奇怪的是，法妮竟欣然接受情敵的照料。
1884年夏，可憐的法妮去世了。不出所料，希特勒家的下一任夫人已身懷六甲。阿洛伊斯要娶克拉拉，因為她可照顧他的兩個孩子，而孩子們也是真正喜歡她。但當地的教堂禁止他們結合，原因是，根據那個假證，他父親與克拉拉的祖父是兄弟關系。阿洛伊斯向牧師投訴，要求羅馬按特殊情況處理。不到一個月，申請獲準。很明顯，這是因為克拉拉已懷孕的緣故。于是，1885年1月7日，阿洛伊斯和克拉拉在波馬客棧正式結婚。婚禮時有兩個孩子在場，即小阿洛伊斯和安吉拉，還有三個證人：克拉拉的妹妹約翰娜和兩個海關官員。婚禮的一切準備工作都是新女傭做的。由于她把客廳燒得過熱，在整個婚禮過程中，阿洛伊斯都拿她尋開心。新婚夫婦并沒有度什麼蜜月，在簡單地吃了一頓飯後，阿洛伊斯便回海關去了。據克拉拉後來回憶，還不到中午，“我丈夫就上班去了”。
難得的是，盡管阿洛伊斯在私生活上不檢點，他的業務工作卻未受影響。他依舊是個忠誠老實、辦事效率高的公仆，受到了上司和同僚的尊敬。雖然在地方上他的名聲不好——在這樣一個小鎮裡，婚外的桃色事件必然會成為人們茶餘飯後的話柄——可他覺得自己實在不錯。在衆多謠傳中有一條是，他的第一個妻子還在世時，他就給她買了一口棺材。
克拉拉成了家庭主婦後，可說是萬事如意。論管家，她是個典範；對小阿洛伊斯和安吉拉，她真是全心全意，把他們當作親生子女看待。婚後四個月，她便産下一個兒子；不到兩年，她又生了一個女兒和另一個兒子。小兒子出世後幾天便夭折了。此後不久，另外兩個孩子相繼染上了白喉，也夭折了。這個悲劇是克拉拉難以忍受的。幸運的是她可在小阿洛伊斯和安吉拉身上傾注她的母愛，但與丈夫的關系卻很不自然。從一開始她就将丈夫看得高人一等，而自己從女傭到情婦再到妻子的道路，對希皮塔耳的一個普通姑娘來說又是如此複雜，以緻在婚後她仍稱丈夫為“叔叔”。
3個孩子的相繼夭折，很明顯，影響了她的受孕率，一直到1889年4月20日，第4個孩子才出世（奧匈帝國皇太子魯道夫不久前在梅耶林自殺身亡）。就血統而論，他是四分之一希特勒，四分之一施克爾格魯勃，四分之一波爾茲爾，四分之一不明。在洗禮登記冊上，他的名字叫“阿道夫·希特勒”。後來，克拉拉說，阿道夫是個瘦弱多病的孩子，她總怕失去第四個小孩。但，據她家的女傭回憶說，阿道夫“很健康，很活潑，發育很正常”。
不管如何，希特勒太太寵愛自己的孩子。在波馬客棧，日子過得倒也平靜。做父親的常與朋友相聚，又嗜好養蜂，在這些方面花的時間比在家的時間更長，但在性生活方面，很明顯，他已不再朝三暮四了——至少謹慎多了。女傭對她的印象很好，說他“對人嚴厲，但很好相處”，對下人很體貼。例如，有一天，為了不弄髒剛擦拭幹淨的地闆，他竟高高興興地脫去靴子。但是，海關新任監察認為，阿洛伊斯·希特勒為人冷漠。“他嚴格，說一不二，性情古怪，難以接近……穿上制服得意揚揚，常穿着它照相。”
阿道夫3歲零4個月時，父親又受提拔，全家便遷至巴索。巴索這城不小，在波馬客棧下方，位于河對岸的德國境内，海關督察的辦公室就設在那裡。生活在德國的城市裡，又與德國孩子們玩耍，這在年輕的希特勒身上留下了永世不滅的痕迹。例如，巴伐利亞南部的方言成了他的母語。他回憶說，這種方言常令他“憶起我的少年時代”。
很長時間希特勒太太未再懷孕。有人說，她為了好好補一補“瘦弱多病”的阿道夫，一直在給他吃奶。直到阿道夫快5歲時，下一個孩子埃德蒙才出生。阿道夫終于掙脫了母親的管教，幾乎自由了。因為孩子剛出生，阿洛伊斯舉家搬遷的計劃擱置，其家眷仍舊留在巴索。這樣，5歲的阿道夫便與德國的孩子們東遊西逛，玩個沒完沒了。
這樣自由自在的生活他整整過了一年。1895年春，他們全家遷至哈菲爾德。這是個小村子，坐落在林嗣西南約30英裡的地方，他們住的是農舍，位于占地面積約9英畝的斜坡上。一個月後，阿道夫滿6周歲，進了一所小學。小學設在弗希拉姆，離家有數英裡路程。這樣，阿道夫便又離開了母親。入學幾星期後，父親退了休。上學本來就受管教，現在，父親的管教又非常嚴格，這就使阿道夫加倍受管。
他家的房子雖小，但很漂亮，坐落在小斜坡上，幾乎被果樹所淹沒。屋旁有條小溪，被人工修直。溪内水清如鏡，終日水聲潺潺。在這樣美好的環境裡生活，雖然受到嚴格的管教，阿道夫肯定還是快活無比的。鄰近也不乏孩子，并且常來與他做伴。
上學，阿道夫和他同父異母的姐姐得走上一個多小時。對一個小孩子來說，這路程實在是太遙遠了。學校的“既破舊又原始”的建築，被分成兩間教室，一間供男生用，另一間供女生用。希特勒家的兩個孩子給校長留下了良好的印象。據他回憶，阿道夫“思維敏銳，服從師長，又很活潑”。還有，這兩個孩子的書包“裡邊疊得整整齊齊，可說是楷模”。
“我的第一個理想就是在這個時期形成的，”希特勒在《我的奮鬥》（這是希特勒的一本自傳，叙述一般都被誇大）中寫道，“野外的玩耍，上學時的長途跋涉，尤其是與那些‘野’孩子的來往，使我在家根本待不住。”即使是在這個年齡，他已能高聲表達自己。不久後，他居然成了“一個小頭目”。
爾後幾個月，阿道夫在家中的處境變得越來越困難。由于不懂耕作，阿洛伊斯退休後的生活變得很沉悶。1896年初，另一個孩子保拉出世，使景況更加惡化。一家五個孩子，包括一個隻知道哭的在内，擠在一起，或許會使阿洛伊斯喝酒更加厲害。可以肯定的是，他變得喜歡吵架，容易發火。他的主要目标是小阿洛伊斯。父親與兒子不時拌嘴，因為父親要兒子絕對聽話，而兒子又不聽父親的。後來，小阿洛伊斯痛苦地抱怨說，父親常常用馬鞭無情地鞭打他。不過，在那個年代的奧地利，打孩子的事情司空見慣，被認為是于孩子有益的。有一次，為了做一艘玩具船，小阿洛伊斯逃學三天。曾對這種手工愛好給予鼓勵的阿洛伊斯，居然狠狠地揍了小阿洛伊斯一頓，還“抓住他的頸背，将腦袋往樹上撞，直至他昏了過去”。還有一個說法：雖然他不再如此經常挨打，那個家庭霸主卻“常常打狗，打得它屁滾尿流”；據小阿洛伊斯說，甚至連溫順的克拉拉也對它施暴。如屬實，這肯定給阿道夫留下永不磨滅的印象。至于年輕的阿洛伊斯呢，他再也無法忍受哈菲爾德的生活了。他不但覺得父親虐待了他，後母也對他不聞不問，而且對阿道夫也産生了厭惡感。“他傲慢專橫，從小就愛發怒，誰的話也不聽”，1948年他對一個會見的人說——事隔52年後，他仍耿耿于懷。“我的後母總是袒護阿道夫。他常常想入非非，卻又能逃脫懲罰。如果不按他的想法行事，他就會大發雷霆……他沒有朋友，他對誰都不喜歡，冷酷無情。為一點兒小事，他都會暴跳如雷。”
由于覺得自己受到虐待和遭到抛棄，小阿洛伊斯步了父親的後塵，于14歲那年離家出走，在父親的有生之年從未回來過。父親心存報複，将兒子要繼承的遺産減到法律所能允許的最低限度。哥哥一走，阿道夫便成了父親發洩怒氣的主要對象。父親給兒子增加了不少額外負擔，要是阿道夫不能達到要求，就必然會挨揍。幾個月後，這位愛唠叨的鄉紳不滿現狀，将成了負擔的農場變賣，帶着全家跑到6英裡外的朗巴赫過城裡的日子去了。全家在雄偉的本尼狄克修道院對面的格斯托夫·蘭加納旅館三樓住了半年。由于擺脫了農場瑣事的糾纏，阿道夫的生活變得愉快些了，他在現代學校裡的學習成績也很優秀。在1897—1898學年的大考中，得了12個“優”——最高的學分。他的嗓子也很好；他有時利用下午時間，跑到修道院的聖歌班學唱歌，指導教師是本哈德·格羅納神甫。在他回家的路上有座拱橋，上邊刻有修道院的盾形紋徽——最突出的是個卍字。
那些下午，莊嚴而又燦爛輝煌的教堂裡，濃郁的節日氣氛，能立即把他“陶醉了”。修道院的長老成了他的偶像，而他也希望自己能步入教會。奇怪的是，這種願望居然得到了父親的支持——父親是反教人物。後來，阿道夫對赫侖納·漢夫施坦格爾夫人說過：“還是在孩童時，他最熱切的願望就是當一名牧師。他常常把廚房女傭的圍裙借來，披在肩上當作神衣，往椅子上一趴，便久久地、熱心地講起道來。”虔誠的母親當然贊同兒子的這一想法，但阿道夫對教堂事務的興趣産生得快，消失得也快。不久，他在抽煙時給人抓住了。
此時，全家已住在二樓。房子寬敞、舒适，與一家工廠相連。對一個事事愛冒險的男孩子來說，這是個再理想不過的司令部了，為他提供了做他最喜歡的遊戲“牛仔和印第安人”的各種各樣的場所。在工廠的主人（一對夫婦）看來，阿道夫是個“小流氓”，難得在家，“哪裡有事，哪裡就少不了他”，且常常帶頭進攻梨樹或搞其他惡作劇。若是回家，“這野孩子”的褲子也總是被撕破，手上、腳上也總是傷痕累累。
對不得安甯的阿洛伊斯來說，朗巴赫的生活就跟鄉間的一樣乏味。于是，1899年，他便在林嗣郊區的裡昂丁村購買了一座舒适的房屋。這座房子坐落在當地墳地的圍牆一邊，雖然不比一般的屋子寬敞，但其地點正合阿洛伊斯的口味。裡昂丁有居民3000人，由于居住在緊靠劇場、戲院和巍峨的政府大樓的林嗣城，因而也有些文明的氣派。另外，當地居民都相處和睦。
小阿洛伊斯一走，阿道夫便成了父親管教的主要對象了。據保拉·希特勒的回憶，是阿道夫“惹我父親發火的，他每天挨揍。他是個不受管教的小流氓，不管父親如何打他，怎樣教訓他，要他熱愛國家的官職，統統都無濟于事。另一方面，我母親又是那樣的溺愛他，想盡量用慈母之心去彌補因父親的粗暴而使他沒有得到的東西”。
為了表示反抗，阿道夫決定離家出走。阿洛伊斯得悉了這個計劃，便把阿道夫鎖在樓上。晚間，阿道夫企圖從窗戶的鐵欄中間擠出去。因為夠不着窗戶，便将衣服脫下。正當他爬向自由時，忽聽得父親上樓聲，便連忙退下，用台布遮住赤裸裸的身體。這次，阿洛伊斯并未用鞭打來懲罰他。相反，他放聲大笑，高聲呼叫克拉拉快上樓來看看“這個穿寬袍的孩子”。比起鞭打，這種譏諷傷害阿道夫更深。後來，他私下對漢夫施坦格爾夫人說，他花了“好長時間才總算将這件事忘掉”。
多年後，他對一個秘書說，曾在一本冒險小說中讀到，不怕痛是有勇氣的表現。“我于是便下定決心，父親打我時我永不再哭。幾天後，我便有了一個考驗我意志的機會。我母親吓得跑到門外躲了起來。我呢，則默默地數着屁股上挨了多少棍。”希特勒宣稱，打那天以後，他的父親便再未碰過他。
雖然年僅11歲，在阿道夫消瘦的面容上就有些與衆不同的東西。在那年，裡昂丁小學的全班合照中，他站在頂排的中央，比同學們高出數英寸。他臉孔朝上，雙手交叉在胸前。他富有造反精神，又驕傲自負，毫無疑問，他是個聰明的孩子。論功課，他費不了多少力氣，同時他還發現了另一種才能——繪畫。從1900年3月26日畫的一幅關于瓦倫斯坦的畫中可看出，他作為畫家的天才又初露鋒芒。在課堂上，他會利用學習時間偷偷作畫。有一次，一個名叫溫伯格的男孩子，見他憑記憶便将“邵姆堡城堡”畫了出來，不禁目瞪口呆。
課間休息或放學後，他仍是同學們的領袖。他住過的地方比大多數同學一生中能去到的地方還多，因此，同學們都将他看成是大人物。在玩耍中，他常常受到弗尼摩·庫伯及其仿效者德國作家卡爾·梅依的曆險小說（他在拼命閱讀）的啟發和鼓勵。卡爾·梅依從未去過美國，但他寫的關于高貴的印第安人和身強力壯的牛仔的故事，卻在德國和奧地利被一代一代的男孩子看成是福音書。阿道夫對老薩特漢和他的同夥的冒險簡直着了魔。他不厭其煩地帶領同學們演出這些故事，年紀大些的孩子失去熱情後，他便找年紀小些的來演，有時甚至也把女孩子找來。
大概就在此時，他在兩本描寫1870年普法戰争的雜志裡找到了更有意義的刺激。他孜孜不倦地閱讀裡邊的文章和插圖。“不久，這個具有曆史意義的偉大計策，便成為我内心最偉大的經曆。”“打那以後，對凡是與戰争或因此而從軍相關的東西，我都越來越熱心。”（見《我的奮鬥》——這部書，出于政治目的，有時會扭曲事實。）
一年前爆發的布爾戰争，不但激發了他作為日耳曼人的愛國主義，而且也給他提供了玩耍的材料。一小時又一小時，他率領着他的“布爾軍”，與那些不幸要扮演英軍的孩子進行“激戰”。他經常玩得流連忘返，害得父親要等上一個鐘頭——他原以為阿道夫已去煙鋪為自己取煙葉。據溫伯格的回憶，其結果是，希特勒在家裡受到“熱忱”的歡迎。這些冒險的歲月，也許與希特勒未來生涯的形成有關。“樹林和草地，”他寫道，“是在生活裡随時随地均存在的‘沖突’中決定勝負的戰場。”
1900年，6歲的埃德蒙死于麻疹。4個孩子的死亡，幾乎使克拉拉難以忍受，而小阿洛伊斯已離家出走，能繼承姓氏的孩子就隻有阿道夫一人了。雖然阿道夫很快便可完成小學學業，家庭的悲劇卻又加劇了父子之間的沖突。阿洛伊斯的要求是讓孩子走他的路，并常用自己當公仆的切身體會來啟發兒子。兒子呢，是一心想當畫家，暫時将其革命計劃深埋心中。在未與父親争論的情況下，他便接受了下一步的上學計劃。阿道夫既可進預科學校（是大學預科，重點在對學生進行古典教育），也可進技工學校（着重進行科技教育）。講究實際的阿洛伊斯選了後者。阿道夫默然同意，因為這種學校裡也有繪畫課。