Gmeiner urodził się 23 czerwca 1919 w Alberschwende jako szóste spośród dziewięciorga dzieci w rodzinie chłopskiej. Gdy miał pięć lat, zmarła jego matka, a opiekę nad rodzeństwem objęła najstarsza siostra Elsa. To ona stała się „pierwowzorem” matki w wioskach dziecięcych. Jako uczeń gimnazjum został w 1940 r. wcielony do niemieckiego Wehrmachtu. Na froncie zetknął się z izolacją i cierpieniem sierot wojennych oraz bezdomnych dzieci. Wyrobiło to w nim przekonanie, że pomoc nigdy nie może być skuteczna, dopóki dzieci muszą dorastać bez własnego domu.

Maturę zrobił dopiero po wojnie i w 1946 rozpoczął studia medyczne na uniwersytecie w Innsbrucku, chciał bowiem być pediatrą. W tym czasie angażował się w prace młodzieżowych organizacji kościelnych i często stykał się z sierotami wojennymi i opuszczonymi dziećmi. Z myślą o pomocy dla nich wspólnie z kilkoma innymi osobami założył w Imst stowarzyszenie „Societas Socialis” zarejestrowane 25 kwietnia 1949 w Innsbrucku.

„Nie znam niczego innego poza pomocą dziecku, poza tym że damy mu matkę i rodzeństwo damy dom i wioskę”, tłumaczył zasadę działania Wiosek Dziecięcych. Już w 1960 r. sieć wiosek składała się z 10 placówek i stu rodzin, wspieranych regularnie przez milion darczyńców. W tym samym roku założone zostało biuro generalne SOS-Kinderdorf International w Strasburgu kierowane przez Gmeinera. Działalność wiosek szybko rozwijała się w Europie, ale także na innych kontynentach.

W 1982 r. rozpoczęła działalność Akademia Hermanna Gmeinera w Innsbrucku, która stała się ośrodkiem szkoleniowym dla pracowników SOS z całego świata, miejscem spotkań międzynarodowych oraz centrum rozwoju koncepcji opieki nad dzieckiem i wychowania w SOS Wioskach Dziecięcych.

W 1984 w Biłgoraju została założona pierwsza SOS Wioska Dziecięca w Polsce. W kolejnych latach powstały trzy kolejne: w Kraśniku (1992), Siedlcach (2000) i Karlinie (2005).

Oprócz Wiosek SOS od 1998 r. Stowarzyszenie prowadzi także Dom Młodzieży SOS w Lublinie, Wspólnoty Mieszkaniowe SOS dla młodzieży w Kraśniku, Siedlcach i Koszalinie, rodzinne domy czasowego pobytu w Biłgoraju i Ustroniu, a także tzw. „małe przedszkola” na terenach wiejskich.

W uznaniu zasług na rzecz osieroconych i porzuconych dzieci był wielokrotnie nagradzany. Gdy 26 kwietnia 1986 zmarł na raka w Innsbrucku, działały już 233 wioski dziecięce SOS w 85 krajach świata. Został pochowany w Imst na terenie pierwszej założonej przez niego wioski dziecięcej.

W 1995 r. SOS-Kinderdorf International uzyskało miano pozarządowej organizacji ze statusem doradcy przy Radzie Ekonomiczno-Socjalnej ONZ.