1847-ben költözött családjával Miskolcra. A bécsi politechnikumba iratkozott, de apja korai halála miatt nem fejezhette be tanulmányait. Géplakatosnak állt, hogy eltartsa magát. 1857-ben besorozták 12 évre. 1863-tól Kőszegen fényképészként dolgozott, majd néhány év múlva elnyerte a Erdélyi Múzeum Egylet preparátori állását. Itt kezdődött tudományos pályája, jelentek meg első írásai. Főként a madarakkal és pókokkal foglalkozott.

1874-ben költözött Budapestre. A Magyar Nemzeti Múzeum természettudományi tárának őrsegéde lett. A Természettudományi Társulat megbízta Magyarország pókfaunájának felkutatásával. A munka eredménye egy három kötetes könyv lett.

Politikai mozgalmakban is részt vett, 1871-ben állást foglalt a Párizsi Kommün mellett. 1879-ben országgyűlési képviselővé választották.

Magyarországon a tudományos madártan, az ornitológia megalapítója. Az általa megindított Aquila című folyóirat a hazai madártani kutatások központi orgánuma volt. 1901-ben megírta A madarak káráról és hasznáról című könyvét, majd elkészítette A magyar halászat könyve című kétkötetes monográfiáját. A millenniumi kiállítás halászati és pásztorkodási részlegének rendezőjeként gyűjtötte a magyar ősfoglalkozások népi szokásait és tárgyi emlékeit. Feltárta a miskolci úgynevezett Bársony-házi leletekben az ősember eszközeit.

79 éves korában, halála évében jelent meg A magyar pásztorok nyelvkincse című kötete. Utolsó magyar polihisztor a Magyar Néprajzi Társaságnak alapító tagja, majd elnöke, 1900-ban megkapta a francia Becsületrend lovagkeresztjét.

1914. december 27-én Budapesten halt meg, hamvai Miskolcon, a Hámori temetőben nyugszanak.

Alsóhámoron, egykori nyaralója emlékházként működik, gazdag gyűjteményű múzeum őrzi nevét Miskolcon, amely 1985 óta tudományos kutatóhelyként működik. Nevét több városban utcák, terek, iskolák, Orfűn egy tó is őrzi. Herman Ottó 14 könyvből, 1140 tételből álló bibliográfiája, tanulmányai, közzétett előadásai, illusztrációi egy máig ható, példás személyiség halhatatlan jelentőségű hagyatékát és emlékét őrzik.