医療・交通・通信・都市計画等の内政から、対ユーラシア及び新大陸の世界政策まで、百年先を見据えた先駆的な構想を次々に打ち出し、同時代人の度肝を抜いた男。
水沢藩（現・岩手県奥州市）の医家に生まれる。藩校で学ぶうち、赴任してきた名知事・安場保和に見出される。福島の須賀川医学校で医学を学び、76年、愛知県病院に赴任。80年には弱冠23歳で同病院長兼愛知医学校長に。板垣退助の岐阜遭難事件に駆けつけ名を馳せる。83年内務省衛生局技師、ドイツ留学後同局長。相馬事件に連座したため衛生局を辞すも、陸軍検疫部にて日清戦争帰還兵の検疫に驚異的手腕を発揮し、衛生局長に復す。
1898年、総督児玉源太郎のもと台湾民政局長（後に民政長官）に抜擢され、足かけ9年にわたり台湾近代化に努める。
1906年、児玉の遺志を継いで満鉄初代総裁に就任、2年に満たない在任中に、満洲経営の基礎を築く。
1908年より第二次・第三次桂太郎内閣の逓相。鉄道院総裁・拓殖局副総裁を兼ねた。16年，寺内正毅内閣の内相、ついで外相としてシベリア出兵を主張。
1920年、東京市長となり腐敗した市政の刷新を唱導。また都市計画の発想に立ち、首都東京の青写真を描く（東京改造8億円計画）。在任中の23年にはソ連極東代表のヨッフェを私的に招聘し、日ソ国交回復に尽力する。
1923年の関東大震災直後、第二次山本権兵衛内閣の内相兼帝都復興院総裁となり、大規模な復興計画を立案。
政界引退後も、東京放送局（現NHK）初代総裁、少年団（ボーイスカウト）総長を歴任、普通選挙制度の導入を受けて、在野の立場から「政治の倫理化」を訴え、全国を遊説した。また最晩年には、二度の脳溢血発作をおして厳寒のソ連を訪問、日ソ友好のためスターリンと会談した。
1929年、遊説に向かう途上の汽車のなかで三度目の発作に倒れる。京都で死去。