1860年、江戸の貧困な夜店商人の家に生まれる。
13歳より唐物屋に奉公し、1874（明治7）年から時計店に勤め、時計の修繕販売に従事する。
その後、1881（明治14）年に個人経営で時計小売業として服部時計店（現・セイコー株式会社）を開業した。
商売熱心だったため、早くも3年後には「東京時計商繁盛鏡」と言う時計商番付の最下段に登場した。 また、良い商品を仕入れていたため「浜の屋敷（横浜外国商館）」の信頼も得るようになった。 こうして実績を重ね銀座にも進出し、開業６年目にして服部時計店は時計販売の大手に育った。
当時、我が国の時計製造業は未発達ですべて輸入に頼っていたが、1892年に精工舎をおこし、掛時計・懐中時計・目覚まし時計の製造に着手。 欧米の技術を学び国産時計製造業の発展に尽し、ついに外国製品に比肩しうる精巧品の製造に成功した。第一次大戦時には欧米に輸出するに至った。 「SEIKO（セイコー）」はその商標である。「一人一業主義」を守り、始終時計業に専念した。
また赤十字社をはじめ、各種社会事業にも貢献した。1930（昭和5）年私財を投じて財団法人服部報公会を設立した。
墓所の入口が正面ではなく、先祖の墓より大きい。夫婦墓で妻の戒名が正面の左にある。コンクリートで墓地を敷き詰めてあるのも特徴。