神戸における気象観測は、神戸港の初代港長のイギリス人ジョン・マーシャルにより、神戸市海岸通の港務所において、明治8年10月に開始されました。
明治20年8月の気象台測候所条例に基づき、兵庫県測候所の位置が神戸に定められ、兵庫県公示をもって明治29年12月に神戸市中山手7丁目宇治野山の神戸測候所が気象観測を開始しました。
一方、海難などの災害を防止するため、海運業者を中心とした民間からの資金拠出により、大正9年8月に神戸測候所の敷地内に海洋気象台が発足しました。大正11年12月には世界に先駆けて船舶向けの気象警報などの発信を開始しています。
その後、昭和14年11月の気象官署官制の施行により神戸測候所は海洋気象台に合併され、現在に至る基本組織が完成しました。昭和17年8月には、我が国2番目の海洋気象台が函館に創設されたことから、名称を神戸海洋気象台と改称しました。
平成7年兵庫県南部地震により庁舎一部損壊の被害を受けたため、平成11年9月1日に現在の神戸防災合同庁舎に移転、業務を開始しました。
また、平成25年10月1日には、組織改編に伴い神戸地方気象台となりました。