服務器時間同步我一直使用的cn.ntp.org.cn,使用了差不多五六年的時間一直沒有出現過問題。
ntp.org.cn也不是什么盈利組織創辦,能提供這樣的免費服務,實屬不易。
但是今天早上出現的災難性故障,不得不使我更換ntp服務器地址。
早上起床查看釘釘報警就是各種服務狀態不穩定的告警,由于是非生產環境,本身會自動重啟,所以就沒有在意,打算去公司以后再具體查看原因。
可是還未到公司就接到電話說生產環境創建的訂單時間全部為2000年,一開始還不相信(因為所有服務器都有時間同步),到公司以后登陸服務器查看,好幾臺服務器時間的確變為了2000年。

導致的結果就是:
1、線上業務出現操作報錯。
2、日志系統無法正常查詢今天的部分日志。
3、新增的訂單時間全部為2000年。
4、監控數據缺失。
5、大部分業務功能基本處于不可用狀態。
然后馬上找了一個可用節點手動進行同步,時間正常以后,再修復數據庫時間錯誤的記錄。
最后找到了阿里云提供的NTP服務器,進行所有服務器的地址替換。
到此此次故障才得以完全解決。
故障解決以后,去查看監控數據,發現今天凌晨4點10分左右開始就出現監控數據斷斷續續丟失的情況。

經排查發現是由*方糖科技*提供的節點223.113.103.191故障導致的時間同步出現錯誤。


由于DNS解析原因,有些服務器會間斷的解析到223.113.103.191導致故障,這個從監控數據的丟失就看得出來。

最后推薦幾個NTP服務器地址:
阿里云內網(專有網絡VPC內網):ntp.cloud.aliyuncs.com,這個服務器地址阿里云是這樣介紹的:
ntp.cloud.aliyuncs.com服務器提供分布式的一級時鐘源,適用于金融、通訊、科研和天文等以時間精度核心的生產行業。
騰訊云內網:
time1.tencentyun.com
time2.tencentyun.com
time3.tencentyun.com
time4.tencentyun.com
time5.tencentyun.com
公網:
阿里云:
ntp.aliyun.com
ntp1.aliyun.com
ntp2.aliyun.com
ntp3.aliyun.com
ntp4.aliyun.com
ntp5.aliyun.com
ntp6.aliyun.com
ntp7.aliyun.com
騰訊云:
time1.cloud.tencent.com
time2.cloud.tencent.com
time3.cloud.tencent.com
time4.cloud.tencent.com
time5.cloud.tencent.com
其他還有很多教育機構的NTP服務器,這里就不列出來了,畢竟阿里和騰訊云屬于商業機構,為自己產品提供的時間同步服務穩定性和精度是有保障的。


