查看完整版本 : 我做的problem ticket 做到比人開root cause analysis

annOhui 2020-11-8 09:16 AM

我做的problem ticket 做到比人開root cause analysis

是hypervisor 和VM 的關係。
在VM rpm query 出現malloc NULL。
(1)  error message 引導是insufficient memory
(2)  經驗可能會感覺 KSM corrupted 因為 yum clean 會有lock 的issue

VM reboot 又停曬所有停得既application 都有問題,理論就要hypervisor 做嘢。在依個時候,新任manager 出現,佢『口頭』同我話rebuild, 我同manager 嘈咗幾句之後,佢話搵colleague 幫我搵個做VM rebuild 既人,唔知點解當時好easy 咁又肯做喎。我就負責協調application 和user 之類啦。

做完,就係做rebuild 果個人的manager 要求開root cause analysis。我再同manager 講,程序錯喎,佢開始時還說開root cause analysis 黎做咩?都rebuild 啫咯!我逐句解釋,佢先話sorry 『睇錯』咗。

每個人都有自己的目標,其實對事情是不協調亦沒有效。而我只懂在manager 和colleague 壓力下妥協。如果我唔妥協,我被排擠。我做又死,唔做又死。

現在我有點混沌。

daisukemoi 2020-11-8 09:29 AM

[quote]原帖由 [i]annOhui[/i] 於 2020-11-8 10:16 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527376458&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
是hypervisor 和VM 的關係。
在VM rpm query 出現malloc NULL。
(1)  error message 引導是insufficient memory
(2)  經驗可能會感覺 KSM corrupted 因為 yum clean 會有lock 的issue

VM reboot 又停曬所有停得既application 都有問題,理論就要hyperviso ... [/quote]
如果公司有 incident management procedure, 可以跟程序走, 不會有爭拗.
例如甚麼時候需要 Root Cause Analysis (RCA) (按照影響度而定, 如對業務有嚴重影響, 或有損失等)
甚麼時候不需要 RCA (如影響度低, 輕微或沒影響)

開RCA, 是正常程序, 找出原因及正確解決方法, 減少再次發生問題.
其實沒有甚麼大不了.

[[i] 本帖最後由 daisukemoi 於 2020-11-8 11:10 AM 編輯 [/i]]

PacificIslander 2020-11-8 09:45 AM

樓主,IT 講乜野 IT procedure / solution 都無用,bussiness impact severity 係到乜程度?

form5 2020-11-8 11:10 AM

[quote]原帖由 [i]annOhui[/i] 於 2020-11-8 09:16 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527376458&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
是hypervisor 和VM 的關係。
在VM rpm query 出現malloc NULL。
(1)  error message 引導是insufficient memory
(2)  經驗可能會感覺 KSM corrupted 因為 yum clean 會有lock 的issue

VM reboot 又停曬所有停得既application 都有問題,理論就要hyperviso ... [/quote]
想請教 點樣 trace 個問題?  yum clean 有 Lock issue 應該好容易搞架,guest VM 死吾應該拖死個hypervisor喎

井底中心的神童 2020-11-8 12:19 PM

[quote]原帖由 [i]annOhui[/i] 於 2020-11-8 09:16 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527376458&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
是hypervisor 和VM 的關係。
在VM rpm query 出現malloc NULL。
(1)  error message 引導是insufficient memory
(2)  經驗可能會感覺 KSM corrupted 因為 yum clean 會有lock 的issue

VM reboot 又停曬所有停得既application 都有問題,理論就要hyperviso ... [/quote]
我好明白。。。

我個 case 是 Windows 2019 + TLS cipher + iOS 14.0 incl. TLS cipher changes + Apple Push Notification Services...

APNS 不斷投訴 invalid token,我同 team 同事起初不斷堅持一定要產品經理解決問題所在, 還好幾個話得事嘅同事比較開明, 拎出嚟同其他同事一齊討論 , 因為我本身經歷過 Windows 2019  巨變, 加上有一隊r&d同事已經幫個客睇完又睇都搵唔到問題, 我覺得我接手可能仲好少少。 結果畀我搵到好奇怪我仲搞緊嘅情況,就係 Apple producer SSL cert 竟然是 SHA1,一個佢自己話 iOS 13.0 已經斷咗支援嘅格式。 冇理由㗎我今日出㗎喎, 喺咁嘅情況之下我諗住建議客戶改用第三種方式, 呢一種方式蘋果係強烈建議採用的 但唔知點解個客冇揀到。

其實我覺得,因為我哋做前線嘅層面已經越嚟越複雜, 最混濁嘅狀態出現咗喺我哋呢一層, 其他層面嘅同事,包括自己嘅經理,都未必可以好似以前咁清清楚楚鎖定到問題實際出係邊一個範疇。

我個人覺得呢啲算係死結, 要睇下你自己嘅經理係唔係開明嘅人。。。。

[[i] 本帖最後由 井底中心的神童 於 2020-11-8 12:31 PM 編輯 [/i]]

abcd5678 2020-11-8 04:23 PM

第一樣, 想想自己有沒有犯錯, 冇的話, 跟程序做, 同2樓說一樣, 其實沒有甚麼大不了.

有的話, 自爆.

form5 2020-11-8 04:57 PM

Operation 人為出錯吾出奇,樓主可以delete 晒啲log, 係就要快手,不過吾建議甘做:lol

jenniferyiu0800 2020-11-8 05:16 PM

*** 該帖被屏蔽 ***

PacificIslander 2020-11-8 06:17 PM

*** 該帖被屏蔽 ***

井底中心的神童 2020-11-9 07:12 PM

[quote]原帖由 [i]form5[/i] 於 2020-11-8 04:57 PM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527394424&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
Operation 人為出錯吾出奇,樓主可以delete 晒啲log, 係就要快手,不過吾建議甘做:lol [/quote]
都唔一定。我試過係 Windows 2019 經 server manager 正式地 enable 的 default service..... 都係唔 work。

Turn out 係 IIS 的 ISAPI / CGI 有設定冇做到。下?我冇做任何客制化設定啊微軟大哥😭😭,全部都係佢叫 click 就 click,冇加改減任何野。。。。。

完全冇 log。好彩之前試過類似 isapi error,那次花了我十日才知。今次想了五日,開始明白可能又中。。。點知真中:smile_30::smile_30::smile_30:

speed2046 2020-11-14 07:42 AM

[quote]原帖由 [i]井底中心的神童[/i] 於 2020-11-9 07:12 PM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527445416&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]

都唔一定。我試過係 Windows 2019 經 server manager 正式地 enable 的 default service..... 都係唔 work。

Turn out 係 IIS 的 ISAPI / CGI 有設定冇做到。下?我冇做任何客制化設定啊微軟大哥😭😭,全部都係佢叫 click 就 click,冇加改減任何野。。。。。

完全冇 log。好彩之前試過類似 isapi  ... [/quote]


你係一位負責任的員工, 你公司應該幾幸運

子時疑惑的世界 2020-11-14 08:39 PM

相信你都好快比人炒
1.同新任manager關係差
2.將公事拎晒上forum講,違反NDA

井底中心的神童 2020-11-14 10:58 PM

[quote]原帖由 [i]子時疑惑的世界[/i] 於 2020-11-14 08:39 PM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527663601&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
相信你都好快比人炒
1.同新任manager關係差
2.將公事拎晒上forum講,違反NDA [/quote]
我係衷心理解佢實際嘅困難

如果佢新任經理同埋公司 連呢啲 細翳嘢都容忍唔到, 我相信以樓主嘅實力,搵過另外一份工對佢嚟講前途更好。

如果佢要求出 Root Cause Analysis, 你認為有人 challenge嘅時候 佢嘅新任經理唔會隊佢出去? 你認為佢真係完全冇做過深入 technical evaluation?

做人就好難面面俱圓。 特別係專注技術嘅人, 同時識得處理複雜嘅人事關係 我諗 十隻手指都數得出。 如果個新任經理咁都頂唔住, 冇人夠膽進言,係佢親手埋下鑊氣, 佢好彩嘅就過到關,唔好彩終歸都會受番。

井底中心的神童 2020-11-14 11:04 PM

[u]Del[/u]

[[i] 本帖最後由 井底中心的神童 於 2020-11-14 11:06 PM 編輯 [/i]]

井底中心的神童 2020-11-14 11:05 PM

[quote]原帖由 [i]speed2046[/i] 於 2020-11-14 07:42 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527636398&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]



你係一位負責任的員工, 你公司應該幾幸運 [/quote]
多謝,我哋做vendor side 其實有時都迫於無奈之下 一定要學。 我哋收人man-hour真係貴 客戶自然要求非比尋常 真係冇辦法一定要連人哋系統都要快上手。。。

漆哥 2020-11-19 10:36 PM

樓主講個CASE怪怪的,人地眼中就係一味推出去人地做,人地開大會(可能就係問點解要佢做),樓主就話人地程序錯,而樓主就一D野都未做過!我係你老板都唔知點Manage
等樓主回禮 ;P

井底中心的神童 2020-11-20 01:51 AM

[quote]原帖由 [i]漆哥[/i] 於 2020-11-19 10:36 PM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527880663&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]
樓主講個CASE怪怪的,人地眼中就係一味推出去人地做,人地開大會(可能就係問點解要佢做),樓主就話人地程序錯,而樓主就一D野都未做過!我係你老板都唔知點Manage
等樓主回禮 ;P [/quote]
唉,我正正經歷中。

原來真係好多系統以前只用 http 連線,近年安全問題,多了 ssl 連線。一唔得個個都話係你問題,如果唔好彩 Tcpdump 顯示係你個邊先提出 close_notify 兼出 fin,真係百詞莫辯,景況淒涼。你話係 network 問題,佢話佢有開 port,開 firewall,用 browser 去到。。。。

其實有咁上下實力既 Network team,會知道有好多情況,Windows cipher 唔正確,cert 有事,load balancer 不支持 sticky session,idle time 太長 firewall 斬線。如果沒有 root cause analyse,睇怕好多 vendor 好頭痕。。。。:fst_005::fst_005:

abcd5678 2020-11-20 02:17 AM

[quote]原帖由 [i]井底中心的神童[/i] 於 2020-11-20 01:51 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527885394&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]

唉,我正正經歷中。

原來真係好多系統以前只用 http 連線,近年安全問題,多了 ssl 連線。一唔得個個都話係你問題,如果唔好彩 Tcpdump 顯示係你個邊先提出 close_notify 兼出 fin,真係百詞莫辯,景況淒涼。你話係 network 問題,佢話佢有開 port,開 firewall,用 browser 去到。。。。

其實有咁上下實力既 Network team,會知道有 ... [/quote]
Use wireshark can simplify this process.

漆哥 2020-11-20 03:56 AM

[quote]原帖由 [i]井底中心的神童[/i] 於 2020-11-20 01:51 AM 發表 [url=https://www.discuss.com.hk/redirect.php?goto=findpost&pid=527885394&ptid=29528136][img]https://www.discuss.com.hk/images/common/back.gif[/img][/url]

唉,我正正經歷中。

原來真係好多系統以前只用 http 連線,近年安全問題,多了 ssl 連線。一唔得個個都話係你問題,如果唔好彩 Tcpdump 顯示係你個邊先提出 close_notify 兼出 fin,真係百詞莫辯,景況淒涼。你話係 network 問題,佢話佢有開 port,開 firewall,用 browser 去到。。。。

其實有咁上下實力既 Network team,會知道有 ... [/quote]
人多就難辦事,一有問題就係你推我我推你,只怪高果班離地五十萬尺Manage Conflicts,其實Apply Cert有幾難,大公司多濕九Admin,咩都唔識,連Apply Cert都推去Development Team,兩年冇Renew,出事先更進,見新Web Server唔識落Cert,就話唔係佢負責!我真係試過有Operation Team叫我自己去Edit個Apache Config,佢真係痴痴地!

你呢個情況,我做靚時就只得一招,就係叫佢Escort我開個Production俾我入去,我幫手睇下Log,通常佢都會話自己睇番。到我做阿頭時,呢D動作我就一定射去Infra個阿頭,如果其頭高姿唔理我,我就俾錢搵Consultant做個報告後,再成份報告飛去其頭再Cc佢老板嘅老板!話公司洗左畢無謂錢

[[i] 本帖最後由 漆哥 於 2020-11-20 04:03 AM 編輯 [/i]]
頁: [1]
查看完整版本: 我做的problem ticket 做到比人開root cause analysis