查看完整版本 : Project-end lesson learned

akwok2080 2017-9-28 09:04 PM

Project-end lesson learned

小弟啱啱趕完一個都幾大型既project, 進入左post prod support. 終於有時間開po,有啲個人體會,同大家分享下。

小弟今次個role 係infrastructure lead, 管1個自己人, 1個美國人,4個賓仔。睇大概80個vm加physical servers. 主要係hyperion + ora database 系統升級,全部server 換新。客是美國服務業巨頭。

小弟第一次擔起infra lead 呢個title, 以前都係做app lead, 今次算係升左一級。個自己人做app lead,美國人本身負責開個客既日常support, 今次佢老細想佢學多啲project 野,「借」左佢俾我用50%FTE. 賓仔唔駛講,都係負責開support, 但skill 欠奉,睇log 都唔識,一班轉聲筒而己⋯

再續

jenniferyiu0800 2017-9-28 09:26 PM

堅揪 !!

不錯 !!!

MoonFa 2017-9-28 09:40 PM

Please explain how you can manage and monitor 80 VM so that we can all learn. :handshake

akwok2080 2017-9-28 11:25 PM

答Moonfa: 其實d server 同vm 唔駛我睇,我只負責size and order. 日常mon 住個server 係交俾一班咖哩人做。

就由size and order 講起,其實最重要係睇個客用緊咩,有沒咩問題,個新version 需要咩,同埋未來兩年會有啲咩改變。再作出相對調整。

個客啱啱收購左另一個主要對手,所以個size 差不多大左70%, 照常理,要求個server 快啲,容量大啲,應該好易approve. 問題出在邊個人approve.

負責approve 既係一個白人老處女,對server, application 沒咩概念,只係管數。但份人就好鐘意扮到自己好pro 咁,咩都要vendor documentation 去support 個server requirements. 例如個essbase 要幾多RAM 去host 幾多個cubes  咁。 呢啲doc 真係沒咩可能搵到,就算oracle 最近幾個version 都唔再出呢啲metric. 最終拖左我成個月都唔肯簽,眼見個deadline 越來越近,再唔落order 買server, 趕唔切。一個老屎忽教左我一樣野:「對人講人話、對鬼講鬼話」係第一個lesson learned.

其實佢根本唔care 個server 夠唔夠用,俾doc 佢,佢都唔識睇。佢care 嘅係個價錢。而我最錯就係從來沒俾過張catalog 佢睇。其實以前用緊𠴱set 野仲係用緊以前個pricing. 新嗰set 唔止快啲,大啲,其實個價仲平啲。 做完個ppt 之後,即日簽左。搞掂!

再續

PacificIslander 2017-9-29 12:40 AM

[quote]原帖由 [i]akwok2080[/i] 於 2017-9-28 11:25 PM 發表 [url=http://www.discuss.com.hk/redirect.php?goto=findpost&pid=468563584&ptid=26957418][img]http://www.discuss.com.hk/images/common/back.gif[/img][/url]
答Moonfa: 其實d server 同vm 唔駛我睇,我只負責size and order. 日常mon 住個server 係交俾一班咖哩人做。

就由size and order 講起,其實最重要係睇個客用緊咩,有沒咩問題,個新version 需要咩,同埋未來兩年 ... [/quote]

Infra qty and price - very rare the business can scrutinize both parameters. There are always leeways to manipulate.

Eg if they question why that many qty, you shim up the spec or unit cost.

Your case is the opposite - the lady has no basis to check the qty - you could have jacked up they qty by saying essbase, assbase ;P and she wont know. All she can touch was the catalog pricing.

勁呀! 做 project 既 infra lead. 頭痕少好多。

PacificIslander 2017-9-29 12:42 AM

[quote]原帖由 [i]jenniferyiu0800[/i] 於 2017-9-28 09:26 PM 發表 [url=http://www.discuss.com.hk/redirect.php?goto=findpost&pid=468558134&ptid=26957418][img]http://www.discuss.com.hk/images/common/back.gif[/img][/url]
堅揪 !!

不錯 !!! [/quote]

猛料! 未講內容丁丁已經有能力知道不錯。

;P

jenniferyiu0800 2017-9-29 01:53 AM

[quote]原帖由 [i]PacificIslander[/i] 於 2017-9-29 12:42 AM 發表 [url=http://www.discuss.com.hk/redirect.php?goto=findpost&pid=468566719&ptid=26957418][img]http://www.discuss.com.hk/images/common/back.gif[/img][/url]


猛料! 未講內容丁丁已經有能力知道不錯。

;P [/quote]

係呀岩.

akwok2080 2017-9-29 03:57 AM

第二個lesson learned 就係:「有啲野係沒得妥協的」

當一邊廂同緊個老處女咬緊個server sizing 時,另一邊廂同個dba lead 和project lead 咬緊architecture 既事。

事緣係咁的,essbase,我會定性佢係一個application,而唔係一個database. 但原則上佢真係一個database 係屬於data layer 喎... 以前個 essbase 同database 係分開兩個server 的。但係今次個客有一個好唔合理既要求係要把兩樣野合二為一。唔好問我點解,我到今時今日都唔係好明,錢應該係一個理由吧。應該諗住一部physical server咁貴唔好徙左佢,裝埋個database 落去吧?in theory 應該沒問題的,但係從來沒咁做過。好多同行都話唔好。

我當時一聽已經覺得( not a good idea ),oracle 根本唔recommend 呢個setup, 兩樣resources intensive 嘅野擺埋一齊,點睇都係「死L緊」。 堅持左兩個拜,衰在我份人耳仔軟,我又要趕住俾老處女簽名。最後我妥協了⋯

呢個妥協係我惡夢開始,server 到之前,為左試一試個architecture, 自己開左個vm,自己 試裝db 同essb,完全零問題,所以我對呢個arch 有返啲信心。到server 到左之後,dba 裝database 先,我再裝essbase。問題出現了,佢地足足用左兩個拜先搞掂。搞到我得返兩日要裝曬成set 野。唉~

最最慘其實係ORT 時,因為之前個essbase 個failover solution 係customized 的,所以新version 的failover 都係照原先個script改少少。問題出在而家個db 在同一個server 度,個failover script 一run 就殺死個db。嗰個拜足足OT 左40個鐘先搞掂。

「有些事是不能妥協的」,要相信自己的執著 是第二個lesson learned

再續

akwok2080 2017-9-29 08:53 AM

[quote]原帖由 [i]PacificIslander[/i] 於 2017-9-29 12:40 AM 發表 [url=http://www.discuss.com.hk/redirect.php?goto=findpost&pid=468566650&ptid=26957418][img]http://www.discuss.com.hk/images/common/back.gif[/img][/url]


Infra qty and price - very rare the business can scrutinize both parameters. There are always leeways to manipulate.

Eg if they question why that many qty, you shim up the spec or unit cost.
... [/quote]
少頭痕? 頭髮少左就真,遲啲講到你就明。

tom.care 2017-10-2 10:16 AM

*** 作者被禁止或刪除 內容自動屏蔽 ***

PacificIslander 2017-10-2 12:30 PM

[quote]原帖由 [i]tom.care[/i] 於 2017-10-2 10:16 AM 發表 [url=http://www.discuss.com.hk/redirect.php?goto=findpost&pid=468729171&ptid=26957418][img]http://www.discuss.com.hk/images/common/back.gif[/img][/url]
mark [/quote]

嘩,tom 板友好大煞氣! mark for kill?

akwok2080 2017-10-2 09:20 PM

第三個lesson:「你最好的朋友,亦可能會係豬一樣的隊友」

事緣,project 一開波選秀時,為左增加自己local office 嘅presence, 我選擇帶一個自己人入場。同呢個自己人(Marc)同一個部門5年,一直沒機會一齊做野,但聽其他lead 講,佢唔錯,係份人牙刷刷,成日搞下爛gag 咁。當時得佢一個得閒就㨂左佢。諗住佢都team lead level,差都唔會差得去邊。

事實係,做開先知佢少少linux 都唔識,我90%servers 都係企鵝⋯ 要我重新教佢。先發現越高level嘅人,越難接受新野。eg: 用左十世既ctrl c, ctrl v, 佢仲會click menu bar, edit, copy。落patch 個opatch command 教左十次有多都仲係錯⋯  最衰係你肯教人,人地未必肯學⋯ EQ太低。佢仲要啱啱經歴人生低潮,同老婆搞離婚,如果我嗰時彈佢鐘,我就沒人情味,留佢,我就啞仔食黃蓮。同我老細反映後,沒辦法,老細話一定要留,唯有把佢投閒置散,費事一個唔該rm -rf 我個application folder 。我死都唔掂。

好彩既係我發現個美國人好有potential, 學得多,學得快。個客嘅bureaucracy procedures 全部都熟。幫我慳到唔少時間。我有好多procedure 方面既野都靠佢。

再續

tom.care 2017-10-3 05:13 AM

*** 作者被禁止或刪除 內容自動屏蔽 ***
頁: [1]
查看完整版本: Project-end lesson learned