發表文章

目前顯示的是 1月, 2021的文章

來看看Tryolabs選出的2020十大Python函式庫-終

圖片
本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的最後一篇。上一篇介紹了 PyTorch 版的 Keras「PyTorch Lightening」讓你告別沒完沒了的 Debug!另外還有微軟出的 Hummingbird 讓你不用重新設計新模型;另外還有可以將高維度資料視覺化的「HiPlot」,請 點此 看上一篇閱讀了解!     2020十大 Python 函式庫最終回會有那些函式?壓軸登場啦! HiPlot 幾乎每個數據工程師都處理過高維度資料(High Dimensional)。可惜人類的腦容量有限,無法直觀地處理此類資料,因此必須求助於科技來解決。 2020 年早些時候,Facebook 發布了 HiPlot函式庫,可使用平行座標和其他圖形方式來表示信息,從而協助找出高維度資料中的關聯性和模式。他們在官網中說明了其概念,基本上,HiPlot 是一種將高維度資料視覺化以及過濾的便利方法。         Scalene 隨著 Python 的函式庫生態系統變得越來越複雜,我們也寫出越來越多 C 語言延伸的代碼以及多執行緒代碼。但是,CPython 內置的效能分析器(profiler)無法完整地處理多執行緒和本機代碼。 此時你需要 Scalene:Scalene 是用於 Python 腳本的 CPU 和記憶體的效能分析器(profiler),能完整地處理多執行緒代碼並區分運行 Python 和本機代碼所花費的時間。此時你無需修改代碼,只需要在命令行中使用 Scalene 運行腳本,腳本就會自動生成報告的文字檔或 HTML,顯示代碼中每一行的 CPU 和記憶體使用情況。     ▲ Scalene 是用於 Python 腳本的 CPU 和記憶體的效能分析器,能處理多執行緒代碼並區分運行 Python 和本機代碼所花費的時間   同場加映: Norfair 選出去年十大 Python 函式庫的機器學習顧問公司 Tyrolabs 自家也開發了「影像內容分析 (Video content analysis)」的 Python 函式庫「Norfair」。 Norfair 是一個輕量的且可被客製化的 Python 函式庫,用於即時物件追蹤(real-

來看看Tryolabs選出的2020十大Python函式庫-3

圖片
本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的第三篇。上一篇介紹了美化了 Python 錯誤信息的「Pretty Errors」,堪稱是療癒系的工程師的 debug 神器、還有「Diagrams」讓工程師不需要使用設計軟體,只要使用 Python 就能畫出美輪美奐的雲系統架構圖。請 點此 看上一篇閱讀了解 。   Python 函式庫還有哪些寶藏藏在裡面?這篇繼續讓我們繼續學習!   Hydra 與 OmegaConf :結構化複雜的機器學習項目 在機器學習項目中做研究與實驗時,總是有五花八門的環境配置工作。在這些非平凡(non-trivial)的應用程式中,配置管理可能會變得也複雜。是否有結構化的方法來處理這種複雜性? Hydra 可藉由「組合」的方式來建構配置,並從命令列或 config 設定檔中覆蓋某些特定的部分,而加快了執行速度。 為了要說明 Hydra 函式庫可簡化一些特定的任務,tryolabs 舉了他們正在試驗的模型的基本架構以及它的多種變化為例。借助 Hydra,可以定義基本配置,然後運行多個工作並對其進行變化:     Hydra 的表親「OmegaConf」為分層配置系統的基礎提供了一致的 API,並支援不同的來源如 YAML、config 設定檔、物件與 CLI 參數。   PyTorch Lightning :PyTorch 版的 Keras,告別沒完沒了的 Debug PyTorch 是一款熱門的的深度學習框架,可以簡單的方式建構複雜的 AI 模型。但是當作大量實驗的時候,很多東西都會變得複雜過頭,代碼也隨之變得龐大,此時還是容易出錯。 於是,PyTorch Lightning 就為了減少錯誤而誕生:它可以重構 PyTorch 代碼、抽出複雜重複的部分,讓工程師可以專注於核心的建構、實驗也更快更便捷地開展迭代。     ▲ PyTorch Lightning 可以重構 PyTorch 代碼、抽出複雜重複的部分,讓工程師可以更專注在研究代碼上         Lighting 的原理是藉由將研究代碼從重複性強的工程代碼區分開,讓工程師可以專注在研究代碼上,思緒就會更加清晰,整體代碼也更加簡潔。  

來看看Tryolabs選出的2020十大Python函式庫-2

圖片
本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的第二篇。上一篇介紹了把單調的「命令列介面」變花俏的 Python 函式庫:Typer、Rich 與 PyGui,除了可把命令列/終端機介面變彩色外,還可以加入表情符號與特效等。請 點此 看上一篇閱讀了解 。     想必你真的對 Python 函式庫很有興趣才又點進來,看到最後相信你會收穫多多! PrettyErrors :將 Python 醜陋的 bug 信息變漂亮 Python 已經是言簡意賅的程式語言了,但是當有 bug 時,它的錯誤信息輸出(參見下圖左側)也是一樣會讓你懷疑人生!密密麻麻的代碼,讓你必須在毫無頭緒之下地毯式搜索!     ▲PrettyErrors 函式庫將原本混亂的 Python 錯誤信息(箭頭左邊所示)重新排版得井然有序、顏色與段落都很分明(箭頭右邊所示)     經過 PrettyErrors 的重新排版,所有醜陋的錯誤信息都能變的井然有序,最後你得到的是經過排版美化、整齊劃一的 bug 報告,如上圖的右側所示。   Diagrams :只用 Python 就能繪製雲系統架構 程式設計師除了 coding 與 debug 外,有時還需要跟其他的同事解釋錯綜復雜的架構。傳統上,我們會使用圖像介面(GUI) 工具來處理圖表、將其可視化後放入簡報、文件等,但這並非唯一的方法。 Diagrams 可以讓你在沒有任何設計工具的狀況下,僅僅使用 Python 程式碼就繪製出雲系統架構!它有現成的圖標,讓你能馬上對應AWS、Azure、GCP 等多個不同的雲端供應商,使得繪製箭頭、創建群組等都輕而易舉!只需幾行代碼即可!     ▲ Diagram 函式庫能讓工程師僅僅使用 Python 代碼 就能繪製雲系統架構圖       下篇,我們即將介紹 PyTorch 版的 Keras「PyTorch Lightening」讓你告別沒完沒了的 Debug!另外還有微軟出的 Hummingbird 讓你不用重新設計新模型;另外還有可以將高維度資料視覺化的「HiPlot」, 點此 看下一篇閱讀了解!     延伸閱讀: 世界最快人工智慧偵測技術YOLOv

來看看Tryolabs選出的2020十大Python函式庫-1

圖片
這十大最強 Python 函式庫,將在你的AI學習道路上加分加分~   國外的機器學習與資料科學顧問公司「Tryolabs」每年底都會選出年度十大最強 Python 函式庫。去年(2020)年尾不例外。 根據 Tryolabs 提出的免責聲明,2020 年他們在精選出 10 大函式庫時,在很大程度上是受到機器學習與數據科學的影響——儘管其中有幾個確實對「非」數據科學的人士非常有用。 因此,除了 10 個入選的 Python 函式庫之外,他們決定再從遺珠之憾中,挑出幾個他們覺得同樣重要的數據庫,列入「榮譽表揚(Honorable mentions)」的部分。   以下為入選的十大 Python 函式庫: Typer :讓命令列介面更好編輯 雖然你並非總是需要編寫沒有圖像、滿滿文字的 CLI(命令列介面)應用程式,但是一但遇到了,一定會希望能速戰速決、無後顧之憂。FastAPI 的創作者「tiangolo」繼之前的 FastAPI 框架取得巨大的成功後,使用了相同的原理創作了新的函式庫 「Typer」,使你可以借力於 3.6 以上版本的 Python 才有的「類型提示(Type Hinting)」功能來編寫命令行介面。 這樣的設計讓 Typer 脫穎而出。透過「類型提示(Type Hinting)」功能,您可以在 Python 編輯器(如 VSCode)中享有「自動完成」功能,這將大大提高您的工作效率;除了能確保所寫的程式碼是否完整被紀錄之外,你也花了最少的力氣寫出純文字的 CLI 命令列介面的應用程式。     ▲ Typer 賦予 Python 編輯器(圖中為 VSCode)「自動完成」的功能,能有效提升寫程式的效率。(圖:FastAPI)       為了增強其功能,Typer 被建立在知名的「命令列神器」Click 之上。這意味著 Typer 可以充分利用 Click 既有的所有優點、社群與插件,使用更簡潔的樣版代碼,並依據所需,進行更複雜的工作。   Rich :讓命令列介面從黑白變彩色 依循命令行介面 CLI 的主題,誰說終端應用程式必須是單色的白色、或是駭客電影中常見的黑色、綠色呢?太無聊了! 身為 Python 工程師的你,是否會想再終端輸出時添加色彩與樣式,像是

新的人工智慧"MuZero"比AlphaGo更上一層樓!(下)

圖片
本系列文章為【終極版AlphaGo-MuZero 】的下篇,MuZero竟然不用靠人類訓練,就可以自我摸索出西洋棋規則?請 點此 看上篇閱讀了解     今天讓我們繼續討論 人工智慧 MuZero!它竟然還會這麼多技能!   除了下棋⋯⋯人工智慧 MuZero 還可壓縮影片!有望降低 YouTube 成本 除了下棋玩遊戲之外,MuZero 也被投入商業用途。 David Silver 表示,DeepMind 正嘗試用 MuZero 來開發新型的影片壓縮技術:「如果查看整個網路世界的資料流量,會發現影片占了很大的比例,如果可以更有效地壓縮影片的大小,可以省下大量資金、縮減經營成本。」 「初步實驗顯示,只是單純壓縮影片能取得的收益也非常可觀,我們對此感到很興奮。」     ▲ 思科(Cisco)預估 2022 年時,影片將佔據全球 82 %的網路流量。來源:CardMapr on Unsplash   由於同為 Alphabet 旗下的 Google 握有世界上最大的影音平台 YouTube,因此 YouTube 很有可能成為最大獲益者。然而 David Silver 拒絕透露 Google 將在何時、何地使用 MuZero的功能,只表示未來一年內將會公布更多細節。 此外,MuZero 也計畫被用於解決化學或量子物理等問題,潛在應用領域也包括新一代虛擬助理、個人化醫療與搜索救援技術等。     AI 人工智慧 更像人了 DeepMind 的核心理念是利用 人工智慧 為世界做出貢獻,MuZero 的能力與多種實際應用的可能,是 AI 走出理論的象牙塔、更貼近現實的重要里程碑。 但突破性的進步往往也伴隨著隱憂。南安普敦大學電腦科學教授、人工智慧委員會成員 Wendy Hall 認為,DeepMind 一心追求提升 AI 性能,但對於可能造成無法預料的嚴重後果:「就像是噴射機的發明者可能沒考慮過汙染問題。人們必須要在發展與風險中取得平衡。」 MuZero 可以歸納實際情況與當下的行動,不需要通曉所有的可能性,也能表現出色。這個特色非常人性化,也很接近人類處事的模樣。但這是會讓 人工智慧 成為更出色的虛擬助理呢?還是會讓 AI 離取代人類越來越接近?只能拭目以待了。   人工智慧「

新的人工智慧"MuZero"比AlphaGo更上一層樓!(上)

圖片
人工智慧 MuZero竟能和AlphaGo匹敵,而且似乎還更上一層樓..   比打敗人類棋王的AlphaGo更強!無師自通的人工智慧MuZero誕生 2016 年,DeepMind 開發的 人工智慧 圍棋軟體 AlphaGo 打敗了韓國棋王李世乭,成為第一個擊敗人類棋手的 AI。2018 年, 它的繼任者 AlphaZero 從零開始,靠自學學會西洋棋、將棋、圍棋 。 近日,DeepMind 發表超越 AlphaGo、AlphaZero 的 人工智慧 系統 MuZero,就算不知道規則也能精通西洋棋、圍棋、將棋,以及 57 款雅達利(Atari)遊戲,甚至還能用來壓縮影片。     ▲ 來源:DeepMind 官網。       AlphaGo還需靠真人來訓練,MuZero卻能自我摸索出規則 DeepMind 過去研發出的幾款 人工智慧 ,都在各種棋類遊戲上展現出壓倒性的優勢。但無論是 AlphaGo、AlphaGo Zero 或 AlphaZero,都是基於已知規則,再加上人類資料訓練或是自我學習訓練而成。 而最新登場的 MuZero 與其他的 AI「前輩」們最大的不同在於,它未事先輸入任何的已知規則,在未知的動態環境下能自行摸索出規則,並作出最佳的判斷。 MuZero 的拿手範圍不只圍棋、西洋棋和將棋等棋類遊戲,還包含經典電腦遊戲公司雅達利(Atari)出品的 57 款遊戲,且都拿出了亮眼的表現。   跟人類一樣的「規劃能力」 MuZero 以有限資訊做出最佳決策 2019 年 DeepMind 就曾透露過 MuZero 的存在,但直到 2020 年底才正式於《自然》期刊發表論文,詳細介紹它的能力與原理。DeepMind 表示,MuZero 最大的突破在於表現了「對未知環境的掌握能力」。 「我們只是告訴 人工智慧 :用你自己建構的認知,去了解這個世界怎麼運作。」曾任 AlphaGo 與 AlphaZero 首席研究科學家、現正領導 DeepMind 強化學習研究小組的 David Silver 表示,「只要內部的理解成功對上了某個現實事物,那我們就滿意了。」     ▲ MuZero 不需要先備知識與規則,就能精通更多的領域。來源:DeepMind 官網。  

真人麻豆要失業了嗎?這人工智慧虛擬超模真的樣樣都行!?(下)

圖片
人工智慧 MODEL 會讓真人MODEL失業失去工作?其實事實是..   所以模特兒要被 AI 取代了嗎? 這樣看起來 人工智慧 模特兒的好處多多,不但費用較低、可控性高,還不需要煩惱真人模特兒日後危害品牌形象的可能,不只能取代真人模特兒,連攝影師、化妝師都可以不需要了? 即使虛擬模特兒看似完美無缺,但依然有質疑的聲音。 有意見表示,對 AI 生成的模特兒全都是「完全虛擬」的表示懷疑。AI 模特兒的生成要使用到電腦視覺(Computer vision)和電腦圖學(Computer Graphics)技術相結合,把二維圖片變成三維後進行疊加和渲染,本身就是一個很複雜技術; 再者,若這些 人工智慧 系統不是使用最強大的臉部識別功能,那訓練的圖片庫與生成的圖片庫,將會有很多重合。神經網絡非常容易過擬合(overfitting),因此它們可能只是「記住」圖片,而不是「學習」生成出「全新」的圖片。   ▲ 目前真人模特兒的走秀仍是人工智慧無法取代的。圖片來源:Raden Prasetya on Unsplash。     另一種方向觀點則表示,畢竟模特兒也不只是出現在宣傳 DM 上,對時裝界來說非常重要的「時裝秀」也不能缺少模特兒的走秀,並且時裝秀的重點也不在出售與否,只是為了展現服裝設計師們的美學與創造力。 現在的 AI 還不能完全取代真人模特兒,不過也許未來的某一日,連走秀也可以交給 人工智慧 也說不定!       延伸閱讀: 人工智慧筆下的哈利波特劇情竟變成..小心你的童年崩壞!! 有了人工智慧把關,醫院的用藥安全又更上一層樓!(上) Python控制結構第四篇-運算子優先順序   外貌影響面試?新人工智慧機器人 Tengai 面試不再以貌取人 秀程式設計也能交女友!工程師專屬交友App:VSinder 生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘 測試員"微痛"轉職前端工程師,現在切版和網站開發一把罩!

網路行銷中的SEO和PPC關鍵字廣告是否可以自學?先了解它們!

圖片
大家都聽說過的 SEO ,和付費的關鍵字廣告有什麼不一樣? SEO 跟付費的關鍵字廣告有何不同?為何在 網路行銷 很重要? 相信每個 網路行銷 從業者都希望自家網站能在 Google 搜尋結果上「有效」曝光,以吸引更多人潮!要達成此目的,有兩種方法:第一種是透過付費「關鍵字廣告(PPC)」出現在廣告版位,第二種便是透過符合搜尋引擎規範的網站優化( SEO ),使你的網站能被 Google 搜尋引擎收入,出現在 Google 的自然搜尋結果! 以上的方法,前者的「關鍵字廣告(PPC,有些業者把這種方式稱為「SEM(搜尋引擎行銷)」,其實並不是很精準)」,優點是曝光快,但在廣告版位的排序與名次,則是依你交了多少廣告費而定。若帳戶內的錢用完,廣告則會自動下架;而後者( SEO 網站優化) 速度雖然慢,且要做的事很多,但是一但排名衝上去後,停留的時間便很持久。     ▲ 自然排序與關鍵字廣告在搜尋結果頁的位置。來源:達內教育   回歸正題, SEO (Search Engine Optimization)本意是「搜尋引擎最佳化」,是一種善用搜尋引擎(如 Google 搜尋、Yahoo 搜尋等等)的演算法原理,來優化網站的概念與技術。   當網站能「不」透過付費的關鍵字廣告,而能在搜尋結果頁面上透過自然排序、曝光度吸引更多的訪客來瀏覽網站時,成交的機會也就隨之增加,對企業的業績與口碑都有正面影響。 不像需要付費的關鍵字廣告,錢沒了網站就停止曝光;透過 SEO 技巧所奪得的網站排名與曝光可以持久。因此 SEO 優化在 網路行銷 佔有一席之地。   SEO 的困難點? 比起上一段提到的 PPC 廣告投放,能有許多清楚的數據,業界知名 SEO 專家就說過「 SEO 是相對不透明的領域 」。 以 PPC 廣告投放來說,你投入了多少錢,獲得多少曝光、點擊、最終轉成多少業績等數據都能清清楚楚地在報表上呈現。 當廣告成效不如預期、甚至無法操作、被停用時,你可以很清楚的推到是哪個環節出了問題,具體的原因呼之欲出;但在 SEO 領域上,若網站的點擊數變少、搜尋流量下滑、Google 把你的網站從搜尋頁上下架時,SEO 人員都要分析非常多資料、有時甚至還要有經驗的 SEO 顧問一起研究討論,甚至檢查網站的前端、伺服器端