布萊恩的創業小窩

本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的最後一篇。上一篇介紹了 PyTorch 版的 Keras「PyTorch Lightening」讓你告別沒完沒了的 Debug！另外還有微軟出的 Hummingbird 讓你不用重新設計新模型；另外還有可以將高維度資料視覺化的「HiPlot」，請 點此 看上一篇閱讀了解！     2020十大 Python 函式庫最終回會有那些函式?壓軸登場啦! HiPlot 幾乎每個數據工程師都處理過高維度資料（High Dimensional）。可惜人類的腦容量有限，無法直觀地處理此類資料，因此必須求助於科技來解決。 2020 年早些時候，Facebook 發布了 HiPlot函式庫，可使用平行座標和其他圖形方式來表示信息，從而協助找出高維度資料中的關聯性和模式。他們在官網中說明了其概念，基本上，HiPlot 是一種將高維度資料視覺化以及過濾的便利方法。         Scalene 隨著 Python 的函式庫生態系統變得越來越複雜，我們也寫出越來越多 C 語言延伸的代碼以及多執行緒代碼。但是，CPython 內置的效能分析器（profiler）無法完整地處理多執行緒和本機代碼。 此時你需要 Scalene：Scalene 是用於 Python 腳本的 CPU 和記憶體的效能分析器（profiler），能完整地處理多執行緒代碼並區分運行 Python 和本機代碼所花費的時間。此時你無需修改代碼，只需要在命令行中使用 Scalene 運行腳本，腳本就會自動生成報告的文字檔或 HTML，顯示代碼中每一行的 CPU 和記憶體使用情況。     ▲ Scalene 是用於 Python 腳本的 CPU 和記憶體的效能分析器，能處理多執行緒代碼並區分運行 Python 和本機代碼所花費的時間   同場加映： Norfair 選出去年十大 Python 函式庫的機器學習顧問公司 Tyrolabs 自家也開發了「影像內容分析 (Video content analysis)」的 Python 函式庫「Norfair」。 Norf...

本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的第三篇。上一篇介紹了美化了 Python 錯誤信息的「Pretty Errors」，堪稱是療癒系的工程師的 debug 神器、還有「Diagrams」讓工程師不需要使用設計軟體，只要使用 Python 就能畫出美輪美奐的雲系統架構圖。請 點此 看上一篇閱讀了解 。   Python 函式庫還有哪些寶藏藏在裡面?這篇繼續讓我們繼續學習!   Hydra 與 OmegaConf ：結構化複雜的機器學習項目 在機器學習項目中做研究與實驗時，總是有五花八門的環境配置工作。在這些非平凡（non-trivial）的應用程式中，配置管理可能會變得也複雜。是否有結構化的方法來處理這種複雜性？ Hydra 可藉由「組合」的方式來建構配置，並從命令列或 config 設定檔中覆蓋某些特定的部分，而加快了執行速度。 為了要說明 Hydra 函式庫可簡化一些特定的任務，tryolabs 舉了他們正在試驗的模型的基本架構以及它的多種變化為例。借助 Hydra，可以定義基本配置，然後運行多個工作並對其進行變化：     Hydra 的表親「OmegaConf」為分層配置系統的基礎提供了一致的 API，並支援不同的來源如 YAML、config 設定檔、物件與 CLI 參數。   PyTorch Lightning ：PyTorch 版的 Keras，告別沒完沒了的 Debug PyTorch 是一款熱門的的深度學習框架，可以簡單的方式建構複雜的 AI 模型。但是當作大量實驗的時候，很多東西都會變得複雜過頭，代碼也隨之變得龐大，此時還是容易出錯。 於是，PyTorch Lightning 就為了減少錯誤而誕生：它可以重構 PyTorch 代碼、抽出複雜重複的部分，讓工程師可以專注於核心的建構、實驗也更快更便捷地開展迭代。     ▲ PyTorch Lightning 可以重構 PyTorch 代碼、抽出複雜重複的部分，讓工程師可以更專注在研究代碼上         Lighting 的原理是藉由將研究代碼...

本系列文章為【2020年度十大Python函式庫-人工智慧 · 機器學習必備 】的第二篇。上一篇介紹了把單調的「命令列介面」變花俏的 Python 函式庫：Typer、Rich 與 PyGui，除了可把命令列/終端機介面變彩色外，還可以加入表情符號與特效等。請 點此 看上一篇閱讀了解 。     想必你真的對 Python 函式庫很有興趣才又點進來,看到最後相信你會收穫多多! PrettyErrors ：將 Python 醜陋的 bug 信息變漂亮 Python 已經是言簡意賅的程式語言了，但是當有 bug 時，它的錯誤信息輸出（參見下圖左側）也是一樣會讓你懷疑人生！密密麻麻的代碼，讓你必須在毫無頭緒之下地毯式搜索！     ▲PrettyErrors 函式庫將原本混亂的 Python 錯誤信息（箭頭左邊所示）重新排版得井然有序、顏色與段落都很分明（箭頭右邊所示）     經過 PrettyErrors 的重新排版，所有醜陋的錯誤信息都能變的井然有序，最後你得到的是經過排版美化、整齊劃一的 bug 報告，如上圖的右側所示。   Diagrams ：只用 Python 就能繪製雲系統架構 程式設計師除了 coding 與 debug 外，有時還需要跟其他的同事解釋錯綜復雜的架構。傳統上，我們會使用圖像介面（GUI） 工具來處理圖表、將其可視化後放入簡報、文件等，但這並非唯一的方法。 Diagrams 可以讓你在沒有任何設計工具的狀況下，僅僅使用 Python 程式碼就繪製出雲系統架構！它有現成的圖標，讓你能馬上對應AWS、Azure、GCP 等多個不同的雲端供應商，使得繪製箭頭、創建群組等都輕而易舉！只需幾行代碼即可！     ▲ Diagram 函式庫能讓工程師僅僅使用 Python 代碼 就能繪製雲系統架構圖       下篇，我們即將介紹 PyTorch 版的 Keras「PyTorch Lightening」讓你告別沒完沒了的 Debug！另外還有微軟出的 Hummingbird 讓你不用重新設計新模型；另外還有可以將高維度資料視覺化...

這十大最強 Python 函式庫,將在你的AI學習道路上加分加分~   國外的機器學習與資料科學顧問公司「Tryolabs」每年底都會選出年度十大最強 Python 函式庫。去年（2020）年尾不例外。 根據 Tryolabs 提出的免責聲明，2020 年他們在精選出 10 大函式庫時，在很大程度上是受到機器學習與數據科學的影響——儘管其中有幾個確實對「非」數據科學的人士非常有用。 因此，除了 10 個入選的 Python 函式庫之外，他們決定再從遺珠之憾中，挑出幾個他們覺得同樣重要的數據庫，列入「榮譽表揚（Honorable mentions）」的部分。   以下為入選的十大 Python 函式庫： Typer ：讓命令列介面更好編輯 雖然你並非總是需要編寫沒有圖像、滿滿文字的 CLI（命令列介面）應用程式，但是一但遇到了，一定會希望能速戰速決、無後顧之憂。FastAPI 的創作者「tiangolo」繼之前的 FastAPI 框架取得巨大的成功後，使用了相同的原理創作了新的函式庫 「Typer」，使你可以借力於 3.6 以上版本的 Python 才有的「類型提示（Type Hinting）」功能來編寫命令行介面。 這樣的設計讓 Typer 脫穎而出。透過「類型提示（Type Hinting）」功能，您可以在 Python 編輯器（如 VSCode）中享有「自動完成」功能，這將大大提高您的工作效率；除了能確保所寫的程式碼是否完整被紀錄之外，你也花了最少的力氣寫出純文字的 CLI 命令列介面的應用程式。     ▲ Typer 賦予 Python 編輯器（圖中為 VSCode）「自動完成」的功能，能有效提升寫程式的效率。（圖：FastAPI）       為了增強其功能，Typer 被建立在知名的「命令列神器」Click 之上。這意味著 Typer 可以充分利用 Click 既有的所有優點、社群與插件，使用更簡潔的樣版代碼，並依據所需，進行更複雜的工作。   Rich ：讓命令列介面從黑白變彩色 依循命令行介面 CLI 的主題，誰說終端應用程式必須是單色的白色、或是駭客電影中常見的黑色、綠色呢？太無聊了！ ...