NotionNext BLOG / 这是一个由NotionNext生成的站点 Fri, 20 Oct 2023 08:21:05 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2023, Q蛇 <![CDATA[數位邏輯 - ch6 - ch7]]> /article/35bb494e-9202-4a55-a33b-48c33f4575e6 /article/35bb494e-9202-4a55-a33b-48c33f4575e6 Fri, 02 Jul 2021 00:00:00 GMT
Ch6 Digital Arithmetic: Operations & CircuitsBinary AdditionSign ExtensionoverflowBinary MultiplicationArithmetic CircuitsFull Adder/ Half Adder把register加上去的ALURegister NotationParallel AdderCh7 Counters and Registers Part 1Ripple Counter製作一個 <的計數器製作up/down counterPresettable counters一些實際的Counter ICDecoding a CounterCh7 Counters and Registers Part 2Shift-Register CountersRing CounterJohnson Counter

Ch6 Digital Arithmetic: Operations & Circuits

Binary Addition

相信二進位的加減不用複習了，但我們要介紹用二進為表達負數，用的sign notation怎麼計算
notion image
首先，為什麼下面的數字代表-52，是因為它跟上面的+52相加，剛好會是0，因此它被定為-52，應該沒有更快的計算方法了
他們是經過以下的方法計算
notion image
一看就懂：)，又稱作negation

Sign Extension

以下在解釋，當我們的系統有8-bit，但是我們只需要表示5-bit的正數、負數該怎麼辦，剩下的三位數
  • 假如是正數，那就補0
  • 假如是負數，那就補1

overflow

就是你的加法爆掉了
酷酷的圖片補充說明
notion image

Binary Multiplication

有手就行
notion image
假如遇到負數，那就先把負數都negation回來，再把東西乘起來，再看是不是負的，把他complement回去

Arithmetic Circuits

以下是ALU的構造
notion image
  • Accumulator, B register都是flip-flop，他們是快快的記憶體
步驟：
  1. Control Unit先去看一下 Memory unit，了解現在要做什麼
  1. Memory unit會把要被加的數字放到B register
  1. Logic circuits 負責把 Accumulator和 B register 加起來，並且放到 Accumulator
  1. 持續以上的步驟
  1. 如果加完了，那就把Accumulator放回 Memory unit
 
 
 
notion image
加法的詳細符號
 
notion image
實際上加法的流程
 

Full Adder/ Half Adder

了解以上的加法，我們就可以依照增值表把東西給生出來，十分暴力
notion image
增值表
 
notion image
實際畫出來的人
半加器(Half Adder)：只有兩個input，通常是用LSB，因為沒有東西要進位
 
 

把register加上去的ALU

notion image

Register Notation

Transfer data from A to B
用Register來看ALU
notion image
 
 

Parallel Adder

 
notion image
 
notion image
 

Ch7 Counters and Registers Part 1

主要是課本的7-1到7-14，在說明Counter的部分
其中 7-9說明分析，7-10說明設計，7-11說明PLM的Library，7-12 to 14在說HDL

Ripple Counter

圖片：基本上看了一目了然，就是利用前一個JK ff下降的時候，下一個才會改變狀態
notion image
同時觀察，每一個ff它們的frequence是不一樣的
一個使用的Example，以及會出現propagation delay的地方
notion image
notion image
 
所以可以發現，當我們想要做很大的counter，利用ripple的結構會讓整體的delay非常嚴重，因此會使用到paralle的結構
notion image
基本上再多的FF我們的delay都是一樣的，但詳細這邊就不去思考了
 

製作一個 <的計數器

上面給的例子，都只會再進位的時候變成全部都是0，我們希望他可以更有彈性一點
notion image
notion image
用State Transition dagram來表達這個counter的狀態
 

製作up/down counter

notion image
notion image
 

Presettable counters

notion image
可以設定從哪個數字開始
 
不用為了設定另一個數字，重新改整個電路的配置
細一點的流程
這個預設操作也被稱為對計數器進行並行加載。 圖7-12顯示了一個三位預設並行上計數器的邏輯電路。J, K, 和CLK輸入端被連接以作為並行上計數器運行。異步的PRESET和CLEAR輸入被連接以執行異步預設。通過執行以下操作，可以在任何時候用任何期望的計數值來加載計數器：
  1. 將期望的計數值應用到並行數據輸入端，P2, P1, 和 P0。
  1. 向並行加載輸入，PL，應用一個低脈衝。
這個程序將會執行一個異步轉移，將P2, P1, 和P0的級別分別轉移到觸發器Q2, Q1, 和Q0中（參見第5-16節）。這個堵塞轉移的發生是獨立於J, K, 和CLK輸入的。只要PL處於其活動低狀態，CLK輸入的效果就會被禁用，因為當PL = 0時，每個FF都會有一個異步輸入被激活。 一旦PL返回高，FFs就能對它們的CLK輸入作出反應，並可以從加載到計數器中的計數值開始恢復計數上的操作。
 

一些實際的Counter IC

notion image
參考就好：)

Decoding a Counter

 
簡單的版本：偵測有沒有數到那個數字，只有兩個狀態(是或不是)
  • Active-HIGH Decoding：用AND去實現
  • Active-LOW Decoding：用NAND去實現
 
BCD Counter Decoding：就把它翻譯成人類看得懂的十進位
 

Ch7 Counters and Registers Part 2

主要是課本的7-15到7-22，在說明Registers
 
7-15在說無聊名詞，其他自己類推
  • PIPO(平行進平行出)
  • SISP(異進異出)
 
7-16在說明IC registers
 

Shift-Register Counters

Ring Counter

基於Shift-Register來達成的，如下圖，它就是把那個1一直送給下一個人
 
notion image
(計算數字的樣子)
notion image
(結構)

Johnson Counter

在設計上是Ring Counter的小修改版
 
notion image
notion image
 
Decode的方法
notion image
 
]]> <![CDATA[數位邏輯 - ch1 - ch5]]> /article/299e9fea-15ea-4056-b5d0-7ac70f104edd /article/299e9fea-15ea-4056-b5d0-7ac70f104edd Fri, 02 Jul 2021 00:00:00 GMT
說明Ch1概念區名詞區Ch2BCD CodeGray CodeByte, nibble, wordCh3常用的圖示Analysis Table經常用到的rule阿蛇火燒屁股補充 - 用NOR和NAND來組成其他元件用程式寫邏輯電路Ch4 Combinational Logic Circuits簡單帶過的章節Exclusive-OR, NORParity Generator & CheckerEnable/Disable CircuitBasic Characterstics of Legacy Digital ICsBipolar 和 Unipolar Digital ICsLogic-Level Voltage RangesFloating inputLogic-Circuit Connection Diagrams TroubleShooting區域 (4-10 - 13)PLD區域Ch5 Flip-Flops and Related Devices簡介Flip-Flops簡單的Flip-Flops(S-R latches)Digital Pulse(脈衝)Clock與它的小夥伴Edge-Triggered S-R Flip-FlopJK filp-flopJK觸發器的工作模式：Flip-Flop的應用們Data Storage & TransferSERIAL DATA TRANSFER: SHIFT REGISTERSClock Generator Circuit

說明

這份筆記主要是可以簡單地知道Digital System會涉及到的一些名詞知識，目標不是在讓你考過Digital System並且擁有強大的計算能力
 
例外，書裡面提到的PLD, HDL不會在筆記內，需要會再另外開個筆記記錄
 
notion image
好站推薦：https://www.bilibili.com/video/BV1PL4y1H77Z/?spm_id_from=333.999.0.0&vd_source=36276a434d87cd7654f608dc70e60948

Ch1

目錄
notion image
notion image
 
要點：
  • 知道為什麼數位(離散)對於電腦重要
  • 一些名詞(在名詞區)

概念區

  • Digital vs Analog
  • 各種進位制(2,8,10,16)轉換

名詞區

Period:
notion image
Duty Cycle:
notion image
Edges/Events:
Events指的是「高轉低」或「低轉高」
Edges指的是那個轉的地方
notion image
Parallel & Serial Transmission:
notion image
Memory Circuit(第五章會看到它):
notion image

Ch2

目錄
notion image
notion image
要點:
  • 各種數字系統轉換(2-1 to 2-3)
  • 知道甚麼是BCD和Gray Code和Alphanumeric Codes
  • Parity Method會在第四章有實作，簡單知道就好

BCD Code

notion image

Gray Code

只要記得：每一個數字之間，都只差一個bit
notion image
 

Byte, nibble, word

  • byte: 8bit
  • nibble: 4bit(byte)
  • word: 不一定，但personal computer是8byte(utf-8)，代表一個word的unit

Ch3

目錄
notion image
 
notion image
 
這章主要就是一直算，主要會紀錄沒有要算的章節

常用的圖示

notion image
 
notion image
 
notion image
 

Analysis Table

notion image

經常用到的rule

notion image
 

阿蛇火燒屁股補充 - 用NOR和NAND來組成其他元件

 
 

用程式寫邏輯電路

  • PLD: programmable logic devices These devices are not like microcomputers or microcontrollers that “run” the program of instructions. Instead, they are configured electronically, and their internal circuits are “wired” together electronically to form a logic circuit. This programmable wiring can be thought of as thousands of connec- tions that are either connected (1) or not connected (0).
      • notion image
  • HDL: Hardward describe language，有VHDL和AHDL，用來弄PLD

Ch4 Combinational Logic Circuits

目錄
notion image

簡單帶過的章節

  • 4-1: 一個form，把電路整理成統一的形式
      • notion image
  • 4-2: Simplfy logic circuits如字面上所說，下面4-3, 4-5分別是兩種實際方法
  • 4-4: 把truth table變成邏輯電路
4.4 example
notion image
notion image
 
k-map的範例
Karnaugh Maps - Example 1
A quick worked example using Karnaugh Maps
Karnaugh Maps - Example 1
https://www.youtube.com/watch?v=Enb3C4yZ5rw
Karnaugh Maps - Example 1

Exclusive-OR, NOR

notion image
Exclusive-OR
 
notion image
Exclusive-NOR

Parity Generator & Checker

用 XOR 做出來的，前者是生出奇偶確定碼，後者是確定前者是不是對的
notion image

Enable/Disable Circuit

就想像成控制桿，不是很重要
notion image

Basic Characterstics of Legacy Digital ICs

名詞：
  • resistors:電阻
  • diodes:二極體
  • transistors fabricated: 晶體製造管
  • semiconductor: 半導體
  • substrate: 基質
DIP:
这个芯片被封装在一个保护性的塑料或陶瓷壳体里，从这个壳体中伸出连接脚，用于将集成电路（IC）连接到其他设备。其中一种比较常见的封装类型是双列直插封装（DIP）。
notion image
IC依照複雜度（一個chip有幾個gate），分成以下的東東
notion image
 

Bipolar 和 Unipolar Digital ICs

  1. Bipolar Digital ICs: 這些集成電路使用双极型晶体管（Bipolar Junction Transistors, BJT）作為主要的電子元件。BJT晶体管有两种载流子（电子和空穴）参与电流传输，因此被稱為“双极型”。這些IC具有較高的轉換速度，但也會消耗更多的功耗。 代表人： TTL
  1. Unipolar Digital ICs: 這些集成電路主要使用场效应晶体管（Field-Effect Transistors, FET），特別是金属氧化物半导体场效应晶体管（MOSFET）作為主要的電子元件。在這種情況下，只有一種載流子（通常是電子）參與電流傳輸，因此被稱為“单极型”。這些IC通常具有較低的功耗但轉換速度可能較慢。 代表人： CMOS

Logic-Level Voltage Ranges

notion image
如圖，沒啥好說的

Floating input

當數字集成電路（Digital IC）的輸入端口未連接（也稱為浮動輸入）時會發生什麼情況
 
對於TTL：
  • 一個浮動的TTL輸入會被視為邏輯1（HIGH）。
  • 雖然這一特點在測試TTL電路時經常被利用，但它不是推薦的做法，因為浮動的TTL輸入非常容易受到噪音信號的干擾，從而可能不利於設備的運行。
對於CMOS：
  • 如果CMOS輸入浮動，可能會有災難性的後果，包括IC過熱甚至摧毀自身。
  • 浮動的CMOS輸入不會測量為特定的直流電壓，而會隨機波動，因為它會捕捉到噪音。
  • 因此，其對輸出的影響是不可預測的，有時會因為捕捉到的噪音而使輸出振盪。
另外，許多較為複雜的CMOS ICs內建有減少對開放輸入有任何破壞性反應的可能性的電路。但即使如此，在最終的電路實施中，仍然建議將未使用的輸入連接到HIGH或LOW。
總的來說，了解浮動輸入在TTL和CMOS電路中的行為是在故障排除和電路設計時非常有價值的。

Logic-Circuit Connection Diagrams

notion image
notion image

TroubleShooting區域 (4-10 - 13)

  • TROUBLESHOOTING DIGITAL SYSTEMS
  • INTERNAL DIGITAL IC FAULTS
  • EXTERNAL FAULTS
  • TROUBLESHOOTING PROTOTYPED CIRCUITS

PLD區域

看起來有一大堆的解釋性文字，有機會找一下影片科普一下
 

Ch5 Flip-Flops and Related Devices

簡介Flip-Flops

基本上就是一個電路的記憶體，可以記錄目前的狀態，應用就在RAM上面

簡單的Flip-Flops(S-R latches)

可以看到是由NAND組成的，我們會叫它NAND Latch
notion image
還有NOR版本
notion image

Digital Pulse(脈衝)

notion image

Clock與它的小夥伴

notion image
  • PGT, NGT請參考上圖，一看就懂
  • period(T) = seconds/cycle
  • frequency(f) = 1/T，赫茲
notion image
Clock Flip-Flop，多了一個CLK input，並且只有在PGT或NGT讀取Control inputs
notion image
notion image

Edge-Triggered S-R Flip-Flop

notion image
notion image
增值表
notion image
增值表
notion image
edge-detecter 本人

JK filp-flop

notion image
其中一個動態的Example

JK觸發器的工作模式：

  1. Reset（重設）: 當 J=0 和 K=1 時，觸發器的輸出Q會在下一個時鐘邊緣被清除（設為0）。
  1. Set（設置）: 當 J=1 和 K=0 時，觸發器的輸出Q會在下一個時鐘邊緣被設置（設為1）。
  1. Hold（保持）: 當 J=0 和 K=0 時，觸發器的輸出會保持其當前狀態，不進行變化。
  1. Toggle（切換）: 當 J=1 和 K=1 時，觸發器的輸出Q會在下一個時鐘邊緣反轉（如果原來是0，就變為1；如果原來是1，就變為0）。
notion image
詳細電路板本

Flip-Flop的應用們

Data Storage & Transfer

notion image
平行的Transfer

SERIAL DATA TRANSFER: SHIFT REGISTERS

notion image
  • 可以用來：FREQUENCY DIVISION AND COUNTING
  • Frequency division example: 石英錶
  • Counting: 一個一個數的感覺，數到幾會歸零叫做MOD Number
 

Clock Generator Circuit

notion image
主要還是要有一個東西負責震盪
 
]]> <![CDATA[home_assistant的MQTT設定篇]]> /article/f7ea4945-4c09-4098-ae2e-c585b557ff8e /article/f7ea4945-4c09-4098-ae2e-c585b557ff8e Fri, 02 Jul 2021 00:00:00 GMT
 
 

參考教學

當初電燈開關參考的
MQTT Switch
Instructions on how to integrate MQTT switches into Home Assistant.
MQTT Switch
https://www.home-assistant.io/integrations/switch.mqtt/
MQTT Switch
找到電燈開關教學的地方
MQTT
Instructions on how to setup MQTT within Home Assistant.
MQTT
https://www.home-assistant.io/integrations/mqtt/#sharing-of-device-configuration
MQTT
最需要看的地方
Integrations
List of the built-in integrations of Home Assistant.
Integrations
https://www.home-assistant.io/integrations/#search/mqtt
Integrations
目前有看
  • Switch
  • Number
 
]]> <![CDATA[簡單上手home_assistant]]> /article/6c12e425-1c11-4eb2-ac07-b33194d0deb2 /article/6c12e425-1c11-4eb2-ac07-b33194d0deb2 Fri, 02 Jul 2021 00:00:00 GMT

目標：

  1. 使用docker-compose把home assistant架起來
  1. 使用MQTT為主，跟裝置們溝通
  1. 以ESP32以及micropython當作範例
 

安裝home assistant

使用以下的docker-compose並且建立一個config資料夾
因為我們 network_mode使用host，因此port之類的不用設定，預設會開在8123
docker-compose up -d 之後，進到 localhost:8123去進行第一次的使用者設定
 

安裝mqtt

也是使用docker-compose完事
 

使用micro-python，訂閱mqtt主題

在這邊，我們假設ESP32控制一個電燈，而它會依照mqtt收到的指令去做事
 

在home-assistant設定MQTT 以及開啟一個 panel

 
進去mqtt首頁
notion image
點擊設定
notion image
裝置與服務
notion image
新增整合 mqtt
notion image
點進去之後像個人一樣把資訊輸入

設定開關panel

接著關閉docker-compose
在掛載出來的volumn找 config/configuration.yaml加上
💡
注意，請不要一開始就把configuration全部只剩這個，打開home assistant會失敗
最後出現開關代表成功 ：）
notion image
 
]]> <![CDATA[“部署” ML]]> /article/6fcd0e43-9dc5-4105-bdce-710cf2f21679 /article/6fcd0e43-9dc5-4105-bdce-710cf2f21679 Fri, 01 Sep 2023 00:00:00 GMT
本篇文章取用說明前言關於部署的定義GPT建議區: 平台的選擇ML flow 的更多資訊Wandb vs MLflowWandb 本地部屬的範例(GPT給的，超級不建議直接拿來用，三思)不建議使用的原因GPT詳細給了什麼可以延伸探討的部分
 

本篇文章取用說明

本篇主要是『思路』的紀錄，也就是當我們遇到『部署』這個問題，我們要注意一些什麼，哪些可能是一個可能的路徑，請不要當作教學把它讀完，Wandb部分更建議去讀官方的文檔，此篇更希望的是了解
  1. 什麼是部署ML
  1. Wandb可能有哪些component可以去研究的
  1. Wandb不足之處
 
不過雖然如此，這篇文章可以帶給你什麼？為什麼我們需要看這樣一篇『不完整』的紀錄
  1. 對於『部署』ML這個議題，你可以有更多的切入點
  1. 不用一次突然要把wandb搞懂，有個fu更重要，並且壓力不會太大
  1. 釐清好自己的需求，不要盲目學東西
 

前言

在實驗的部分，Wandb感覺很好的滿足了我們要的東西，但在部屬的部分，似乎就不是Wandb的天下，當然有簡單的驗證結果，但是整套的可能沒那麼厲害
 

關於部署的定義

對於"部署"（Deployment）的概念，其實涵蓋範疇比較廣泛，並且具體的定義可能會根據不同的背景和需求有所變化。在機器學習的背景下，"部署"通常指的是將訓練好的模型整合到一個生產環境中，以便能在實際的業務流程中使用。這可能包括將模型轉化為一種可以在特定硬體或軟體環境下運行的格式，並且建立一個能讓其他系統或者用戶使用模型的接口。例如，你可能需要將你的模型轉化為一個 REST API 服務，以便其他的應用或者服務可以通過網路來使用你的模型。或者，你可能需要將你的模型轉化為一種可以在移動設備上運行的格式，以便在一個移動應用中使用。
你在 Python 中運行你的模型並且得到預測結果的過程，可以被看作是一種 "本地部署" 或者 "測試部署"，因為你在本地的環境中直接運行了你的模型。然而，在生產環境中，你可能需要考慮更多的問題，例如如何在多個用戶或者請求之間共享你的模型的資源，如何確保你的模型的性能和可用性，以及如何保護你的模型的安全等等。
 

GPT建議區: 平台的選擇

確實有一些工具和平台提供了整套的機器學習系統部署方案，幫助用戶從模型開發到部署，再到監控和維護等全流程的工作。以下是一些你可以考慮的選擇：
  1. TensorFlow Extended (TFX)：這是一個由 Google 提供的用於生產環境的端到端平台，它提供了一整套工具包括數據驗證、預處理、模型訓練、驗證、部署以及模型監控等。
  1. MLflow：這是一個開源平台，旨在管理整個機器學習生命週期，包括實驗跟蹤、包裝代碼成可重用的模型，以及在生產環境中部署模型。
  1. Seldon Core：這是一個開源平台，專為在 Kubernetes 上部署機器學習模型而設計。Seldon Core 提供了一種統一的方式來部署、擴展、監控和管理你的模型。
  1. Kubeflow：這是一個由 Google 開發的，專為 Kubernetes 設計的開源機器學習平台。Kubeflow 的目標是使得在 Kubernetes 上部署機器學習工作負載變得簡單、可攜和可擴展。
以上各個工具和平台各有特點，需要根據具體的需求和環境來選擇適合的工具。你可以根據自己的具體需求以及團隊的技術能力來選擇最合適的工具。
 
不過1只能用tensorflow，3,4 都要用到k8s，因此先來觀察一下2
詳細詢問區
當然，以下是對上述四種機器學習平台的詳細介紹：
  1. TensorFlow Extended (TFX)
      2. TensorFlow Extended (TFX) 是 Google 開發的一種端到端的機器學習平台，它提供了一套完整的流程，從數據驗證與預處理，到模型訓練與驗證，最後到模型部署與監控。TFX 的主要特點是其深度集成 TensorFlow，並提供了豐富的工具以支援大規模的機器學習應用。
      TFX 的強項在於其完整性和大規模的支援。然而，TFX 對 TensorFlow 的深度集成也是其弱點之一，如果你的模型並非使用 TensorFlow 構建，那麼使用 TFX 可能就會比較困難。另一個弱點是，TFX 可能過於複雜對於小規模的項目或者初學者。
  1. MLflow
      2. MLflow 是由 Databricks 開源的一個機器學習生命週期管理平台。MLflow 提供了實驗跟蹤，模型註冊，模型打包和部署等一系列功能。MLflow 的主要特點是其簡單和靈活，它支援各種主流的機器學習庫，並且可以輕鬆集成到現有的工作流程中。
      MLflow 的弱點可能在於其相對於其他平台來說較為基本的功能。對於一些更複雜或者特殊的需求，MLflow 可能無法直接支援。
  1. Seldon Core
      2. Seldon Core 是一個開源的機器學習部署平台，專為在 Kubernetes 上運行而設計。Seldon Core 提供了一種統一的方式來部署、擴展、監控和管理你的模型，並且支援多種不同的機器學習框架。
      Seldon Core 的強項在於其對 Kubernetes 的完整支援和擴展性，如果你已經在使用 Kubernetes，那麼使用 Seldon Core 可能會非常方便。然而，Seldon Core 的弱點是其對 Kubernetes 的依賴性，如果你不打算使用 Kubernetes，那麼 Seldon Core 可能就不是一個好的選擇。
  1. Kubeflow
      2. Kubeflow 是一個由 Google 開發的，專為 Kubernetes 設計的開源機器學習平台。Kubeflow 提供了一個完整的機器學習工作流程，包括數據預處理，模型訓練，模型調整，以及模型部署等。
      Kubeflow 的強項是其對 Kubernetes 的深度集成和完整的工作流程支援，這使得在 Kubernetes 上進行大規模的機器學習變得簡單。然而，Kubeflow 的弱點與 Seldon Core 相同，那就是其對 Kubernetes 的依賴性，如果你不打算使用 Kubernetes，那麼 Kubeflow 可能就不是一個好的選擇。
以上四個工具都有其各自的特色，選擇哪一個最合適取決於你的具體需求和使用的技術棧。
 

ML flow 的更多資訊

MLflow 是一個開源平台，由 Databricks 在 2018 年開發並開源。Databricks 是一家由創建 Apache Spark 的原創團隊所創立的公司，他們專注於大數據和機器學習解決方案。
MLflow 的目標是簡化機器學習的工作流程，並使其在多種環境中可重複使用。該平台旨在實現這一目標，主要提供以下四個主要組件：
  1. MLflow Tracking：提供了一種 API 和 UI 來記錄、查詢和可視化機器學習實驗。可以記錄參數、指標、標籤、工件、來源代碼和其他相關數據。
  1. MLflow Projects：是一種碼包格式，提供了一種標準化方式來分享可重現的機器學習代碼。每個專案都定義了其代碼需要的環境，以及如何在數據上運行代碼。
  1. MLflow Models：是一種標準化格式，用於打包機器學習模型，這些模型可以使用多種工具創建，並且可以在各種平台上部署。
  1. Model Registry：是一個中央模型存儲庫，提供了一個機制，可以管理模型的完整生命周期，包括模型版本控制、模型階段管理（如驗證、生產等）以及模型批准和部署流程。
由於 MLflow 的開放性和彈性，它已被廣泛應用在許多不同的場景和領域。比如，Uber 使用 MLflow 來管理他們的數千個模型和數百萬次的模型訓練過程。Comcast 也使用 MLflow 來提供內部的模型服務平台。除此之外，許多其他的公司，包括微軟、Netflix、和 Airbnb 等也在他們的機器學習工作流程中使用 MLflow。
在開源社區，MLflow 也獲得了廣泛的認可和支援。它已經有超過 200 萬次的下載，並且有超過 200 個貢獻者。此外，MLflow 也在持續的進行開發和改進，並且已經成為了 Linux 基金會的一部分，這也代表了它在未來將繼續得到支援並發展。
 

Wandb vs MLflow

當然，以下是對 MLflow 和 Weights & Biases (WandB) 兩個平台的比較：
  1. 開源與商業支援：
      • MLflow 是一個完全開源的平台，由 Databricks 維護，並且有一個活躍的開源社區參與其中。你可以在自己的硬體上自由地部署和使用 MLflow，而無需擔心任何的使用費用。
      • Weights & Biases 是一個商業產品，但它提供了一個免費的版本，並且對於學術研究也提供了免費的使用方案。對於進階的功能，例如團隊協作、大規模的實驗跟蹤等，你需要購買他們的企業版。
  1. 集成與兼容性：
      • MLflow 設計為可以輕鬆地與各種現有的機器學習工具和框架集成。它不直接提供模型訓練或評估的功能，而是集中於實驗跟蹤和模型管理。因此，你可以用你選擇的任何工具來訓練你的模型，然後用 MLflow 來跟蹤和管理你的實驗。
      • Weights & Biases 也支援各種主流的機器學習框架，包括 TensorFlow、PyTorch、Keras 等。除了基本的實驗跟蹤功能外，它還提供了一些額外的功能，例如實時視覺化、模型版本控制等。
  1. 功能與易用性：
      • MLflow 提供了一個基礎的界面來跟蹤實驗，但它的主要功能是透過編程API來使用。你需要在你的代碼中顯式地添加跟蹤語句，然後 MLflow 將會自動收集並存儲這些數據。MLflow 提供了一些進階的功能，如模型註冊和部署，但這些可能需要一些額外的配置和安裝。
      • Weights & Biases 的界面設計得更加現代和直觀。你可以在他們的網站上直接查看和比較你的實驗結果，並且可以輕鬆地分享你的結果和模型。他們也提供一些進階的功能，例如超參數優化、模型版本控制等。
總的來說，MLflow 和 Weights & Biases 都是強大的機器學習實驗管理工具，但它們在設計哲學和功能上有一些區別。你應該根據你的需求和偏好來選擇最合適的工具。
 
 

Wandb 本地部屬的範例(GPT給的，超級不建議直接拿來用，三思)

不建議使用的原因

  1. 使用wandb的一些component具體有什麼好功能，以下的程式感受不到（例如Artifact有什麼其他的庫功能，run.log的方法，init搭配with的寫法）
  1. 非常的special case，也是接續第一點，因為你不知道其他component的更好用法
 

GPT詳細給了什麼

以下是使用 TensorFlow 在 Weights & Biases (WandB) 使用 Artifacts 的完整程式碼範例：
  1. 把我想要預測的數據集的metadata建立一個新的artifact
  1. 抓取以前訓練好的model參數
  1. 建立一個新的artifact，去紀錄剛剛的數據集跑進model的預測結果
 

可以延伸探討的部分

  1. RestAPI是什麼，為什麼對於ML的部屬那麼重要
  1. MLflow試用，更了解ML部屬的概念
  1. 實作這個部屬流程
 
]]> <![CDATA[NAS方案探討]]> /article/0c4463c8-31f6-48a7-bfb6-dfcc1da82681 /article/0c4463c8-31f6-48a7-bfb6-dfcc1da82681 Fri, 02 Jul 2021 00:00:00 GMT
前言什麼是NAS協定目前主流方案目前試過的方案使用Sanba使用Windows共享資料夾使用Docker + next-cloud使用NAS會去思考的問題成本停電備份儲存空間資安

前言

本篇不會有超級深入的設定或者是NAS的架構整理，主要就是去思考，具體什麼是NAS，可以選擇的方案，具體其他介紹到多細，相信看目錄可以了解更快
 

什麼是NAS

 
本質上就是：使用網路來儲存檔案的設備
ChatGPT
當然可以。NAS，全名是網絡附加儲存（Network Attached Storage），是一種連接到網絡的儲存系統。它通常由一個或多個硬碟組成，並允許網絡上的多個使用者或設備同時訪問並共享儲存的數據。
ChatGPT
https://chat.openai.com/share/2583a12a-8d30-4aea-ba0c-71ecf1e41e05
ChatGPT

協定

NAS主要使用以下兩種協議：
  1. NFS（Network File System）：這是一種在UNIX和Linux系統中使用的協議，它允許一個系統在網絡上共享目錄和文件。
  1. SMB/CIFS（Server Message Block/Common Internet File System）：這是一種在Windows系統中使用的協議，允許網絡中的設備共享文件和其他資源，如打印機。

目前主流方案

  1. 內建 NAS 功能
      • Windows 內建的資料夾共享功能 (使用 SMB 協議)
      • MacOS 內建的資料夾共享功能 (使用 AFP 或 SMB 協議)
      • Linux 的 NFS 或 Samba 資料夾共享
  1. 自建 NAS 軟體解決方案（在一般作業系統如 Linux、Windows 等上運行的軟體）
      • Nextcloud
      • ownCloud
      • Seafile
      • Pydio
      • Tonido
  1. 專用 NAS 作業系統（整個作業系統就是為建立 NAS 而設計）
      • FreeNAS (現已更名為 TrueNAS Core)
      • OpenMediaVault
      • Unraid
      • XigmaNAS
  1. 專用 NAS 硬體+軟體解決方案（購買具備專用 NAS 軟體的專門硬體）
      • Synology NAS (硬體) + DiskStation Manager (軟體)
      • QNAP NAS (硬體) + QTS (軟體)
 

目前試過的方案

使用Sanba

ithelp.ithome.com.tw
https://ithelp.ithome.com.tw/articles/10231827
一開始作為小白，想試試好像使用terminal建立了一個共享資料夾最快的方法
然後過了一陣子就會發現其實跟windows的共享資料夾一樣，都適用Sanba，突然覺得很遜
然後客製化、管理等等的也非常陽春，資安更是不用說
推薦給只是想要試試看共享資料夾的你
 

使用Windows共享資料夾

主要是設定一大堆，要在windows設定裡面跑來跑去，關鍵字可以找找看網路芳鄰
除非是兩台windows電腦互聯，否則上面的樹莓派sanba server還比較好設定
 

使用Docker + next-cloud

或許哪天會推出文章，基本上很酷，很像是建立了自己的雲端硬碟，也可以暫時使用本機資料夾儲存
但假如都用到雲端硬碟了，那就會開始想到NAS的一些問題
 

使用NAS會去思考的問題

主要是要顯示在toc上面才使用大標題，不要誤會

成本

停電

備份

儲存空間

資安

 
]]>