大數據就業實戰培訓 Oracle就業實戰培訓
什么是StarRocks?
StarRocks 是一款新一代的、超快的、大規模并行處理(MPP)數據庫，旨在為企業提供實時分析的便利。它能夠大規模地支持亞秒級查詢。
StarRocks 設計優雅。它包括豐富的功能，包括完全向量化引擎、新設計的成本基優化器 (CBO) 和智能物化視圖。因此，StarRocks 可以提供遠超同類數據庫產品的查詢速度，尤其是在多表連接方面。
StarRocks非常適合對新鮮數據進行實時分析。數據可以以高速度攝入，并且可以實時更新和刪除。StarRocks使用戶能夠創建使用各種模式的表，例如扁平、星型和雪花模式。
兼容 MySQL 協議和標準 SQL，StarRocks 對所有主要的 BI 工具有開箱即用的支持，例如 Tableau 和 Power BI。StarRocks 不依賴任何外部組件。它是一個集成的數據分析平臺，允許高可擴展性、高可用性和簡化管理與維護。
StarRocks具有簡單的架構。整個系統僅由兩種類型的組件組成;前端節點和后端節點。前端節點被稱為FE。后端節點有兩種類型，BE和CN(計算節點)。當使用本地數據存儲時，部署BEs;當數據存儲在對象存儲或HDFS上時，部署CNs。StarRocks不依賴于任何外部組件，簡化了部署和維護。節點可以水平擴展而無需停機服務。此外，StarRocks具有元數據和服務數據的復制機制，這提高了數據可靠性并高效地防止了單點故障(SPOFs)。
StarRocks 兼容 MySQL 協議并支持標準 SQL。用戶可以從 MySQL 客戶端輕松連接到 StarRocks，以獲得即時且有價值的見解。
特色
MPP框架
StarRocks 采用大規模并行處理 (MPP) 框架。一個查詢請求被分割成多個物理計算單元，可以在多臺機器上并行執行。每臺機器都有專用的 CPU 和內存資源。MPP 框架充分利用了所有 CPU 內核和機器的資源。隨著集群橫向擴展，單個查詢的性能可以持續提高。
完全矢量化執行引擎
全矢量執行引擎更高效地利用CPU處理能力，因為這個引擎以列式方式組織和處理數據。具體來說，StarRocks以列式方式存儲數據、在內存中組織數據和計算SQL運算符。列式組織充分利用了CPU緩存。列式計算減少了虛擬函數調用和分支判斷的數量，從而產生了更充分的CPU指令流。
存儲和計算的分離
從3.0版本開始引入了存儲計算分離架構。在該架構中，計算和存儲被解耦，以實現資源隔離、計算節點的彈性擴展以及高性能查詢。存儲計算分離使StarRocks具備更好的靈活性、更高的性能和數據可用性以及更低的成本。
成本基優化器
多表連接查詢的性能優化非常困難。僅靠執行引擎無法提供出色的性能，因為在多表連接查詢的情景中，執行計劃的復雜性可能會相差幾個數量級。相關表越多，執行計劃就越多，這使得選擇最佳計劃成為NP難題。只有足夠優秀的查詢優化器才能為高效多表分析選擇一個相對最佳的查詢計劃。
實時、可更新的列式存儲引擎
StarRocks 是一種列式存儲引擎，允許相同類型的數據連續存儲。在列式存儲中，數據可以以更高效的方式編碼，提高壓縮比并降低存儲成本。列式存儲還減少了總的數據讀取 I/O，從而提高查詢性能。此外，在大多數 OLAP 場景中，只查詢特定的列。列式存儲使用戶能夠僅查詢部分列，顯著減少磁盤 I/O。
智能物化視圖
StarRocks 使用智能物化視圖來加速查詢和數據倉庫分層。與其他需要手動數據同步的物化視圖不同，StarRocks 的物化視圖會根據基表中的數據變化自動更新數據，無需額外的維護操作。此外，物化視圖的選擇也是自動的。如果 StarRocks 識別到一個合適的物化視圖(MV)來提高查詢性能，它會自動重寫查詢以利用該 MV。這個智能過程顯著提高了查詢效率，無需手動干預。
數據湖分析
除了對本地數據進行高效分析之外，StarRocks 還可以作為計算引擎來分析存儲在數據湖中的數據，例如 Apache Hive、Apache Iceberg、Apache Hudi 和 Delta Lake。StarRocks 的一個關鍵特性是其外部目錄，它作為與外部維護的元存儲的鏈接。此功能為用戶提供了無縫查詢外部數據源的能力，消除了數據遷移的需要。因此，用戶可以分析來自不同系統的數據，例如 HDFS 和 Amazon S3，以各種文件格式，如 Parquet、ORC 和 CSV 等。
架構選擇
StarRocks 支持共享無狀態(每個 BE 在其本地存儲上有一部分數據)和共享數據(所有數據在對象存儲或 HDFS 上，每個 CN 只有本地存儲上的緩存)。您可以根據需要決定數據存儲在哪里。
共享無狀態
本地存儲為實時查詢提供了更低的查詢延遲。
作為典型的大規模并行處理(MPP)數據庫，StarRocks 支持共享無狀態架構。在這種架構中，BE(Backend)負責數據存儲和計算。直接訪問 BE 模式中的本地數據允許進行本地計算，避免了數據傳輸和數據復制，并提供了超快的查詢和分析性能。該架構支持多副本數據存儲，增強了集群處理高并發查詢的能力，并確保數據可靠性。它非常適合追求最佳查詢性能的場景。
共享數據
對象存儲和HDFS提供了成本、可靠性和可擴展性的好處。除了存儲的可擴展性之外，CN節點可以在不需重新平衡數據的情況下添加和刪除，因為存儲和計算是分開的。
在共享數據架構中，BE 被替換為“計算節點 (CN)”，這些節點只負責數據計算任務和緩存熱數據。數據存儲在像 Amazon S3、GCP、Azure Blob Storage、MinIO 等低成本且可靠的遠程存儲系統中。當緩存命中時，查詢性能與共享無狀態架構相當。CN 節點可以根據需要在幾秒鐘內添加或移除。這種架構降低了存儲成本，確保了更好的資源隔離，并具有高彈性和可擴展性。
共享數據架構與無共享架構一樣保持簡單。它僅由兩種類型的節點組成：FE和CN。唯一的區別是用戶必須提供后端對象存儲。
