大數(shù)據(jù)就業(yè)實戰(zhàn)培訓(xùn) Oracle就業(yè)實戰(zhàn)培訓(xùn)
關(guān)于DolphinDB
DolphinDB 是一個實時分析和流處理平臺，由高性能時間序列數(shù)據(jù)庫提供支持。它提供了與高效寫入、快速查詢、復(fù)雜分析、分布式并行計算和低延遲流計算相關(guān)的功能。它還支持高可用性。
DolphinDB系統(tǒng)的架構(gòu)
分布式架構(gòu)
自研的分布式存儲機制，數(shù)據(jù)有序分散存儲在不同的數(shù)據(jù)節(jié)點上，由控制節(jié)點統(tǒng)一精準(zhǔn)地管理所有分區(qū)的元數(shù)據(jù)信息，包括分區(qū)和副本信息、分區(qū)版本號等要素，從而確保各節(jié)點上分區(qū)數(shù)據(jù)和副本的一致性，以提升集群的容錯性和可擴展性。
提供在線和離線擴展方式、支持橫向(添加更多節(jié)點)和縱向(增加單個節(jié)點的資源)的擴展系統(tǒng)、并且提供無縫高效的數(shù)據(jù)遷移和再平衡技術(shù)。
提供控制節(jié)點、數(shù)據(jù)節(jié)點和客戶端的高可用方案，以確保系統(tǒng)在任何單節(jié)點故障下都能提供穩(wěn)定的服務(wù)，從而有力保障業(yè)務(wù)的連續(xù)性。
具備全面靈活的備份與恢復(fù)機制，以保障數(shù)據(jù)安全，為業(yè)務(wù)保駕護航。
提供高容錯性的異步復(fù)制方案，其具有低延遲、高吞吐量的特點，方便實現(xiàn)數(shù)據(jù)跨節(jié)點、跨地域的異步復(fù)制，從而增強數(shù)據(jù)資產(chǎn)的安全性。
多模存儲引擎
支持 TSDB, OLAP, PKEY, IMOLTP、VECTORDB 存儲引擎。分別滿足不同場景需求：
TSDB 引擎采用 PAX 行列混存，提供性能卓越的大數(shù)據(jù)分析與點查分析。
OLAP 引擎采用列式存儲，與 TSDB 引擎相比，更適合用于對時間跨度較長的某些列數(shù)據(jù)進行聚合計算。
PKEY 引擎是提供主鍵唯一性保證的，支持實時更新和高效查詢的存儲引擎，能夠有效滿足從 OLTP 數(shù)據(jù)庫的主鍵表 CDC 到 DolphinDB 中進行數(shù)據(jù)分析的需求。
IMOLTP 引擎是內(nèi)存數(shù)據(jù)庫，以行存的形式來組織數(shù)據(jù)，不僅支持事務(wù)，同時通過創(chuàng)建 B+ 樹索引 (主鍵索引和二級索引) 的方式來應(yīng)對高頻度、高并發(fā)的更新和查詢操作，該引擎將所有數(shù)據(jù)都存儲在內(nèi)存中。
VECTORDB 引擎支持對向量數(shù)據(jù)創(chuàng)建索引，并實現(xiàn)了快速的近似最近鄰搜索，滿足對大規(guī)模向量數(shù)據(jù)高效檢索和響應(yīng)的需求。
保證事務(wù)ACID 特性，提供快照級別的隔離機制。
支持多種無損數(shù)據(jù)壓縮算法，包括 LZ4, delta-of-delta, zstd, chimp，字典壓縮等，壓縮率可達 4:1~10:1。
支持分級存儲，區(qū)分熱數(shù)據(jù)和冷數(shù)據(jù)存儲，減少存儲成本。
批計算處理
使用內(nèi)嵌的分布式文件系統(tǒng)，不僅簡化數(shù)據(jù)管理流程，還顯著增強了分布式計算環(huán)境的負載均衡能力，同時提供了強大的容錯機制，確保數(shù)據(jù)的高可用性和計算任務(wù)的連續(xù)執(zhí)行。
內(nèi)置 2000+ 多領(lǐng)域、多種類、多功能的函數(shù)，覆蓋廣泛的數(shù)據(jù)處理需求，并開放接口支持用戶自定義函數(shù)，幫助用戶輕松應(yīng)對各類復(fù)雜應(yīng)用場景的挑戰(zhàn)。
分布式計算框架集成了 pipeline、Map-Reduce 和迭代計算等多種計算模型，為用戶提供性能最優(yōu)的一站式多樣化數(shù)據(jù)解決方案。
通過 SQL 語言與函數(shù)、表達式的無縫結(jié)合，以及向量化計算，開拓性地助力用戶直接在數(shù)據(jù)庫層面進行復(fù)雜的數(shù)據(jù)分析及運算，從而顯著提升數(shù)據(jù)處理的速度和效率。
充分利用多機多核 CPU 資源，憑借精細的并行處理策略與高效的任務(wù)調(diào)度算法，實現(xiàn)了對海量數(shù)據(jù)的快速處理。
流數(shù)據(jù)處理
支持通過流數(shù)據(jù)表進行流數(shù)據(jù)訂閱與發(fā)布。
內(nèi)置時間序列聚合、橫截面處理、響應(yīng)式狀態(tài)處理、異常檢測、會話窗口、多表關(guān)聯(lián)等流式計算引擎，提供滑動窗口、累計窗口、統(tǒng)計函數(shù)等算子。用戶可通過串聯(lián)調(diào)用計算引擎構(gòu)建高效強大的計算流水線，或借助流數(shù)據(jù)引擎解析器(streamEngineParser)自動構(gòu)建計算流水線，從而滿足復(fù)雜多變的業(yè)務(wù)需求。
支持回放歷史數(shù)據(jù)，支持 1 對 1，N 對 N，N 對 1 三種回放形式。
支持流批一體，即將研發(fā)環(huán)境中基于歷史數(shù)據(jù)建模分析得到的因子或表達式直接應(yīng)用于生產(chǎn)環(huán)境的實時數(shù)據(jù)中，并保證流計算的結(jié)果和批量計算完全一致。該功能可為用戶的測試、驗證和回溯分析提供極大便利。
支持從多種數(shù)據(jù)源接入實時流數(shù)據(jù)實時寫入 DolphinDB 中，并自動處理數(shù)據(jù)格式轉(zhuǎn)換和同步問題。
內(nèi)置 CEP 引擎(Complex Event Processing，復(fù)雜事件處理)，能夠接收實時數(shù)據(jù)流，定義事件并從事件流中檢測特定事件，進而對滿足指定規(guī)則的事件執(zhí)行預(yù)設(shè)的操作。
實現(xiàn)亞毫秒級的延遲，確保實時數(shù)據(jù)處理的極致性能。
多范式編程語言
DolphinDB 內(nèi)置圖靈完備的編程語言。其支持命令式編程、函數(shù)式編程、向量化編程、SQL 編程等多范式編程語言，憑借語言簡潔靈活、表達能力強的優(yōu)勢，幫助用戶實現(xiàn)開發(fā)效率的飛躍式提升。
支持 SQL-92 標(biāo)準(zhǔn) ，更在此基礎(chǔ)上擴展了如組內(nèi)計算、透視表等多種功能。同時兼容 Oracle 和 MySQL 等主流 SQL 方言。
Python Parser 支持 Python 的部分原生對象(dict, list ,tuple, set)、語法以及 pandas 庫的部分功能。用戶能夠在 DolphinDB 客戶端中直接使用 Python 語法來訪問和操作 DolphinDB 的數(shù)據(jù)。(點擊閱讀 Python Parser 在金融量化分析場景的應(yīng)用)
良好生態(tài)
提供豐富全面的 SDK 生態(tài)，包括 Python， C++，C#，Go，R 和 JavaScript 等多種主流編程語言。
多種客戶端，包括 Web 集群管理器、DolphinDB VS Code、JAVA GUI、Jupyter Notebook、DolphinDB 終端。
多領(lǐng)域、多種類、多方式的插件，涵蓋數(shù)據(jù)存取、行情接入、金融相關(guān)、消息隊列、數(shù)值計算、機器學(xué)習(xí)、網(wǎng)絡(luò)、云存儲、文件等。
提供模塊化設(shè)計，為用戶提供便捷的技術(shù)分析指標(biāo)庫、指標(biāo)庫、因子庫、因子指標(biāo)庫、運維函數(shù)庫、歷史數(shù)據(jù)導(dǎo)入、行情數(shù)據(jù)接入模塊、多因子風(fēng)險模型、交易日歷等，旨在簡化功能代碼的調(diào)用流程和優(yōu)化系統(tǒng)維護效率。
集成專屬的 DataX、Grafana 等第三方工具，可銜接數(shù)據(jù)傳輸與可視化等多種解決方案。
CUUG與ORACLE公司建立最核心、最權(quán)威、最深層次的戰(zhàn)略合作伙伴關(guān)系；
CUUG是唯一一家只做DBA就業(yè)培訓(xùn)和oracle認(rèn)證的授權(quán)機構(gòu)，28年培養(yǎng)數(shù)萬名oracle技術(shù)人才；
CUUG金牌講師授課，來自一線的資深ORACLE OCM技術(shù)專家團隊；
CUUG頂尖完善的學(xué)習(xí)體系，以甲骨文原廠ORACLE數(shù)據(jù)庫核心技術(shù)為教學(xué)課程；