Tuesday, June 9, 2015

สถาปัตยกรรมคลังข้อมูล

7:57 PM Posted by Nana
เนื้อหาในส่วนข้อจะกล่าวถึงภาพรวมของสถาปัตยกรรมและองค์ประกอบหลักของคลังข้อมูล ซึ่งประกอบด้วยกระบวนการ เครื่องมือ และเทคโนโลยีที่มีความสัมพันธ์กับคลังข้อมูล ดังนี้
1. ข้อมูลปฏิบัติการ (Operational Data)
          ข้อมูลระดับปฏิบัติการที่จะนำไปเก็บบันทึกในคลังข้อมูล สามารถได้จาก
                 - ข้อมูลปฏิบัติการที่บันทึกอยู่ในเครื่องคอมพิวเตอร์เมนเฟรม ซึ่งเป็นข้อมูลในยุคแรกที่มีรูปแบบเป็นฐานข้อมูลแบบลำดับชั้น หรือแบบเครือข่าย
                 - ข้อมูลในระดับแผนก ซึ่งจัดเก็บในรูปแบบของระบบแฟ้มข้อมูล เช่น VSAM, RMS รวมถึงข้อมูลที่อยู่ในรูปแบบของฐานข้อมูลเชิงสัมพันธ์ เช่น Informix, ORACLE เป็นต้น
                 - ข้อมูลส่วนตัวที่บรรจุอยู่ในเวิร์กสเตชันหรือเวิร์ฟเวอร์ส่วนตัว
                 - แหล่งข้อมูลจากภายนอก เช่น อินเทอร์เน็ต ฐานข้อมูลการดำเนินงานทางธุรกิจ หรือฐานข้อมูลที่เกี่ยวข้องกับข้อมูลตัวแทนจำหน่ายหรือลูกค้า
นอกจากนี้ยังรวมถึงสื่อจัดเก็บข้อมูลปฏิบัติการ (Operational Data Store; ODS) ที่เป็นแหล่งรวมของข้อมูลปฏิบัติการปัจจุบันที่ได้รับการปรับลูกแบบโครงสร้างแล้ว รวมถึงการสัดข้อมูลจากแหล่งข้อมูลให้คงไว้ซึ่งข้อมูลที่จำเป้นต่อการนำไปวิเคราะห์ในคลัง

2. ผู้จัดการงานโหลดข้อมูล (Load Manager)
          ผุ้จัดการงานโหลดข้อมูลเป็นผู้ที่ทำหน้าที่เกี่ยวกับการเตรียมข้อมูล ก่อนนำเข้าไปเก็บไว้ในคลัง ซึ่งถือเป็นงานส่วนหน้า (Frontedn) ที่ปฏิบัติงานด้านคัดกรองข้อมูลเพื่อโหลดข้อมูลเข้าไปในคลัง การปฏิบัติงานในส่วนนี้เกี่ยวข้องกับการแปลงข้อมูลให้อยู่ในรูปแบบมาตรฐานก่อนส่งเข้าไปในคลัง ขนาดและความซับซ้อนของานส่วนนี้จะเกี่ยวข้องกับคลังข้อมูลและแหล่งข้อมูลที่มาจากต่างผลิตภัณฑ์ ดังนั้นผู้จัดการส่วนนี้ต้องใช้เครื่องมือ หรืออาจสร้างโปรแกรมขึ้นมาใช้เอง เพื่อทำการรวมข้อมูลต่างๆ ที่มาจากต่างผลิตภัณฑ์

3. ผู้จัดการคลัง (Warehouse Manager)
           ผู้จัดการคลังเป็นบุคคลที่ทำหน้าที่ดำเนินการเกี่ยวกับระบบปฏิบัติการ ด้านการจัดการคลังข้อมูลในคลังทั้งหมด ด้วยการนำเครื่องมือการจัดการข้อมูลต่างๆ ของผลิตภัณฑ์ ซึ่งงานของผู้จัดการคลังข้อมูลประกอบด้วย
               - วิเคราะห์ข้อมูล เพื่อให้เกิดความมั่นใจถึงความสอดคล้องตรงกันของข้อมูล
              - แปลงและรวมข้อมูลจากแหล่งข้อมูลลงสู่ตารางคลังข้อมูล
              - สร้างดัชนีและวิวของตารางต่างๆ
             - ดำเนินการนอร์มัลไลเวชัน ถ้าจำเป็น
             - นำข้อมูลมารวมกัน ถ้าจำเป็น
             - สำรองข้อมูลที่สำคัญ

4. ผู้จัดการคิวรี
          ผู้จัดการคิวรีเป็นงานส่วนหลัง (backend) ที่มีหน้าที่ดำเนินการเกี่ยวกับการปฏิบัติงานด้านการจัดการยูสเซอร์คิวรี ในส่วนนี้จะต้องทำการสร้างคิวรีด้วยเครื่องมือของผลิตภัณฑ์นั้นๆ เพื่อให้สามารถเข้าถึงข้อมูล ตรวจสอบคลังข้อมูล ความสะดวกในการใช้งานฐานข้อมูล และการสร้างโปรแกรมขึ้นเพื่อใช้งาน ในบางครั้งผู้จัดการคิวรีอาจจำเป็นต้องสร้าง Query Profile เพื่ออนุญาตให้ผู้จัดการคลังข้อมูลในการกำหนดดัชนีและการรวมข้อมูลตามความเหมาะสม

5. ข้อมูลรายละเอียด (Detailed Data)
          พื้นที่ของคลังข้อมูลส่วนนี้จะจัดเก็บข้อมูลรายละเอียดทั้งหมดในโครงร่างฐานข้อมูล โดยข้อมูลรายละเอียดส่วนนี้จะถูกรวบรวมเพื่อส่งไปยังลำดับถัดไป

6. ข้อมูลสรุปผลโดยคร่าวและข้อมูลสรุปขั้นสูง (Lightly and Highly Summarized Data)
           พื้นที่คลังส่วนนี้จะจัดเก็บข้อมูลสรุปคร่าวๆ และข้อมูลสรุปขั้นสูงที่ถูกสร้างโดยผู้จัดการคลัง โดยพื้นที่ส่วนนี้จะเป็นพื้นที่ชั่วคราวในคลังเพื่อการเปลี่ยนแปลงหัวข้อ และตอบสนองงานคิวรีที่อาจเปลี่ยนแปลงไปตามความต้องการ จุดประสงค์ของสารสนเทศที่สรุปผลมานั้นก็เพื่อเพิ่มความเร็วในการประมวลผลของคิวรี ถึงแม้ว่าในส่วนงานนี้ต้องเพิ่มภาระงานด้านสรุปผลข้อมูล ด้วยการขจัดข้อมูลที่ไม่จำเป็นออกไปโดยจัดเก็บเฉพาะข้อมูลที่เป็นผลสรุป ทั้งนี้เพื่อการตอบคำถามให้แต่ผู้ใช้ได้ โดยข้อมูลสรุปเหล่านี้จะมีการปรับปรุงทุกครั้งเมื่อมีข้อมูลใหม่โหลดเข้ามาในครั้ง

7. การสำรองข้อมูล (Archiver/Backup Data)
          ถึงแม้ว่าข้อมูลสรุปผลจะถูกสร้างมาจากข้อมูลรายละเอียด แต่ก็มีวคามจำเป็นต้องสำรองเก็บไว้บนสื่อบันทึกข้อมูลออนไลน์ หรืออาจย้ายข้อมูลเหล่านี้ไปเก็บไว้ในเทปแม่เหล็กหรือออปติคัลดิสก์

8. ข้อมูลที่ใช้อธิบายข้อมูล (Meta-Data)
         เนื่องจากข้อมูลในคลังข้อมูลจะนำไปใช้ในการวิเคราะห์ตามหัวข้อธุรกิจที่ผู้ใช้สนใจ ดังนั้นจึงจำเป็นต้องมีเครื่องมือที่ใช้สำหรับแยกข้อมูลตามรายละเอียด ซึ่งก้คือ Meta-Data ที่จัดเป็นเครื่องมือหนึ่งที่ใช้อธิบายข้อมูลของข้อมูลนั่นเอง กล่าวคือ เป็นรายละเอียดเกี่ยวกับข้อมูลที่จัดเก็บในคลัง เพื่อใช้ในการตอบคำถามบางอย่าง เช่น ข้อมูลนี้มาจากที่ใด ระบบใด มีรูปแบบข้อมูลแบบใด มีขัดจำกัดในการใช้งานอย่างไรบ้าง ถูกปรับปรุงครั้งล่าสุดเมื่อใด และมีรูปแบบที่กำหนดไว้อย่างไรในฐานข้อมูล เป็นต้น ดังนั้น Meta-Data จึงเป็นรายละเอียดที่สำคัญมาก เพื่อที่จะได้สามารถนำข้อมูลที่มีรายละเอียดที่ถูกต้องมาวิเคราะห์

9. เครื่องมือการเข้าถึงข้อมูลของผู้ใช้ (End-User Access Tools)
          เครื่องมือการเข้าถึงข้อมูลสำหรับผู้ใช้เป็นส่วนที่เกี่ยวข้องกับเครื่องมือต่างๆ ที่ผู้ใช้นำไปใช้งานเพื่อโต้ตอบกับคลังข้อมูล คลังข้อมูลต้องสนับสนุนวิธีการทาง Ad Hoc และการวิเคราะหืงานประจำ โดยมีเครื่องมือต่างๆ ที่ประกอบด้วยสิ่งเหล่านี้
-          เครื่องมือการสร้างรายงานและคิวรี
-          เครื่องมือการสร้างแอผพลิเคชัน
-          เครื่องมือระบบสารสนเทศสำหรับผู้บริหารระดับสูง
-          เครื่องมือการประมวลผล OLAP

-          เครื่องมือ Data Mining