Snowflake Data Cloud

เข้ามาช่วยในการรวบรวมข้อมูลของลูกค้ามากกว่า 150 ล้านคน จากหลายช่องทางทั่วโลก โดยใช้ Cloud จากหลายเจ้า ไม่จำเป็นต้องยึดติดไปกับเจ้าใดเจ้าหนึ่ง และยังช่วยลด cost ลงไปมากอีกด้วยการใช้ Marketplace – เปลี่ยน Data ให้เป็นเงิน OpenX เป็นบริษัทที่มีแพลตฟอร์มขนาดใหญ่ในการซื้อขายโฆษณาออนไลน์ทั่วโลก ผ่านทาง Link โฆษณา ทั้งบนเว็บไซต์มือถือและ Smart TV มีลูกค้าเกือบ 1 พันล้านคนทั่วโลกดังนั้นจึงมีข้อมูลขนาดใหญ่มากและจัดเป็นข้อมูลที่ sensitive ด้วย และเนื่องจากลูกค้าของบริษัทมีความต้องการที่จะดูรายละเอียดของข้อมูลที่ละเอียดมากขึ้น เพื่อที่จะดูว่าแคมเปญให้ผลลัพธ์เป็นอย่างไร ด้วยข้อมูลมหาศาลที่มากขึ้น ก็ทำให้บริษัทส่งไปให้ลูกค้าได้ช้าลง และลูกค้าส่วนมากก็ใช้ Spreadsheet เท่านั้นเลยทำให้การบริการยาก OpenX ได้เข้ามาใช้ Snowflake รวมถึง Marketplace ทำให้ลูกค้าได้ใช้เครื่องมือ BI OpenX สามารถแชร์ข้อมูลแบบ raw เพื่อนำไปทำ Analytics และหา insight ได้รวดเร็วและง่ายยิ่งขึ้นข้อจำกัดของ Snowflakeทุก ๆ platform มีความท้าทาย (Challenges) และข้อจำกัด Snowflake ก็เช่นกันSnowflake ทำหน้าที่ deploy infrastructure ทำให้องค์กรต้องพึ่งพาการพัฒนาหรือการ develop จาก Snowflake เพียงอย่างเดียว หรือที่เรียกกันว่า Vender Lock-in ถ้ามีอะไรฉุกเฉินเกิดขึ้นก็จะกลายเป็นงานที่ท้าทายในการจัดให้รวดเร็วCloud layer ของ Snowflake จะแชร์กันระหว่างลูกค้าจำนวนมากซึ่งหมายความว่าถ้ามีเหตุการณ์ด้าน Security เกิดขึ้น Data ทั้งหมดก็จะถูกเปิดเผยSnowflake ทำงานบนเครื่องมือคลาวด์เพียงไม่กี่ตัวเช่น AWS, Azure, และ Google Cloudสรุป Snowflake Data Warehouse ดียังไงSnowflake เป็น Modern Data Platform ที่อยู่บน Cloud ที่สามารถสเกลและเก็บข้อมูลรวมถึงทำ analytics ได้ นอกจากนี้ยังมีระบบที่สามารถเชื่อมต่อกับ Cloud ได้หลายเจ้า หลาย environment โดยที่ยังคงประสิทธิภาพ มี features หลากหลายที่เข้ามาช่วยให้ชีวิตคนทำงานอย่างเราง่ายยิ่งขึ้น เช่น zero copy clone, time travel และ fail safe, การรับรองข้อมูลแบบ semi-structured, การโหลดข้อมูลอย่างต่อเนื่อง และการแชร์ข้อมูล นอกจากนี้ยังมี use case ตัวอย่างการใช้งานจากบริษัทจริง มีทั้งข้อดีและ ความท้าทายในการใช้งานให้ไว้ลองคิดกันหวังว่าบทความนี้จะช่วยให้เพื่อน ๆ รู้จักกับ Snowflake และเครื่องมือต่าง ๆ เพิ่มขึ้นนะคะ และหากบทความนี้มีประโยชน์ อยากรบกวนช่วยแชร์ เพื่อส่งต่อความรู้นี้ให้เพื่อน ๆ ด้วยและถ้าชอบเนื้อหาแนวนี้ ติดตามบทความดี ๆ ด้าน Data และวีดิโอสนุก ๆ ดูชิล ๆ แล้วได้ความรู้กันได้ที่ Facebook Page: DataTH และ Youtube Channel: Data Science ชิลชิล นะคะ แล้วเจอกันค่ะFacebookFacebookXTwitterLINELine

Partnership Unleash the power of limitless, data-driven insights with an integrated modern data cloud platform. Through infinite workloads liberated from scale limitations, Snowflake Data Cloud Platform combines the flexibility of big data platforms with the elasticity of the cloud. TEKsystems Capabilities with Snowflake AI Data Cloud Platform Unleash the power of limitless, data-driven insights with an integrated modern data cloud platform. See how TEKsystems can harness the Power of your Data with Snowflake. Our approachFull stack and forward-looking—let’s make some waves in your data strategy to accelerate your business to 100. As a Snowflake Elite Partner, we have the proven skills and experience to help you leverage Snowflake’s innovative technology and achieve data-driven results. Together, with our large team of certified SnowPro architects, we’ll rapidly integrate Snowflake solutions and help you maximize the value of data analytics for transformative performance. Explore the World of Data CollaborationMeet with us at Snowflake Summit 2024San Francisco, CA | June 3-6Get the Details Cloud Migration Toolkit See how you can accelerate the speed of migration to the Snowflake Data Cloud with the TEKsystems AMPGSTM Cloud Migration Toolkit. Data warehouse modernization Data warehouse modernization Say goodbye to legacy data warehouses and hello to a modern data platform that unifies all your data and delivers valuable insights. As trusted Snowflake partners, we’ll help you build a business modernization framework and deploy solutions on top of Snowflake – minus the headache of traditionally complex data solutions. Data analyticsEnable innovation without limits. Think: machine learning, predictive analytics and IoT—rapid insights at scale. Since we’re submerged in everything cloud, we can propel your journey to a safe, efficient cloud analytics destination. We apply data knowledge, a security mindset and cloud experience to help you create powerful insight. Center of excellenceDo more with your data. We’ll meet you at any stage in your data transformation journey: deployment, scaling, adoption, governance, maintenance. From data center transformation to data migration, we’ll help you leverage Snowflake solutions to drive business outcomes and harness powerful results. Harness the Power of your Data with SnowflakeLet’s talk about the world of possibilities and how we can

In the wake of data's constant growth and velocity, organizations seek solutions to deal with big data and related challenges. Data storage and management have become critical aspects of today's business operations. But the question is, what is the first decision an organization makes? Simple: Adopt a cloud-based approach that offers scalability, flexibility, and high performance. Here comes snowflakes, a cloud-based data warehouse platform that's becoming increasingly popular for its features, support for multi-cloud infrastructure environments, and efficiency. What is Snowflake? Snowflake is basically a SaaS (Software as a service is a cloud-based method of providing software to users.) based data warehouse (DWH) platform that is built on the top of AWS (Amazon Web Services), Microsoft Azure, and Google Cloud infrastructures to provide companies with flexible, scalable storage solutions while also hosting BI (Business Intelligence) solutions. It serves as a centralized platform for data management, data lakes, data engineering, data applications development, data science, and secure sharing and consumption of real-time and shared data. Providing a centralized system to consolidate all data, Snowflake revolutionized the data warehousing industry. With Snowflake, you can simplify data warehouse management without sacrificing features. To satisfy the demanding needs of growing enterprises, Snowflake includes out-of-the-box features such as storage and compute separation, on-the-fly scalable computing, data sharing, data cloning, and third-party tool support, etc. In comparison to traditional solutions, Snowflake delivers fast, easy-to-use, and flexible data storage, processing, and analytics. A number of programming languages are supported by Snowflake, including Go, C, .NET, Java, Python, Node.js, etc. In this article, we have broken down the commonly asked Snowflake interview questions into two categories i.e., Fresher's level and Experienced level. These questions will better prepare you for the Snowflake jobs. Snowflake Interview Questions for Freshers 1. What are the essential features of Snowflake? Snowflake has the following key features:With Snowflake, you can interact with the data cloud through a web interface. Users can navigate the web GUI to control their accounts, monitor resources, and monitor resources and system usage queries data, etc.Users can connect to Snowflake's data cloud using a wide range of client connectors and drivers. Among these connectors are Python Connector (an interface for writing Python applications to connect to Snowflake), Spark connector, NodeJS driver, .NET driver, JBDC driver for Java development, ODBC driver for C or C++ programming, etc.The core architecture of Snowflake enables it to operate on the public cloud, where it uses virtualized computing instances and efficient storage buckets for processing huge amounts of big data cost-effectively and scalable.Snowflake integrates with a number of big data tools, including business intelligence, machine learning, data integration, security, and governance tools.With advanced features such as simplicity, increased performance, high concurrency, and profitability, Snowflake is incomparable to other traditional data warehouse solutions.Snowflake supports the storage of both structured and semi-structured data (such as JSON, Avro, ORC, Parquet, and XML data).Snowflake automates cloud data management, security, governance, availability, and data resilience, resulting in reduced costs, no downtime, and better operational efficiency.With it, users can rapidly query

It offers a flexible and scalable architecture that allows organizations to store and analyze vast amounts of data quickly and easily. Snowflake’s unique architecture separates storage and compute, allowing organizations to scale compute and storage independently, providing unparalleled flexibility and cost savings.Snowflake is #3 on data engineering tools ranking list.Why Snowflake?Snowflake is important for data engineers to know and learn because it provides a cloud-based solution for modern data warehousing and analytics that is flexible, scalable, and cost-effective. Its unique architecture separates storage and compute, providing organizations with unparalleled flexibility and cost savings.Features:Separate storage and compute: Snowflake separates storage and compute, allowing organizations to scale storage and compute independently.Cloud-based: Snowflake is cloud-based, allowing organizations to store and analyze vast amounts of data in the cloud.Support for multiple data sources: Snowflake supports multiple data sources, including structured, semi-structured, and unstructured data.Multi-cluster and multi-node: Snowflake supports multi-cluster and multi-node deployments for high availability and scalability.Pros:Flexible and scalable architecture: Snowflake’s architecture separates storage and compute, allowing organizations to scale and adjust resources as needed.Cloud-based: Snowflake is cloud-based, allowing organizations to store and analyze vast amounts of data in the cloud.Cost-effective: Snowflake’s unique architecture provides cost savings compared to traditional data warehousing solutions.Ease of use: Snowflake offers an easy-to-use interface, making it accessible to users of all skill levels.Cons:Dependency on cloud: Snowflake is a cloud-based solution, meaning organizations must have a strong and reliable internet connection.Vendor lock-in: Snowflake is a proprietary solution, meaning organizations may be locked into using the Snowflake platform.Limited customization options:

ในโลกที่ขับเคลื่อนไปด้วยข้อมูลในยุคปัจจุบัน องค์กรต่าง ๆ ก็เริ่มมองหา solution ที่ตอบโจทย์ และคล่องตัวในการนำข้อมูลไปใช้อย่างมีประสิทธิภาพ ช่วยในการตัดสินใจ และคุ้มค่ามากที่สุด เพื่อสนองต่อความต้องการทางธุรกิจ Snowflake เป็นเทคโนโลยีด้าน Data Warehouse ที่ได้รับความนิยมในระดับโลก และยิ่งใหญ่จนสามารถเข้าตลาดหุ้น NYSE (New York Stock Exchange) มีลูกค้ามากมายทั่วโลก เช่น Adobe, Exxonmobil หรือแม้แต่ KFCบทความนี้เราจะมาทำความรู้จักกับเครื่องมือ Modern Data Stack ที่เรียกว่า Snowflake กันSnowflake คืออะไร Snowflake เป็น Platform แบบ Cloud Computing ที่สามารถเก็บข้อมูลไว้บนส่วนกลาง (Storage) ประมวลผล (Processing) และทำการวิเคราะห์ (Analytics) ได้ โดยจะแบ่ง layer เป็น 3 ชั้น ดังนี้ ชั้นที่เก็บข้อมูล (Database Storage Layer)ชั้นการประมวลผล (Query Processing Layer)ชั้นบริการทางด้าน Cloud (Cloud Services Layer)จะเห็นจากรูปด้านล่างได้ว่า Snowflake ประกอบไปด้วย 3 ชั้น ที่กล่าวไปข้างต้น โครงสร้างของ snowflakeชั้นที่เก็บข้อมูล (Database Storage Layer)ชั้นที่เก็บข้อมูล หรือชั้น Database Storage นั้น จะเป็นชั้นไว้เก็บข้อมูล โดยสามารถตั้งค่าให้เก็บบน Cloud ตัวไหนก็ได้ตามที่เราต้องการ ตั้งแต่ Amazon S3 ของ AWS, Google Cloud ของ GCP และ Azure Blob Storage ของ Azure สามารถเก็บข้อมูลได้ทั้งแบบ Structured, แบบ Semi-structured และแบบ Unstructuredข้อมูลที่โหลดเข้าไปเก็บไว้ใน Snowflake จะถูกจัดระเบียบให้อยู่ในรูปแบบ columnar มีการ optimize และ compress แล้วนำไปเก็บไว้ใน micropartition ในชั้นที่เก็บข้อมูล Snowflake จะทำการจัดการทุกอย่างในการจัดเก็บข้อมูลตั้งแต่การจัดระเบียบข้อมูลขนาดของไฟล์โครงสร้างการบีบอัดข้อมูล meta dataencryptionและด้านอื่น ๆเราจะไม่สามารถมองเห็นหรือเข้าถึง Data object ได้โดยตรง แต่สามารถเข้าถึงข้อมูลผ่านการ Query โดยใช้ SQL บน Snowflake ได้ ชั้นการประมวลผล (Query Processing Layer/ Compute Layer)ชั้นการประมวลผล หรือ Compute Layer หรือเรียกอีกอย่างว่า Query Processing Layer และ Processing Layer เป็นชั้นที่ทำหน้าที่ประมวลผลคำสั่งหรือ Query ทำการโหลดข้อมูลเข้ามาไว้บนชั้นที่เก็บข้อมูลหรือนำข้อมูลออกจากชั้นที่เก็บข้อมูล นอกจากนี้ยังทำการแปลงข้อมูล (transformation) รัน Data Pipeline และเทรนโมเดล Machine Learning ซึ่งจะถูกดำเนินการโดย Virtual Warehouse ที่มี compute resources อยู่ข้างใน สามารถเลือกขนาด scale ขึ้นมาให้ตรงกับความต้องการ หรือ scale ลงเมื่อใช้งานน้อยลงได้ และจ่ายเงินตามที่ใช้จริง Virtual Warehouse แต่ละอันจะทำงานแบบ independent และรันแบบ parellel ทำให้ Performance แต่ละอันไม่ส่งผลต่อประสิทธิภาพของกันและกันชั้นบริการทางด้าน Cloud (Cloud Services Layer)ชั้นบริการทางด้าน Cloud เป็นกลุ่มบริการที่ประสานงานและเชื่อมต่อระหว่างส่วนประกอบต่าง ๆ ภายใน Snowflake เป็นเหมือนชั้นมันสมอง และก็เป็นอีกชั้นที่มี Virtual Warehouse ที่ถูกจัดมาโดย Snowflake เข้ามาช่วยทำงาน บริการที่อยู่บนชั้นนี้ ก็จะมีตั้งแต่การยืนยันตัวตนเข้าใช้งาน (Authentication), การจัดการ Infrastructure (Infrastructure management), การจัดการ Metadata (Metadata management), Query parsing and optimization และ การควบคุมการเข้าถึงทรัพยากร (Access control)Feature เด่น ๆ ของ SnowflakeSnowflake มี feature หลาย feature ที่น่าสนใจมาก เราจะมาดูตัวอย่าง feature ที่เด่น ๆ กันZero copy clonefeature เด่น: zero copy cloneZero copy clone เป็นหนึ่งใน feature ของ Snowflake ที่โดดเด่นมาก โดยทำการคัดลอก object บน Snowflake ออกมาเป็นอีก object หนี่งที่อ้างอิงหรือ reference ไปกับ object ต้นแบบคำว่า object ตรงนี้สามารถเป็นได้ตั้งแต่ Database, Schema หรือตารางก็ได้ ส่วนการคัดลอกนั้นสามารถทำกี่ครั้งก็ได้ และใช้เวลาภายในไม่กี่วินาที แต่ทั้งนี้ทั้งนั้นก็ขึ้นอยู่กับขนาดของ object นั้นด้วย หลังจากทำการคัดลอกแล้ว object ที่เป็นตัวคัดลอกจะไม่มีความเกี่ยวข้องกับ object ต้นแบบ อีกต่อไป การเปลี่ยนแปลงข้อมูลบน object ต้นแบบจะไม่ส่งผลต่อ object ตัวคัดลอก และเมื่อมีการเปลี่ยนแปลงข้อมูลบน object ตัวคัดลอก ข้อมูลบน object ต้นแบบก็จะไม่ถูกเปลี่ยนตามไปด้วย ยกตัวอย่างให้เห็นภาพง่าย ๆ เมื่อเราต้องการแก้ไขข้อมูลใน database แบบ traditional ที่อยู่บน Production เราจะต้องสร้าง environment อีกอันหนึ่งมารองรับข้อมูล สมมติเรียก environment นั้น สั้น ๆ ว่า Testing เราจะต้องเสียเงินค่าสร้าง Testing environmentค่าที่เก็บข้อมูลของข้อมูลที่อยู่บนทั้ง Production และ Testingรวมถึงเมื่อมีข้อมูลอัปเดตบน Production เพิ่มเข้ามา ก็ยากต่อการอัปเดตข้อมูลบน Testing ด้วย Zero copy clone เข้ามาช่วยให้อะไร ๆ ง่ายขึ้น ทั้งทำการโคลน Production ไปยัง Testing ในไม่กี่วินาที โดยจ่ายแค่ค่าที่เก็บข้อมูลของ Production และเมื่อมีการอัปเดตข้อมูลบน Production เพิ่มเข้ามา เราก็สามารถทำการคัดลอกอีกรอบไปไว้บน Testing ได้ และเมื่อทำการทดสอบข้อมูลเรียบร้อยแล้วก็สามารถคัดลอกกลับไปไว้บน Production ได้ทันทีTime Travel และ Fail Safefeature เด่น: time travel และ fail safeTime travel เป็นอีก feature หนึ่งของ Snowflake ที่อาจจะช่วยชีวิตใครหลาย ๆ คนได้ เพราะสามารถทำการเข้าถึงข้อมูลจากจุดใดจุดหนึ่งก็ได้ในอดีต โดยสามารถเข้าถึงข้อมูลนั้นได้ภายใน 24