ใช้การวิเคราะห์ BigQuery

BigQuery คืออะไร

Google BigQuery เป็นคลังข้อมูลองค์กรที่มีการจัดการเต็มรูปแบบซึ่งช่วยให้คุณสามารถจัดการและวิเคราะห์ข้อมูลที่ได้รับจาก Google. เป็นบริการที่สามารถประมวลผลข้อมูลระดับเพตะไบต์ได้โดยใช้มาก SQL แบบสอบถาม

บันทึกที่ส่งไปที่ Hive การวิเคราะห์ผ่าน Hive การวิเคราะห์สามารถประมวลผลได้โดยใช้ Google BigQuery.

 

คุณสามารถใช้ได้ BigQuery in Hive การวิเคราะห์ผ่านขั้นตอนต่อไปนี้

  • สร้าง Google บัญชี
  • ขออนุญาติสำหรับ BigQuery
  • การเข้าถึงและการใช้งาน BigQuery

สร้าง Google ลงชื่อเข้าใช้

A Google Gmail จำเป็นต้องมีบัญชีเพื่อเข้าถึง Hive บทวิเคราะห์ BigQuery. คุณสามารถเข้าถึง Google เพื่อสร้าง

 

Apply for Permission for BigQuery

การเข้าถึง BigQuery in Hive การวิเคราะห์ต้องใช้กระบวนการสมัครที่เรียบง่าย

เค้ก Hive ผู้ดูแลระบบคอนโซลสามารถสมัครได้โดยการสร้าง Google Gmail บัญชีและการใช้งานBigQuery ฟังก์ชั่นการเข้าถึงใน Hive คอนโซล > Hive การวิเคราะห์ > คำจำกัดความของบันทึก

คลิก BigQuery ปุ่มเข้าถึง ป้อนของคุณ Gmail ข้อมูลบัญชี จากนั้นคลิกปุ่ม Apply เพื่อให้สิทธิ์การเข้าถึงได้ทันที

ไม่สามารถให้สิทธิ์เมื่อไม่ถูกต้องได้ gmail ที่อยู่

 

Use BigQuery

Things to Check for the Initial BigQuery Access

เพื่อใช้การวิเคราะห์ BigQuery, อย่างน้อยหนึ่ง Google Cloud จะต้องถูกสร้างขึ้น

ผู้ใช้ครั้งแรกสามารถสร้าง Google โครงการและการเข้าถึง sandbox สภาพแวดล้อมโดยใช้ Google’s BigQuery Sandbox คู่มือการใช้.

ก็สามารถค้นหาได้ BigQuery ดาต้าได้สูงสุดถึงขีดจำกัดการใช้งานฟรีด้วย BigQuery Sandbox สิ่งแวดล้อม

A BigQuery อัพเกรด จำเป็นหากคุณเกินโควต้าหรือข้อจำกัดของคุณสมบัติ

 

 

Access BigQuery

คุณสามารถเข้าถึง บทวิเคราะห์ BigQuery โดยใช้โปรแกรม BigQuery ฟังก์ชั่นการเข้าถึงใน Hive Console > Hive Analytics > คำจำกัดความของบันทึกถ้าก BigQuery โครงการที่มีอยู่และการวิเคราะห์ BigQuery ได้รับอนุญาตการเข้าถึงแล้ว

จากนั้นหลังจากเข้าไปแล้ว Hive บทวิเคราะห์ BigQuery และดำเนินการตั้งค่าพื้นฐานให้เสร็จสิ้นโดยดำเนินการต่อไปนี้ คุณจะสามารถสืบค้นบันทึกได้โดยดำเนินการ SQL.

 

เพิ่ม BigQuery ไปที่รายการโปรด

ฟีเจอร์รายการโปรดใน BigQueryซึ่งเป็นที่เก็บข้อมูลการวิเคราะห์ ทำให้เข้าถึงชุดข้อมูลได้ง่าย

คลิก “Star Project ตามชื่อ” หลังจากคลิกปุ่ม “เพิ่ม” ที่มุมซ้ายบน

หลังจากนั้นพิมพ์ fluted-airline-109810 ในหน้าต่างป๊อปอัปแล้วคลิกปุ่ม "ดาว"

เค้ก fluted-airline-109810 ได้เพิ่มโครงการลงใน BigQuery explorer ด้านซ้ายของคอนโซล ปุ่มลูกศรจะแสดงชุดข้อมูลที่สามารถเข้าถึงได้ ทำให้คุณดูตารางและข้อมูลได้

 

 

ยิง BigQuery SQL

BigQuery สิทธิ์ของผู้ใช้งาน จำเป็นแยกต่างหากในโครงการเพื่อที่จะดำเนินการ Bigquery’s SQL. อย่างไรก็ตามหากคุณใช้โครงการที่พัฒนามา the BigQuery Sandbox คุณสามารถค้นหาได้ถึงขีดจำกัดการใช้งานฟรีโดยไม่ต้องตั้งค่าสิทธิ์เพิ่มเติม

หากคุณต้องการ SQL คุณสามารถประมวลผลเกินขีดจำกัดการใช้งานฟรีได้ BigQuery’s upgrade.

 

หากมีมากกว่าหนึ่ง Google สร้างโปรเจ็กต์แล้ว โปรเจ็กต์ที่ปฏิบัติการได้จะถูกตั้งค่าโดยอัตโนมัติเมื่อคุณเข้าถึง BigQuery; คุณสามารถตรวจสอบได้ดังต่อไปนี้

คุณสามารถตั้งค่าโปรเจ็กต์ด้วยวิธีการต่อไปนี้ หากคุณไม่เห็นดังที่แสดงในภาพด้านบน

ขั้นแรก คลิกสี่เหลี่ยมสีแดงที่โปรเจ็กต์ถูกเปิดเผยเพื่อเริ่มต้น ต่อไปให้เข้า. Google ชื่อโครงการที่คุณเพิ่งสร้างขึ้น ผู้ใช้เข้าสู่ Google ชื่อโครงการ และเข้าสู่ Google โครงการที่ ผู้ใช้งาน BigQuery ได้รับสิทธิแล้ว

 

คลิกปุ่ม “+” เพื่อสร้าง SQL หน้าต่างตัวแก้ไขและสร้างแบบสอบถาม คลิกปุ่มสามเหลี่ยมทางด้านซ้ายของ fluted-airline-109810 เพื่อดูรายการที่สามารถเข้าถึงได้

คุณสามารถดูบันทึกได้โดยป้อนแบบสอบถามตัวอย่างด้านล่างใน SQL หน้าต่างข้อมูลแล้วกดปุ่ม Run

 

 

SQL หมายเหตุ

  • เค้ก FROM ย่อหน้าควรอยู่ในรูปของ fluted-airline-109810.analytics_Number_live.Table Name. Login Log Inquiry Sample Query

Login Log Inquiry Sample Query

SELECT datetime, appid, guid
FROM fluted-airline-109810.analytics_77777_live.t_hive_login_log
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))
LIMIT 1

 

Upload data to Google BigQuery and JOIN with Hive Analytics BigQuery data

คุณสามารถเรียกใช้ SQL by JOIN ด้วยตารางบันทึกของ Analytics หากคุณสร้าง a Google BigQuery โครงการและอัพโหลดข้อมูล อย่างไรก็ตามตำแหน่งข้อมูลสำหรับ BigQuery การสร้างชุดข้อมูลจะต้องตั้งค่าเป็น US (หลายภูมิภาคในสหรัฐอเมริกา).

สั่งซื้อ

  • สร้างบัญชีตัวแทน Google BigQuery โครงการ
  • สร้างชุดข้อมูล BigQuery เป็น US ภูมิภาค
  • อัปโหลดข้อมูล
  • JOIN ด้วยการวิเคราะห์ BigQuery ข้อมูล

สร้างบัญชีตัวแทน Google BigQuery โครงการ

 

Create BigQuery Data Set to US Region

  • ทางเข้า BigQuery คอนโซลให้เลือก US (หลายภูมิภาคในสหรัฐอเมริกา) เป็นตำแหน่งข้อมูลในส่วนการสร้างชุดข้อมูล และคลิก "สร้างชุดข้อมูล"

สร้างตารางและอัพโหลดข้อมูล

  • สร้างตาราง โดยอ้างอิงจากคู่มือการสร้างตารางในชุดข้อมูลที่สร้างขึ้น
  • อัปโหลดข้อมูลไปยังตารางที่สร้างขึ้นโดยอ้างอิงถึง การจัดการข้อมูลตาราง. โดยปกติแล้วจะมีกรณีการอัพโหลดไฟล์ CSV ไฟล์หรือบันทึกผลลัพธ์แบบสอบถามเป็นตาราง

 

Set Up SQL Launch Project

  • เลือก COM2US.COM องค์กรในป๊อปอัปที่ปรากฏขึ้นเมื่อคุณคลิก C2S-DW ที่มุมบนซ้าย
  • เลือกและคลิกหนึ่งโครงการที่เริ่มต้นด้วย “habq-”.

 

เข้าร่วมกับข้อมูล BigQuery ของ Analytics

  • กรอกแบบสอบถามใน SQL หน้าต่างตัวแก้ไขและคลิกปุ่มดำเนินการเพื่อดำเนินการ SQL.

 

ตัวอย่างแบบสอบถาม Analytics login log และโต๊ะ JOIN ค้นหาที่อัปโหลดไปยัง BigQuery โครงการ

SELECT a.vid, b.vid
FROM fluted-airline-109810.analytics_7777_live.t_hive_login_log a
inner join tribal-booth-366804.test.upload_test b on b.vid = a.vid
WHERE DATE(dateTime) = date(datetime_add(current_datetime('Asia/Seoul'),interval -9 hour))

 

Apply for BigQuery Permission Recovery

คุณสามารถขอถอนได้หากคุณได้รับมอบหมายให้ Hive บทวิเคราะห์ BigQuery หลังจากยื่นคำขออนุญาตแล้ว

คุณสามารถดูสิทธิ์การเข้าถึงที่ร้องขอก่อนหน้านี้ได้โดยใช้ bigquery คุณสมบัติการเข้าถึงใน Hive คอนโซล > Hive การวิเคราะห์ > เมนูคำจำกัดความบันทึก โดยการเลือกบัญชีที่ต้องการเพิกถอนการอนุญาตและคลิกปุ่มเพิกถอนการอนุญาต คุณสามารถส่งใบสมัครของคุณได้

การประมวลผลอาจใช้เวลาถึง 2 วันทำการ และผลลัพธ์จะถูกส่งไปยังที่อยู่อีเมลของบัญชีคำขอเมื่อการเพิกถอนสำเร็จ