Mengikis Laman Web Menggunakan Kueri Kuasa - Petua Excel

Kuasa Kuasa cukup hebat. Tetapi saya akan melakukan Power Query Squared … menulis pertanyaan untuk satu halaman dan kemudian meminta Excel melakukan pertanyaan yang sama untuk keseluruhan senarai halaman web.

Tonton Video

  • Silap mata hari ini diadaptasi dari buku M adalah untuk Data Monkey
  • Bina pertanyaan untuk mendapatkan data dari satu laman web
  • Edit pertanyaan untuk mengubahnya menjadi fungsi dengan (VariableName) => sebelum Let
  • Tukar URL berkod keras ke VariableName
  • Namakan semula pertanyaan kepada fxWeather
  • Tutup & Muatkan. Data akan hilang.
  • Gunakan Excel Trickery untuk membuat jadual semua URL
  • Buat pertanyaan dari jadual itu.
  • Tambahkan lajur Cuaca baru =fxWeather((URL))
  • Kembangkan lajur. Nyahtanda Awalan
  • Hebat!

Transkrip Video

Belajar Excel dari Podcast, Episod 2056: Kuasa Kuasa Kuadrat

Hei, selamat datang kembali ke siaran net, saya Bill Jelen. Saya menemui muslihat ini semasa saya bersiap untuk melakukan seminar di sebuah persidangan di Dallas yang disebut Excelapalooza, nama persidangan Excel terhebat yang pernah ada. Anda mesti memeriksanya setiap bulan September di Dallas.

Dan penghargaan kepada Ken Puls dan Miguel Escobar kerana saya harus melakukan satu jam untuk pertanyaan kuasa, jadi tentu saja, saya mengeluarkan buku yang hebat, buku terhebat di dunia mengenai Power Query. Saya membaca buku itu dan saya melihat mereka mempunyai satu teknik dan saya berkata, “Tunggu sebentar. Saya akan melihat apakah saya dapat menyesuaikan teknik ini. " Dan ini bagi saya hebat dalam pertanyaan kuasa. Dan inilah yang akan kita lakukan, kita akan mengambil satu pertanyaan kuasa dan kemudian kita akan menjalankan pertanyaan kuasa itu, pertanyaan itu, puluhan kali, baiklah?

Oleh itu, contoh yang saya buat adalah di mana saya mahu menarik data dari laman web, baiklah. Dan saya pergi ke - saya hanya mencari beberapa laman web yang saya boleh - yang boleh saya gunakan sebagai contoh. Saya berakhir di Weather Underground dan inilah URL, dan anda dapat melihat bahawa saya berada di Dallas-Fort Worth, jadi kami menarik data untuk Dallas dan sepertinya 2 Januari 2015. Jadi di URL terdapat parameter , betul? Dan itu adalah URL yang sudah matang untuk menjadikan perkara ini berfungsi.

Kami akan melihat halaman web dengan cepat walaupun tidak begitu penting. Anda melihat terdapat banyak data yang berlainan di sini di laman web dan saya memutuskan bahawa saya hanya akan mencuba hujan dan suhu tinggi dan rendah. Dan inilah pertanyaannya. Dan izinkan saya memberitahu anda di sini bahawa podcast ini bukan mengenai cara Membuat Pertanyaan ini, Pertanyaan Baru, Dari Sumber Lain, Dari Web, tentukan URL dan kemudian beberapa langkah yang tidak akan saya perincikan di sini untuk mendapatkan jawapan terakhir Max Temp, Min Temp, dan pemendakan. Maksudnya adalah anda akan mengambil pertanyaan anda sendiri dan membuatnya berfungsi untuk banyak perkara.

Jadi, saya klik Tutup & Muat dan pertanyaan ini berfungsi, ia mengembalikan satu baris saya. Semuanya hebat. Dan saya akan masuk semula, saya akan Mengedit pertanyaan ini dan saya akan pergi ke View, Advanced Editor. Saya akan mengambil pertanyaan ini dan saya akan menjadikannya berfungsi, baiklah? Jadi di sini sebelum perkataan LET, saya tekan Enter. Dan dalam kurungan, saya akan memberikannya pemboleh ubah (MyURL) dan kemudian => anak panah kecil di sana, baiklah? Sejuk. Dan kemudian di sini, di mana mereka mempunyai URL dalam tanda kutip, saya ingin menyingkirkan keseluruhan URL termasuk petikan dan kemudian taipkan nama pemboleh ubah saya MyURL, baiklah. Jadi apa yang kita katakan adalah, kita akan meneruskannya ke URL dan ia akan melakukan pertanyaan yang sama tetapi dengan URL apa pun kita kebetulan meneruskannya.

Sekarang, beberapa perkara yang tidak membimbangkan di sini, apabila saya mengklik Selesai, oh lelaki! Semua langkah yang saya pakai telah hilang dan mereka mahu saya memasukkan parameter. Abaikan saja semua itu. Kami akan menamakan semula ini; kita akan memanggilnya fxWeather. FX, tentu saja, menjadi singkatan untuk fungsi dan anda harus benar-benar mengingat nama ini dan mengingat huruf mana yang ditulis dengan huruf besar, itu akan menjadi sangat penting dalam beberapa minit. Rumah, Tutup & Muat, dan BAM! Semuanya hilang. Oh tidak! Tetapi tidak mengapa. Baiklah, jadi kami tahu ia ada di sana. Ini hanya sambungan. Sekarang, saya akan datang ke sini dan ini adalah Excel lama yang lurus, okey? Oleh itu, inilah URL, saya memecahnya menjadi bahagian pertama URL, bahagian akhir URL. Saya tahu bahawa saya perlu mengambil tarikh; Saya perlu memformatnya dalam format tahun yang pelik ini,bulan, dan hari jadi saya menggunakan fungsi TEXT untuk melakukannya. Masukkan tarikh mula di sini. Saya juga boleh menukar lapangan terbang, jadi sekarang saya berulang-alik. Mari buat MCO untuk Orlando dan mari buat beberapa data terkini. Jadi saya akan mulakan pada 10/1/2016, baiklah. Jadi sekarang kami menyediakan meja kecil yang hebat ini di sini. Dan omong-omong, ia mesti menjadi meja. Anda mesti menggunakan format sebagai jadual atau Ctrl + T. Jadi, anda tahu, ini hanya mengambil tarikh itu dan kemudian +1 + 1 + 1. Saya memformatnya, saya membina URL.Anda mesti menggunakan format sebagai jadual atau Ctrl + T. Jadi, anda tahu, ini hanya mengambil tarikh itu dan kemudian +1 + 1 + 1. Saya memformatnya, saya membina URL.Anda mesti menggunakan format sebagai jadual atau Ctrl + T. Jadi, anda tahu, ini hanya mengambil tarikh itu dan kemudian +1 + 1 + 1. Saya memformatnya, saya membina URL.

Baiklah sekarang, kita akan membina pertanyaan dari jadual ini. Baiklah, dan ada maklumat saya. Saya akan Menambah Lajur Baru, Menambah Lajur Kustom, lajur itu akan disebut Cuaca, dan formula akan menjadi = fxWeather. Pastikan huruf besarnya sama, huruf besar dan huruf kecil yang sama, dan kami akan memasukkan bidang yang disebut URL seperti itu, menutup kurungan. Tiada ralat sintaks, klik OK. Mereka ingin mengetahui mengenai Privasi di sini, ini semua data Umum, klik Simpan, baiklah. Jadi, ada tarikh kita. Lucunya mereka sebenarnya telah mengubah format saya menjadi sesuatu yang tidak seperti yang saya mulakan. Dan inilah Cuaca dengan simbol pengembangan. Oleh itu, saya akan mengklik simbol pengembangan, hapus centang Gunakan nama lajur asal sebagai awalan. Saya mahu Max, Min, Presipitasi,klik OK. Baiklah, dan sekarang yang saya perlukan hanyalah tarikh dan maklumat di luar sana. Oleh itu, saya akan klik kanan dan buang lajur ini, klik kanan dan keluarkan lajur ini. Di sini, saya tidak memerlukan masa itu, jadi saya katakan ini hanya Tarikh, baiklah. Dan lihat apa yang dilakukannya setiap tarikh yang saya lalui; ia kembali tinggi, rendah, dan presipitasi untuk Orlando. Setiap baris di sini akan keluar ke laman web yang berbeza. Bayangkan saja, jika bukan 15 baris tetapi 5,000 baris, anda akan menyiapkannya untuk berjalan semalaman. Saya biasa menulis makro untuk ini. Sebenarnya, salah satu laman web yang keluar adalah bagaimana membina makro untuk mengikis laman web dari seribu laman web yang berbeza di laman web, tidak perlu lagi dengan pertanyaan kuasa.Klik kanan dan keluarkan lajur ini, klik kanan dan keluarkan lajur ini. Di sini, saya tidak memerlukan masa itu, jadi saya katakan ini hanya tarikh, baiklah. Dan lihat apa yang dilakukannya setiap tarikh yang saya lalui; ia kembali tinggi, rendah, dan presipitasi untuk Orlando. Setiap baris di sini akan keluar ke laman web yang berbeza. Bayangkan saja, jika bukan 15 baris tetapi 5,000 baris, anda akan menyiapkannya untuk berjalan semalaman. Saya biasa menulis makro untuk ini. Sebenarnya, salah satu laman web yang keluar adalah bagaimana membina makro untuk mengikis laman web dari seribu laman web yang berbeza di laman web, tidak perlu lagi dengan pertanyaan kuasa.Klik kanan dan keluarkan lajur ini, klik kanan dan keluarkan lajur ini. Di sini, saya tidak memerlukan masa itu, jadi saya katakan ini hanya Tarikh, baiklah. Dan lihat apa yang dilakukannya setiap tarikh yang saya lalui; ia kembali tinggi, rendah, dan presipitasi untuk Orlando. Setiap baris di sini akan keluar ke laman web yang berbeza. Bayangkan saja, jika bukan 15 baris tetapi 5,000 baris, anda akan menyiapkannya untuk berjalan semalaman. Saya biasa menulis makro untuk ini. Sebenarnya, salah satu laman web yang keluar adalah bagaimana membina makro untuk mengikis halaman web dari seribu laman web yang berbeza di laman web, tidak perlu lagi dengan pertanyaan kuasa.s kembali tinggi, rendah, dan kerpasan untuk Orlando. Setiap baris di sini akan menuju ke laman web yang berbeza. Bayangkan saja, jika bukan 15 baris tetapi 5,000 baris, anda akan menetapkannya untuk berjalan semalaman. Saya biasa menulis makro untuk ini. Sebenarnya, salah satu laman web yang keluar adalah bagaimana membina makro untuk mengikis laman web dari seribu laman web yang berbeza di laman web, tidak perlu lagi dengan pertanyaan kuasa.s kembali tinggi, rendah, dan kerpasan untuk Orlando. Setiap baris di sini akan menuju ke laman web yang berbeza. Bayangkan saja, jika bukan 15 baris tetapi 5,000 baris, anda akan menetapkannya untuk berjalan semalaman. Saya biasa menulis makro untuk ini. Sebenarnya, salah satu laman web yang keluar adalah bagaimana membina makro untuk mengikis laman web dari seribu laman web yang berbeza di laman web, tidak perlu lagi dengan pertanyaan kuasa.

Now, when I Close & Load, it's funny the preview here is showing me all the results. When I Close & Load, they're actually going to go do each query. And so right now we have preview rows loaded and it will take a good long time for this information to get updated. So, go to lunch, do something especially if you're doing more than 15 rows. And it's funny the preview is correct but they're still going out and could chunk, could chunk, could chunking through each individual row.

And there it's loaded. Is this amazing or what? Hey, I do a lot of Excel seminars, the Power Excel seminar in Orlando, Florida. Look at these beautiful temperatures we have down here on November 4, 2016. My afternoon will be all about Power Query, Power BI, Power Pivot, Power Map. So, I'm going to invite you down to Orlando to check out this seminar. There'll be a link there in the top-right hand corner.

Alright, so recap. Today's trick is from this book, M is for (DATA) MONKEY. We built a query to get one web page and then edit that query to change it into a function. So right before the Let statement variable name => and then change the hard-coded URL to whatever that variable name is. Rename the query to fxWeather, Close & Load, the data disappears. Then, we use some sort of Excel trickery to create a table of all the URLs we want to crawl, create a query from that table. This has to be a Ctrl+T table, add a new column of Weather = fxWeather and again it has to match the case there, (URL), Expand that column, uncheck Prefix. BAM! It is amazing.

Thanks to Ken and Miguel for writing this book. Thanks to you for stopping by. Hope to see you in Orlando on November 4th 2016. See you next time for another netcast from.

Download File

Muat turun fail contoh di sini: Podcast2056.xlsm

Artikel menarik...