Karena IE udah obsolete maka ada beberapa website yang gak mau disedot menggunakan IE jadi mau gak mau kita mesti menggunakan Alat sedot baru yang berbasis selenium
Apa itu selenium? selenium adalah alat untuk otomasi web browser, persis yang selama ini kita buat menggunakan VBA yaitu webbrowser pada Form atau mengendalikan Internet Explorer. Sebenarnya selama ini kita cukup puas dengan IE namun semenjak IE dihentikan oleh microsoft ada beberapa website yang tidak bisa dibuka oleh IE jadi terpaksa kita menggunakan selenium karena selenium bisa mengendalikan hampir semua webbrowser sepanjang ada drivernya.
I. Cara Install Selenium
- Selenium untuk vba bisa kita lihat di :
- https://github.com/florentbr/SeleniumBasic/releases/tag/v2.0.9.0
- atau download disini
- https://drive.google.com/file/d/1svyHK9eKAGU2UzIP-ozFDauhoUMuERYm/view?usp=sharing
- Download file SeleniumBasic-2.0.9.0.exe
- Lalu Eksekusi file tersebut untuk menginstallnya
II. Install webdriver untuk Chrome
- Terus instal webdriver untuk browser Chrome
- Penulis tidak menggunakan versi lain karena yakin pasti semua menggunakan Chrome, walopun bisa dijalankan dengan semua browser modern lainnya
- https://sites.google.com/chromium.org/driver/
- Klik yang Stable, 103.0.5060.134, lalu Pilih yang Win32 Driver (bisa berbeda dengan versi terkini)
- Download sesuai versi chrome anda, cek di Help - About
- Kalo beda maka update chrome anda atau jika anda tidak bisa update chrome maka anda cari yang sesuai dengan versi anda di https://sites.google.com/chromium.org/driver/downloads
- Jika sudah maka Extract webdrive chrome chromedriver_win32.zip
- Copas file chromedriver.exe ke folder seleniumbasic
- Ada dua kemungkinan
- C:\Program Files\SeleniumBasic atau C:\Users\%username%\AppData\Local\SeleniumBasic
- Di PC saya ada di yang kedua
III. Install Sedooot Tools
- Jika berhasil maka anda bisa download Sedooot Tools yaitu Alat sedot links Internet/Intranet versi Selenium
- yang sedang dikerjain hehehe
- Donlot link diatas (https://drive.google.com/file/d/1nvOknv5gn56VtBbvrO0CKEgMOeDDVgQM/view?usp=sharing)
- Ini adalah Excel Addins jadi anda cukup extract file installer lalu load di Excel Addins (Jangan dibuka open file)
- File - Options - Add-ins - Excel Addins - Browse sedooot.xlam lalu OK
- Nanti akan ada Menu baru sebelum Help
IV. Cara Test Instalation
- Jika muncul menu Sedooot maka berarti sukses
- Test selenium dengan klik Setting - Klik Tab Selenium
- Klik Test Selenium
V. Cara Sedot
- Link ada 2 jenis yaitu GET dan POST
- Cara mencari link coba search aja di eoditor.com categori Data Mining
- http://eoditor.com/category/data-mining/
- Caranya blok dulu Kolom yang berisi link (hanya kolom pertama)
- Lalu klik Sedooot - Sedooot GET Link/POST Link
- Klik Menu, Pilih Sedot as text atau lainnya
- Sedot as Text berarti akan disave tanpa format, Perhatikan Format angka dan tanggal di PC anda, karena akan dikonvert sesuai PC anda, juga angka lebih dari 15 digit akan error atau angka ada nol didepan
- Sedot as text and format as text, akan dipaste tanpa format namun tidak akan dikonvert ke angka/tanggal, semua ke text. Ini yang paling aman
- Sedot as HTML Format, akan diformat mirip aslinya, ada formatnya
- Sedot as HTML code akan dipaste dalam bentuk HTML code
- Sedot as File akan menyedot dan ditaruh di file teks, ini berguna jika kita sedot data besar (lebih dari 1 juta baris) serta file JSON
VI. Contoh Cara Penggunaan
- Menyedot Data eCommerce Buka Lapak
- Sudah disediakan Link via aplikasi\
- Klik Sedooot - List Links
- Pilih Bukalapak-Daftar Produk
- Klik Tombol Make Links
- Masukkan Alamat Tenant
- Misalnya
- https://www.bukalapak.com/jagapati-official
- Akan dibuat satu workbook baru berisi GET Link (link yang hanya satu kolom)
- Kita block kolom pertama, kolom kedua berisi Path dan Nama File
- Kita Klik Sedooot - Sedooot Link
- Klik Menu - Sedot As Textfile (karena hasilnya adalah file JSON)
- Ini hasilnya setelah tersedot
- Kita Convert gunakan PowerQuery
- Ini hasil akhirnya
- Gampang kan
- Data hasil sedot maupun Olahan Excel donlot disini :
- https://drive.google.com/file/d/1KsDpygheAgYEGEXv5ZDwLVhsRPMmmE50/view?usp=sharing