Studi Kasus: Sedot Data Perusahaan di MODI ESDM (Minerba One Data Indonesia)

Jika kita membuka halaman https://modi.esdm.go.id/, maka akan kita dapatkan banyak data minerba disitu antara lain:

• Penerimaan Negara
• Dana Bagi Hasil
• Investasi
• Dana Pengembangan Masyarakat
• Produksi Batubara
• Penjualan Batubara
• Logam Timah dll

Sebelum sedot update dulu ke versi 07 Agustus 2022

Disini kita akan mencoba menarik data perusahaan yang terdaftar di Minerba untuk keperluan Galpot

I.  Cara Sedot

1. Klik dulu link
2. https://modi.esdm.go.id/portal/dataPerusahaan
3. Cara mencarinya coba cek Links
4. Klik kanan di Bawah/Pagination, klik aja no. 2, pilih Open in new Tab
5. 
6. Ternyata ini linknya
7. https://modi.esdm.go.id/portal/dataPerusahaan?page=2
8. Berarti tinggal kita buat saja rumus atau fitur fill itu biar ketarik ampe halaman 284
9. Lalu kita tarik gunakan Collect Multiple Links
10. Pilih Sedot As HTML Formatted
11. 
12. Jika sudah maka hasilnya kita merge gunakan Merge worksheet
13. Kita pilih Sheet List 1-284
14. Gunakan Range saja karena bentuknya terstruktur rapi
15. Kita pilih salah satu sheet List pilih lalu range A16:E35
16. Lalu klik Merge
17. 
18. Kita rapikan hasilnya karena kita akan menarik link detil
19. Ini Tampilan Link detil
20. 
21. Dari Gambar diatas kita tidak bisa sedot as text/HTML karena sedot as text hanya menyedot tampilan saja sementara link tersebut menyimpan text yang tersembunyi, yang baru akan muncul jika kita klik link dibawah profil
22. Kita bisa sedot gunakan HTML kode, cuman masalahnya agak susah mengubah kode HTML menjadi Tabel
23. Kita bisa gunakan Powerquery untuk Convert data tersebut karena jauh lebih mudah
24. Oleh karena itu kita sebaiknya sedot as Text file saja, nanti bisa diolah oleh PQ sekaligus satu folder tidak satu2
25. Kita buat dulu Link dan Nama File
26. Kita gunakan Rumus untuk ambil link dari suatu Text
27. =Link_address 
28. Untuk filename kita gunakan id sebagai nama file
29. Kita tambahkan "Data Perusahaan" sebagai subfolder
30. ="Data Perusahaan\"&SUBSTITUTE(LEFT(H1,FIND("?",H1)-1),"https://modi.esdm.go.id/portal/detailPerusahaan/","")
31. Intinya kita ambil text sampai karakter "?" lalu buang kata sebelum karakter "/"
32. Sedot Gunakan Collect Multiple links
33. Gunakan Sedot as textfile
34. Karena Jumlah List besar lebih dari 1000 maka kita uncheck Loaded List
35. Klik Run
36. Ini Hasilnya
37. Hampir 1 GB
38. 

II. Cara Convert

1. Kita gunakan Powerquery
2. Klik Data - From File - From Text
3. Atau Data - From Text
4. Browse ke salah satu file di hasil sedotan
5. 
7. Akan muncul Jendela PQ
8. Lalu klik kanan pada file
9. Pilih HTML
10. 
11. Akan muncul table dengan data sbb
12. 
13. semua table perlu kita ambil satu2
14. Klik tabel di kolom data baris 1
15. Bewrdasarkan tampilan awal dimana field ada dikiri maka perlu kita transpose tabelnya
16. Sebelumnya kita kita remove kolom :
17. Lalu kita transpose
18. Trus field/baris 1 kita jadikan header
19. 
20. Kita ganti nama queries menjadi "Profil Perusahaan"
21. Ulangi langkah2 diatas untuk tabel lainnya
22. Caranya untuk tabel2 yang lain jauh lebih gampang,
23. Jangan Keluar dari PQ Editor
24. Klik Kanan pada panel sebelah kiri (dimana ada nama2 queries)
25. Pilih new query -From File - From Text
26. Browse ke salah satu file di hasil sedotan
27. Lalu pilih tabel berikutnya
28. Lalu ganti Nama sesuai sesuai gambar berikut
29. Lanjut ke tabel setelahnya
30. 
31. Tabel lain abaikan saja karena tidak penting
32. ini hasilnya
33. 
34. Nah kan gak mungkin semua file hasil sedotan kita ambil satu2, ada 5ribuan file
35. Tenang kita gunakan fungsi merge JSON
36. Caranya Panjang tapi baca saja :
37. http://eoditor.com/2021/08/cara-meng-convert-data-json-satu-folder-sekaligus/
38. Jika sudah maka ini hasilnya

39. 'Untuk bisa megconvert 1 folder Profil perusahaan kita gunakan  step sbb
    'Kita ubah source yang sebelumnya file menjadi folder, lau kita ambil dari masing2 file table ke 1 (data 0)
    'Setelahnya kita remoce kolom yg berisi ":", trus kita transpose lalu kita jadikan baris 1 sebagai header
    
    (FileBinary as binary) as table =>
    let
        Source = Web.Page(FileBinary),
        Data = Source{0}[Data],
        #"Removed Columns" = Table.RemoveColumns(Data,{"Column2"}),
        #"Transposed Table" = Table.Transpose(#"Removed Columns"),
        #"Promoted Headers" = Table.PromoteHeaders(#"Transposed Table", [PromoteAllScalars=true])
    in
        #"Promoted Headers"

     

40. Fungsi diatas akan diterapkan ke folder "Data Perusahaan"

42. 'Kita add colum dari fungsi di langkah 38
    'lalu kita buang yang error dari file2 di folder "Data Perusahaan" hasil dari fungsi di atas
    'Lalu kita Extract field2 dari tiap file
    'kita buang kolom2 yang gak penting
    'Kolom Nama jangan dibuang karena ia adalah ID perusahaan, sebagai Identitas dari data tersebut
    'Kita ubah typenya semua menjadi text
    
    let
        Source = Folder.Files("D:\Badjoe\MODI-ESDM\Data Pengusaha"),
        #"Invoked Custom Function" = Table.AddColumn(Source, "fProfilPerusahaan", each fProfilPerusahaan([Content])),
        #"Removed Errors" = Table.RemoveRowsWithErrors(#"Invoked Custom Function", {"fProfilPerusahaan"}),
        #"Expanded fProfilPerusahaan" = Table.ExpandTableColumn(#"Removed Errors", "fProfilPerusahaan", {"Kode Perusahaan", "Nama Perusahaan", "Jenis Badan Usaha", "No. Akte", "Tgl. Akte"}, {"Kode Perusahaan", "Nama Perusahaan", "Jenis Badan Usaha", "No. Akte", "Tgl. Akte"}),
        #"Removed Columns" = Table.RemoveColumns(#"Expanded fProfilPerusahaan",{"Content", "Name", "Extension", "Date accessed", "Date modified", "Date created", "Attributes", "Folder Path"}),
        #"Changed Type" = Table.TransformColumnTypes(#"Removed Columns",{{"Kode Perusahaan", type text}, {"Nama Perusahaan", type text}, {"Jenis Badan Usaha", type text}, {"No. Akte", type text}, {"Tgl. Akte", type text}})
    in
        #"Changed Type"

     

43. Nah masalahnya PQ ini kalo folder berbeda akan error, sementara folder penulis dengan anda kan pasti beda
44. Biasanya kalo saya males saya suruh aja anda edit folder tersebut
45. Tapi sekarang akan saya tambahin fungsi biar data otomatis menyesuaikan dengan folder anda
46. Kalo mau tau caranya baca
47. http://eoditor.com/2021/01/membuat-powerquery-bisa-menggunakan-data-parameters-yang-dinamis/
48. Jadi jika nanti anda download maka data di jamin tidak error
49. Sebaiknya jangan direfresh kecuali ada data baru karena proses convert cukup lama
50. Jika sudah maka semua data akan digabung menjadi satu tabel
51. Kita gunakan Merge di Powerquery atau anda bisa gunakan Vlookup cuman kan gak lucu
52. Tabelnya akan kita namai MODI-DataPengusaha
53. Ini Hasilnya
54. 
55. Data bisa lebih besar dari jumlah perusahaan (profil 5665 sementara data 32519) karena data pemegang saham/Direksi satu perusahaan biasanya lebih dari satu
56. 
57. Pokoknya semua table di sheet tersebut diawali dengan ID yang merujuk ke kolom Kode Perusahaan di Table/sheet Profil Perusahaan

Catatan:

• Buat Folder, namai saja MOBI-ESDM
• Lalu donlot dan extract disitu
• Kalo hanya ingin lihat database maka cukup buka file excel database, tidak perlu diresfresh karena lama prosesnya
• Kalo mo sedot e-Audit Utilities update dulu ke versi 07 Agustus 2022
• File Link dan cara sedot :  Sedot MODI-ESDM v2.xlsx
• File Database Jadi :  Database Perusahaan MODI-ESDM .xlsx
• File Detil Hasil Sedot :  Data Pengusaha.rar
• Jika pengen delete semua queries tapi data tidak hilang begini caranya
• Blok semua Queries
• Klik Kanan
• Pilih Delete
• Klik OK
• 
• Donlot Hasilnya Database Perusahaan MODI-ESDM  vNoPQ.xlsx
• Lebih enteng namun tidak bisa ditambah lagi datanya