• Conversion/ Import > Studi Kasus: Sedot data Pengadaan (LPSE) Nasional berdasarkan NPWP Pemenang tender

Studi Kasus: Sedot data Pengadaan (LPSE) Nasional berdasarkan NPWP Pemenang tender

By | | , , , , , ,

Jika anda tidak dikasih akses oleh pemilik web paradigma maka gunakan saja Aplikasi LPSE bikinan eoditor.com, GRATIS, gak perlu daftar, cukup jadi member eoditor.com , Aplikasi ini memiliki data transaksi 1.7 Juta, Nilai Transaksi 2,7 ribu Trilyun! Baca ini untuk akses

Jika kita buka web Pusat Informasi Pengadaan nasional yang beralamat di : http://202.43.173.69:8080/ maka kita akan dapatkan data LPSE se-Indonesia, jadi kita ternyata bisa ambil data WP KPP kita yang pernah menang di lelang pengadaan Nasional, ini bisa jadi sumber data (mungkin) yang lumayan berguna.  Dengan Web ini maka kita tidak perlu capek2 mengambil data dari Masing LPSE2 baik ditingkat pemda atau kementerian/lembaga satu persatu.  Untuk bisa mengakses web ini diperlukan registrasi tapi dengan cukup memberikan No Hape plus email

File Sedot Paradigma.xlsx dan file JSON 092 bisa didonlot https://drive.google.com/file/d/1YHomzxJ_UujP9U3vGaowpgqTOnxSlakd/view?usp=sharing

Langsung saja kita kerjain :

  1. Jika browser IE kita belum kita setting agar bisa sedot data JSON maka caranya download file JSON-IE.reg lalu klik 2 x
  2. Nanti tinggal OK2 saja
  3. Jangan lupa update ke yang terbaru (http://eoditor.com/2019/03/update-terbaru-e-audit-utilities-2/)
  4. Pertama kita buka web tadi di bagian Advanced Search (Mesti login dulu)
  5. http://202.43.173.69:8080/pencarian_pengadaan
  6. Klik Tambah Filter
  7. Akan muncul NPWP
  8. Kita isi NPWP LTO2 yaitu 092.000
  9. Kita mesti agak presisi karena mesin akan mencari NPWP yang mengandung "092.000", kalo kita cuman isi 092 takutnya banyak WP di luar KPP 092 akan ikut tertarik
  10. Lalu kita Klik Submit
  11. Akan ditampilkan 980an proyek yang dimenangkan NPWP 092.000
  12. Karena jumlahnya ada 980 dan perpage hanya 10 maka capeklah
  13. Untuk itu kita gunakan BOT alias e-Audit Utilities buat sedot data
  14. KIta cari dulu linknya
  15. Klik kanan lalu pilih Inspect
  17. Lalu klik pada panah menuju halaman 2
  18. Cek di bagian Inspect - Network, klik link yang muncul lalu liat di Preview, mestinya muncul data
  19. Copy Linknya
  21. Hasilnya seperti ini
  22. http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&draw=2&columns%5B0%5D%5Bdata%5D=0&columns%5B0%5D%5Bname%5D=&columns%5B0%5D%5Bsearchable%5D=true&columns%5B0%5D%5Borderable%5D=false&columns%5B0%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B0%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B1%5D%5Bdata%5D=1&columns%5B1%5D%5Bname%5D=&columns%5B1%5D%5Bsearchable%5D=true&columns%5B1%5D%5Borderable%5D=true&columns%5B1%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B1%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B2%5D%5Bdata%5D=2&columns%5B2%5D%5Bname%5D=&columns%5B2%5D%5Bsearchable%5D=true&columns%5B2%5D%5Borderable%5D=true&columns%5B2%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B2%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B3%5D%5Bdata%5D=3&columns%5B3%5D%5Bname%5D=&columns%5B3%5D%5Bsearchable%5D=true&columns%5B3%5D%5Borderable%5D=true&columns%5B3%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B3%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B4%5D%5Bdata%5D=4&columns%5B4%5D%5Bname%5D=&columns%5B4%5D%5Bsearchable%5D=true&columns%5B4%5D%5Borderable%5D=true&columns%5B4%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B4%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B5%5D%5Bdata%5D=5&columns%5B5%5D%5Bname%5D=&columns%5B5%5D%5Bsearchable%5D=true&columns%5B5%5D%5Borderable%5D=true&columns%5B5%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B5%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B6%5D%5Bdata%5D=6&columns%5B6%5D%5Bname%5D=&columns%5B6%5D%5Bsearchable%5D=true&columns%5B6%5D%5Borderable%5D=true&columns%5B6%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B6%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B7%5D%5Bdata%5D=7&columns%5B7%5D%5Bname%5D=&columns%5B7%5D%5Bsearchable%5D=true&columns%5B7%5D%5Borderable%5D=true&columns%5B7%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B7%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B8%5D%5Bdata%5D=8&columns%5B8%5D%5Bname%5D=&columns%5B8%5D%5Bsearchable%5D=true&columns%5B8%5D%5Borderable%5D=true&columns%5B8%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B8%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B9%5D%5Bdata%5D=9&columns%5B9%5D%5Bname%5D=&columns%5B9%5D%5Bsearchable%5D=true&columns%5B9%5D%5Borderable%5D=true&columns%5B9%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B9%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B10%5D%5Bdata%5D=10&columns%5B10%5D%5Bname%5D=&columns%5B10%5D%5Bsearchable%5D=true&columns%5B10%5D%5Borderable%5D=true&columns%5B10%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B10%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B11%5D%5Bdata%5D=11&columns%5B11%5D%5Bname%5D=&columns%5B11%5D%5Bsearchable%5D=true&columns%5B11%5D%5Borderable%5D=true&columns%5B11%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B11%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B12%5D%5Bdata%5D=12&columns%5B12%5D%5Bname%5D=&columns%5B12%5D%5Bsearchable%5D=true&columns%5B12%5D%5Borderable%5D=true&columns%5B12%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B12%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B13%5D%5Bdata%5D=13&columns%5B13%5D%5Bname%5D=&columns%5B13%5D%5Bsearchable%5D=true&columns%5B13%5D%5Borderable%5D=true&columns%5B13%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B13%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B14%5D%5Bdata%5D=14&columns%5B14%5D%5Bname%5D=&columns%5B14%5D%5Bsearchable%5D=true&columns%5B14%5D%5Borderable%5D=true&columns%5B14%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B14%5D%5Bsearch%5D%5Bregex%5D=false&order%5B0%5D%5Bcolumn%5D=0&order%5B0%5D%5Bdir%5D=asc&start=10&length=10&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719

     

  23. Abaikan parameter setelah csrf-token, buang sampai kata &start, hingga link menjadi hanya seperti ini
  24. http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&start=10&length=50&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719

     

  25. Kenapa kita delete? karena jika tidak maka link terlalu panjang, e-Audit akan error saat sedot data.
  26. Setelah kita coba2 kita ternyata bisa sedot sampai 50 item setiap kali tarik
  27. Jadi kita bisa bikin rumus di Excel sbb
  28. Yang membedakan hanya parameter start dan length
  29. Jika start dimulai dari 0 maka jika length=50 maka urutannya adalah 50,100,150,dst sampai 950
  30. Link diubah agar length diganti 50
  31. Bikin rumus agar mengganti start menjadi sesuai urutan gunakan substitute
  32. Link di kolom B
http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&start=10&length=50&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719


Rumus dikolom C
=SUBSTITUTE(B1,"start=10","start="&A1)

     

  33. Lalu sedot gunakan Collect Multiple Links
  34. Jangan lupa Klik "USE IE" serta kasih delay 5 detik ini agar kita gak diblokir web paradigma
  35. Pilih Sedot as Textfile
  36. Jangan lupa karena kita sedot USE IE maka mesti LOGIN dulu web paradigma di IE
  38. Klik Run
  39. Ada baiknya di kolom d dikasih nama file, ini agar jika ada yang gagal sedot bisa diketahui dari link yang mana
  40. Kalo gak dikasih nama maka file hasil akan ditaruh di folder e-Audit dengan nama acak
  41. ini hasilnya
  43. Kita Convert gunakan PowerQuery
  44. Sudah kita sediakan fungsi untuk Convert
  45. Yaitu di file Sedot Paradigma
  46. https://drive.google.com/file/d/1YHomzxJ_UujP9U3vGaowpgqTOnxSlakd/view?usp=sharing
  47. Untuk Mengconvert cukup anda klik kanan pada fungsi radOA4A1 (lupa merename menjadi nama yang bagus hehehe)
  48. (Untuk belajar caranya bikin fungsi diatas maka baca Cara meng-Convert Data JSON Satu Folder Sekaligus)
  49. Klik Data - Query & Connection (Menu mungkin berbeda sesuai versi Office), Pilih Edit 
  51. Akan muncul PQ Editor
  52. Pilih New Source pilih file - folder
  53. Browse ke Folder yang anda sedot
  54. Klik OK
  56. Akan muncul daftar file yang mau diconvert
  57. Klik Transform
  59. Sekarang kita Extract masing2 file tadi
  60. Caranya Klik Add Column
  61. Klik Invoke Custom function
  62. Pilih function rad0A4A1
  63. Klik OK
  66. Akan muncul kolom baru bernama rad0A4A1
  67. Klik pada icon panah
  68. Klik OK
  71. Udah selesai, anda tinggal klik Close and Load
  72. ini hasilnya,
  75. Data yang penting adalah Links yang ada di kolom M di sheet LPSE 092
  77. Kita split gunakan Text to Column
  78. Kalo agak susah kita bersihkan dulu gunakan klik kanan pilih e-Audit - Text - Clean
  80. Gunakan delimiter spasi
  81. Buang yang gak penting
  83. Masih ada tulisan href= anda bisa delete saja
  84. Pokoknya caranya terserah anda untuk mengambil URL tadi
  85. Jika sudah maka untuk melihat link Pemenang Tender perlu diedit Linknya
  86. Links asli : https://lpse.bmkg.go.id/eproc4/nontender/2634524/pengumumanpl
  87. Menjadi :  https://lpse.bmkg.go.id/eproc4/evaluasinontender/2634524/pemenangberkontrak
  88. Gunakan Fungsi SUBSTITUTE
  89. Lalu sedot gunakan Collect Multiple Links
  92. ini hasilnya
  94. Gampang kan
  95. ....
  96. (Buset hampir 100 Step)
Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *