Studi Kasus: Sedot data Pengadaan (LPSE) Nasional berdasarkan NPWP Pemenang tender

Jika anda tidak dikasih akses oleh pemilik web paradigma maka gunakan saja Aplikasi LPSE bikinan eoditor.com, GRATIS, gak perlu daftar, cukup jadi member eoditor.com , Aplikasi ini memiliki data transaksi 1.7 Juta, Nilai Transaksi 2,7 ribu Trilyun! Baca ini untuk akses

Jika kita buka web Pusat Informasi Pengadaan nasional yang beralamat di : http://202.43.173.69:8080/ maka kita akan dapatkan data LPSE se-Indonesia, jadi kita ternyata bisa ambil data WP KPP kita yang pernah menang di lelang pengadaan Nasional, ini bisa jadi sumber data (mungkin) yang lumayan berguna.  Dengan Web ini maka kita tidak perlu capek2 mengambil data dari Masing LPSE2 baik ditingkat pemda atau kementerian/lembaga satu persatu.  Untuk bisa mengakses web ini diperlukan registrasi tapi dengan cukup memberikan No Hape plus email

File Sedot Paradigma.xlsx dan file JSON 092 bisa didonlot https://drive.google.com/file/d/1YHomzxJ_UujP9U3vGaowpgqTOnxSlakd/view?usp=sharing

Langsung saja kita kerjain :

  1. Jika browser IE kita belum kita setting agar bisa sedot data JSON maka caranya download file JSON-IE.reg lalu klik 2 x
  2. Nanti tinggal OK2 saja
  3. Jangan lupa update ke yang terbaru (http://eoditor.com/2019/03/update-terbaru-e-audit-utilities-2/)
  4. Pertama kita buka web tadi di bagian Advanced Search (Mesti login dulu)
  5. http://202.43.173.69:8080/pencarian_pengadaan
  6. Klik Tambah Filter
  7. Akan muncul NPWP
  8. Kita isi NPWP LTO2 yaitu 092.000
  9. Kita mesti agak presisi karena mesin akan mencari NPWP yang mengandung "092.000", kalo kita cuman isi 092 takutnya banyak WP di luar KPP 092 akan ikut tertarik
  10. Lalu kita Klik Submit
  11. Akan ditampilkan 980an proyek yang dimenangkan NPWP 092.000
  12. Karena jumlahnya ada 980 dan perpage hanya 10 maka capeklah
  13. Untuk itu kita gunakan BOT alias e-Audit Utilities buat sedot data
  14. KIta cari dulu linknya
  15. Klik kanan lalu pilih Inspect
  16. Lalu klik pada panah menuju halaman 2
  17. Cek di bagian Inspect - Network, klik link yang muncul lalu liat di Preview, mestinya muncul data
  18. Copy Linknya
  19. Hasilnya seperti ini
  20. http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&draw=2&columns%5B0%5D%5Bdata%5D=0&columns%5B0%5D%5Bname%5D=&columns%5B0%5D%5Bsearchable%5D=true&columns%5B0%5D%5Borderable%5D=false&columns%5B0%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B0%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B1%5D%5Bdata%5D=1&columns%5B1%5D%5Bname%5D=&columns%5B1%5D%5Bsearchable%5D=true&columns%5B1%5D%5Borderable%5D=true&columns%5B1%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B1%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B2%5D%5Bdata%5D=2&columns%5B2%5D%5Bname%5D=&columns%5B2%5D%5Bsearchable%5D=true&columns%5B2%5D%5Borderable%5D=true&columns%5B2%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B2%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B3%5D%5Bdata%5D=3&columns%5B3%5D%5Bname%5D=&columns%5B3%5D%5Bsearchable%5D=true&columns%5B3%5D%5Borderable%5D=true&columns%5B3%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B3%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B4%5D%5Bdata%5D=4&columns%5B4%5D%5Bname%5D=&columns%5B4%5D%5Bsearchable%5D=true&columns%5B4%5D%5Borderable%5D=true&columns%5B4%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B4%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B5%5D%5Bdata%5D=5&columns%5B5%5D%5Bname%5D=&columns%5B5%5D%5Bsearchable%5D=true&columns%5B5%5D%5Borderable%5D=true&columns%5B5%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B5%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B6%5D%5Bdata%5D=6&columns%5B6%5D%5Bname%5D=&columns%5B6%5D%5Bsearchable%5D=true&columns%5B6%5D%5Borderable%5D=true&columns%5B6%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B6%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B7%5D%5Bdata%5D=7&columns%5B7%5D%5Bname%5D=&columns%5B7%5D%5Bsearchable%5D=true&columns%5B7%5D%5Borderable%5D=true&columns%5B7%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B7%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B8%5D%5Bdata%5D=8&columns%5B8%5D%5Bname%5D=&columns%5B8%5D%5Bsearchable%5D=true&columns%5B8%5D%5Borderable%5D=true&columns%5B8%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B8%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B9%5D%5Bdata%5D=9&columns%5B9%5D%5Bname%5D=&columns%5B9%5D%5Bsearchable%5D=true&columns%5B9%5D%5Borderable%5D=true&columns%5B9%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B9%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B10%5D%5Bdata%5D=10&columns%5B10%5D%5Bname%5D=&columns%5B10%5D%5Bsearchable%5D=true&columns%5B10%5D%5Borderable%5D=true&columns%5B10%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B10%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B11%5D%5Bdata%5D=11&columns%5B11%5D%5Bname%5D=&columns%5B11%5D%5Bsearchable%5D=true&columns%5B11%5D%5Borderable%5D=true&columns%5B11%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B11%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B12%5D%5Bdata%5D=12&columns%5B12%5D%5Bname%5D=&columns%5B12%5D%5Bsearchable%5D=true&columns%5B12%5D%5Borderable%5D=true&columns%5B12%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B12%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B13%5D%5Bdata%5D=13&columns%5B13%5D%5Bname%5D=&columns%5B13%5D%5Bsearchable%5D=true&columns%5B13%5D%5Borderable%5D=true&columns%5B13%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B13%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B14%5D%5Bdata%5D=14&columns%5B14%5D%5Bname%5D=&columns%5B14%5D%5Bsearchable%5D=true&columns%5B14%5D%5Borderable%5D=true&columns%5B14%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B14%5D%5Bsearch%5D%5Bregex%5D=false&order%5B0%5D%5Bcolumn%5D=0&order%5B0%5D%5Bdir%5D=asc&start=10&length=10&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719

     

  21. Abaikan parameter setelah csrf-token, buang sampai kata &start, hingga link menjadi hanya seperti ini
  22. http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&start=10&length=50&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719

     

  23. Kenapa kita delete? karena jika tidak maka link terlalu panjang, e-Audit akan error saat sedot data.
  24. Setelah kita coba2 kita ternyata bisa sedot sampai 50 item setiap kali tarik
  25. Jadi kita bisa bikin rumus di Excel sbb
  26. Yang membedakan hanya parameter start dan length
  27. Jika start dimulai dari 0 maka jika length=50 maka urutannya adalah 50,100,150,dst sampai 950
  28. Link diubah agar length diganti 50
  29. Bikin rumus agar mengganti start menjadi sesuai urutan gunakan substitute
  30. Link di kolom B
    http://202.43.173.69:8080/pencarian_pengadaan/get_datatables?csrf-token=4592c3eaf5a5e92ccf57770d98c07696&start=10&length=50&search%5Bvalue%5D=&search%5Bregex%5D=false&pencarian=%0A++++++++++++++++++++++++++++and+lower(concat(a.pengadaan_pesertapemenang%2C+%27+%27%2C+a.pengadaan_pesertapemenangberkontrak))+LIKE+%27%25092.000%25%27%0A++++++++++++++++++++++++&_=1631974935719
    
    
    Rumus dikolom C
    =SUBSTITUTE(B1,"start=10","start="&A1)

     

  31. Lalu sedot gunakan Collect Multiple Links
  32. Jangan lupa Klik "USE IE" serta kasih delay 5 detik ini agar kita gak diblokir web paradigma
  33. Pilih Sedot as Textfile
  34. Jangan lupa karena kita sedot USE IE maka mesti LOGIN dulu web paradigma di IE
  35. Klik Run
  36. Ada baiknya di kolom d dikasih nama file, ini agar jika ada yang gagal sedot bisa diketahui dari link yang mana
  37. Kalo gak dikasih nama maka file hasil akan ditaruh di folder e-Audit dengan nama acak
  38. ini hasilnya
  39. Kita Convert gunakan PowerQuery
  40. Sudah kita sediakan fungsi untuk Convert
  41. Yaitu di file Sedot Paradigma
  42. https://drive.google.com/file/d/1YHomzxJ_UujP9U3vGaowpgqTOnxSlakd/view?usp=sharing
  43. Untuk Mengconvert cukup anda klik kanan pada fungsi radOA4A1 (lupa merename menjadi nama yang bagus hehehe)
  44. (Untuk belajar caranya bikin fungsi diatas maka baca Cara meng-Convert Data JSON Satu Folder Sekaligus)
  45. Klik Data - Query & Connection (Menu mungkin berbeda sesuai versi Office), Pilih Edit 
  46. Akan muncul PQ Editor
  47. Pilih New Source pilih file - folder
  48. Browse ke Folder yang anda sedot
  49. Klik OK
  50. Akan muncul daftar file yang mau diconvert
  51. Klik Transform
  52. Sekarang kita Extract masing2 file tadi
  53. Caranya Klik Add Column
  54. Klik Invoke Custom function
  55. Pilih function rad0A4A1
  56. Klik OK
  57. Akan muncul kolom baru bernama rad0A4A1
  58. Klik pada icon panah
  59. Klik OK
  60. Udah selesai, anda tinggal klik Close and Load
  61. ini hasilnya,
  62. Data yang penting adalah Links yang ada di kolom M di sheet LPSE 092
  63. Kita split gunakan Text to Column
  64. Kalo agak susah kita bersihkan dulu gunakan klik kanan pilih e-Audit - Text - Clean
  65. Gunakan delimiter spasi
  66. Buang yang gak penting
  67. Masih ada tulisan href= anda bisa delete saja
  68. Pokoknya caranya terserah anda untuk mengambil URL tadi
  69. Jika sudah maka untuk melihat link Pemenang Tender perlu diedit Linknya
  70. Links asli : https://lpse.bmkg.go.id/eproc4/nontender/2634524/pengumumanpl
  71. Menjadi :  https://lpse.bmkg.go.id/eproc4/evaluasinontender/2634524/pemenangberkontrak
  72. Gunakan Fungsi SUBSTITUTE
  73. Lalu sedot gunakan Collect Multiple Links
  74. ini hasilnya
  75. Gampang kan
  76. ....
  77. (Buset hampir 100 Step)
Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *