Studi Kasus: Sedot data Lelang LPSE Kab. OKU

Kita sekarang coba tarik data LPSE disini agak menarik karena melibatkan teknologi yang lebih maju daripada studi kasus sebelumnya (baca : Studi Kasus : Menarik data dalam jumlah banyak – Data TBS Disbun Sumut) karena melibatkan :

  • Inspect Links
  • JSON
  • Token key
  • PowerQuery

Langsung saja kita mulai :

  1. Menuju link : http://lpse.okutimurkab.go.id/eproc4/lelang
  2. Kita lihat link adalah sesuai dengan angka di paling kiri yaitu
  3. http://lpse.okutimurkab.go.id/eproc4/lelang/3985447/pengumumanlelang
  4. http://lpse.okutimurkab.go.id/eproc4/lelang/3975447/pengumumanlelang
  5. Kita bisa saja gunakan angka dari 1 sampai ke angka terakhir tapi luar biasa banyaknya, sehingga buang2 waktu
  6. Maka kita gunakan inspect Element untuk mengetahui bagaimana menarik halaman diatas (kalau manual ada 80 Halaman)
  7. Klik kanan pada web diatas trus pilih Inspect
  8. Pilih pada tab sebelah kanan atas Network
  9. Sekarang kita cek apa link yang muncul jika kita klik Tombol menuju Page2
  10. Kita klik tombol navigasi page 2 di bawah
  11. Kita lihat di bagian network
  12. Kita copas linknya dengan klik kanan
  13. ini linknya
  14.  
  15. Tidak perlu diperhatikan semua text pada link diatas, kita hanya perlu perhatikan
  16. start=25&length=25&authenticityToken=44fe6317002f1b3b9a2190ff34c96b055654fd88
  17. Lainnya abaikan (karena navigasi hanya berhubungan dengan awal dan berapa data, sedangkan authenToken berhubungan dengan security, biasanya mesti unik dan berubah2, jadi kita mesti ambil yang terbaru)
  18. Kita ganti start menjadi nol serta length kita isi saja semilyar (hehehe) ini agar kita cukup ambil sekali bukan 80 kali
  19. start=0&length=1000000000&authenticityToken=44fe6317002f1b3b9a2190ff34c96b055654fd88
  20. Link lengkap :
  21. http://lpse.okutimurkab.go.id/eproc4/dt/lelang?start=0&length=1000000000&authenticityToken=44fe6317002f1b3b9a2190ff34c96b055654fd88
  22. Kita paste ke webbrowser dan klik enter
  23. Ingat authToken jangan pakai seperti diatas karena berbeda2 tergantung kapan kita ambil jadi mesti yang terbaru
  24. Akan muncul deretan data, kita klik kanan lalu save
  25. Kita namai sebagai lelang.json
  26. data diatas bisa diubah menjadi tabel dengan menggunakan PowerQuery (PQ)
  27. Buka Excel, pilih Data - New Query - From File - From XML
  28. Pada Excel yang lebih baru bisa kita pilih JSON namun di Excel yang lebih lama kita bisa gunakan XML
  29. Pilih file yang baru kita download tadi (lelang.json)
  30. Jangan lupa ganti Ext di File open pada All Files biar file Json tadi bisa muncul
  31. Nanti akan diproses dan akan muncul seperti ini
  32. jumlah data 1976
  33. Klik saja pada list
  34. akan muncul seperti dibawah ini
  35. klik To Table
  36. akan muncul sbb
  37. Klik icon panah pada column1
  38. Pilih saja pemisah data adalah koma
  39. Klik OK
  40. ini hasilnya
  41. klik Close & Load
  42. Maka akan dipindah ke Excel
  43. Yang kita butuhkan hanya data IDLelang didepan
  44. Maka kita gunakan Text To Column
  45. Gunakan Delimiter Koma
  46. Ambil Colum 1 sebagai text dan abaikan colum lain
  47. Ini Hasilnya siap untuk kita gabungkan dengan link
  48. Ini link pengumuman lelang
  49. http://lpse.okutimurkab.go.id/eproc4/lelang/3834447/pengumumanlelang
  50. ini Link Pemenang Lelang
  51. http://lpse.okutimurkab.go.id/eproc4/evaluasi/3834447/pemenang
  52. Tinggal Kita ganti dengan angka ID yang udah kita sedot tadi
  53. Kita sedot gunakan Sedot multiple links
  54. Kita sedot gunakan Sedot Text
  55. Tapi sebelum sedot semestinya kita ubah dulu Regional setting karena biar bisa kita jumlah data2 angkanya
  56. Tapi ini optional
  57. Klik Start - Regional, Ubah menjadi format Indonesia
  58. ulangi lagi sedotan pada langkah 64
  59. ini hasilnya
  60. Gampang kan
  61. Lanjut sedot ke Pemenang tender
  62. Setelah itu kita tinggal bikin Database dengan ambil sheet Logs lalu gunakan fungsi Indirect untuk ambil data tiap sheet tender
  63. Selesai
  64. File hasil bisa didonlot
  65. Pemenang Lelang Oku (2.4 MiB, 3 downloads)

 

Catatan :

  • Link Pengumuman Lelang dan Pemenang lelang dikasih satu kolom pemisah karena utility Sedot multiply akan menyedot tiap link ke sheet lalu akan dinamai dengan sel sebelah kanannya, jadi kalo kita tidak mau memberi nama satu persatu kita kasih saja sel kosong disebelah kanan link biar nama sheet diubah menjadi List1, List2....dis
  • LPSE tidak hanya di Kab OKU, tapi disemua daerah dan tampilannya atau programmnya sama, jadi cara yang sama bisa digunakan untuk DKI misalnya dengan jumlah data yang jauuuuh lebih besar, ini bagus untuk galpot
    ini linknya untuk DKI , ketarik 26 ribu data pengadaan
    https://lpse.jakarta.go.id/eproc4/dt/lelang?start=0&length=1000000000&authenticityToken=394f32af338d9a4cf346aee7a0c5866db1cb8f11
Print Friendly, PDF & Email
Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *