Geocache.fi suurremontti 2019

[geocache.fi]

Tutkailin suurremontin tiedotuksia ja päädyin niiden opastamana tilastojen Ylläpito sivulle. Huomasin että ulkomaan löytöjen poisto toimii tosi nopeasti. Vahinko hipaisu linkkiin ja lokit hävisivät sekunnin murto-osassa bittiavaruuteen.
Testasin tämän jälkeen ulkomaan lokien latausta. Sekin toimii hyvin ja lataa nätisti 3000 viimeisintä lokia. Sen jälkeen tulee ilmoitus "Valmista tuli". Olisiko APIn rajoissa mahdollista nostaa lokien maksimi latausmäärää niin että koko kätköilyhistoria olisi ladattavissa? Ehkä lokien poisto voisi myös kysyä "Haluatko varmasti poistaa ulkomaan lokisi?"

Kiitos huomioista!

Mitä sitä suotta turhia kyselemään. Jos käyttäjä haluaa tuhota niin mikäpä minä olisin kyseenalaistamaan päätöstä. Kunnioitan sitä ja kaikki lokit häviää siltä istumalta!

Nooh, nyt väänsin purkkaa mitä toivon mukaan kyseenalaistaa käyttäjän valinnan

Kokeile lisätä nyt uudelleen ulkomaanlöytösi kun mukana on enemmän odotusaikaa lisäyksessä. Lokista löytyi allaoleva selitys miksi homma päättyi 3000:n jälkeen, joskin kyseenalaistan sen että muka minuutissa olisi täyttynyt 60*50 = 3000 luettua lokia. Ehkä tuossa on jokin muu tapa laskea kuin puhdas minuutin ajanjakso (näitä ei isoveli sen paremmin kerro).

"statusCode":429,"statusMessage":"Too Many Requests","errorMessage":"api calls from user to the GetGeocacheLogs endpoint exceeded maximum allowed 60 per Minute"

En voi toki vannoa että vieläkään homma toimii. Tuo ulkomaankätköjen lisäys on melkoinen ongelma pyyntömäärien sekä dokumentoimattomien limiittien suhteen. Toivotaan kuitenkin parasta.

// haksu10

[pattipolvi]

APIn limiiteissä lienee vielä jotain tuntemattomia tekijöitä. Nyt päästiin jo selkeästi yli 3000 lokin.
...
11649) 14.10.2016 pattipolvi löysi GC50VJR: Ulkomaanloki: Uusi (tai vajavaisesti kirjattu), lisätään
11650) 14.10.2016 pattipolvi löysi GC1NZ4G: Ulkomaanloki: Uusi (tai vajavaisesti kirjattu), lisätään

Valmista tuli!

Mahtaneeko virheilmoitus tällä kertaa olla erilainen kuin edellisellä yrityksellä.

En tiedä mitä parametreja lokien haku APIlle voi kätköilynimimerkin lisäksi antaa. Voiko sille esimerkiksi kertoa että haetaan lokit 11650 - 21650 tai haetaan 14.10.2016 ja sitä aikaisemmat lokit. Silloin voisi ulkomaan lokit ladata osissa. Nyt lataus aloitetaan joka kerta viimeisimmistä lokeista. Normaalisti se on hyvä vaihtoehto, mutta ei optimaalinen jos on ladattava paljon lokeja.

[geocache.fi]

APIn limiiteissä lienee vielä jotain tuntemattomia tekijöitä. Nyt päästiin jo selkeästi yli 3000 lokin.
...
11649) 14.10.2016 pattipolvi löysi GC50VJR: Ulkomaanloki: Uusi (tai vajavaisesti kirjattu), lisätään
11650) 14.10.2016 pattipolvi löysi GC1NZ4G: Ulkomaanloki: Uusi (tai vajavaisesti kirjattu), lisätään

Valmista tuli!

Mahtaneeko virheilmoitus tällä kertaa olla erilainen kuin edellisellä yrityksellä.

En tiedä mitä parametreja lokien haku APIlle voi kätköilynimimerkin lisäksi antaa. Voiko sille esimerkiksi kertoa että haetaan lokit 11650 - 21650 tai haetaan 14.10.2016 ja sitä aikaisemmat lokit. Silloin voisi ulkomaan lokit ladata osissa. Nyt lataus aloitetaan joka kerta viimeisimmistä lokeista. Normaalisti se on hyvä vaihtoehto, mutta ei optimaalinen jos on ladattava paljon lokeja.

Mitään virheilmoitusta ei ole kirjautunut eli ilmeisemmin apista on tullut vastauksena muuten normaali vastaus mutta ilman yhtään lokia. Ehkä jokin raja, mistä ei tule erillistä vikapaluuviestiä, on täyttynyt.

Poistin nyt koko ulkomaanlokien lisäysmahdollisuuden käytöstä. Vaikka päiväysrajauksia voisi tehdä niin laskeskelin että esim. 40 000 löytöä vaatii 800 api-pyyntöä ja tiedossa olevat dokumentoimattomat limiitit huomioiden se on järkyttävän paljon liikaa. Eipä uudesta apista ole siis mahdollista enää saada ulkomaanlöytöjä.

Koitan nyt vielä tutkia speksejä mutta todennäköisesti vain erittäin isolla rahalla olisi tehtävissä jotain asian suhteen koska api ei mahdollista esim. suomen lokien rajaamista pois kyselyssä, enkä ole keksinyt mitään kiertokeinoa millä pystyisi valuttamaan dataa enempää.

// haksu10

EDIT: Pieni toivonpilkahdus löytyi mutta mitään en vielä uskalla sanoa... kun vaan jaksaisi vielä tämänkin asian tutkia.

EDIT2: Se oli siinä, eipä api anna tarpeellista tietoa ulos. Seuraavaa ideaa miettiessä...

[geocache.fi]

Vielä on mahdollista lisätä ulkomaanlöydöt käyttäen vanhaa apia, mikä on nyt tarjolla ylläpitosivulla.

// haksu10

[mikkopit]

GPX filuissa näyttää olevan joku XML ongelma siellä täällä.. tässä yksi kätkö joka rikkoo GPX:n : GC7KAZ7

Lähinnä siis tiedoksi, jos tuosta vaikka löytyisi yhdistävä tekijä kaikkiin GPX/XML ongelmiin.

GSAK tuumaa siis tälläistä :
This file does not pass XML validation and will be ignored : not well-formed

[juhanili]

GPX filuissa näyttää olevan joku XML ongelma siellä täällä.. tässä yksi kätkö joka rikkoo GPX:n : GC7KAZ7

Lähinnä siis tiedoksi, jos tuosta vaikka löytyisi yhdistävä tekijä kaikkiin GPX/XML ongelmiin.

GSAK tuumaa siis tälläistä :
This file does not pass XML validation and will be ignored : not well-formed

Vika on esimerkin kätkössä tässä kohdassa, eli kun datassa on kulmasulkuja, xml-rakenne rikkoutuu (sinänsä erikoinen kenttä kun sitä ei näe kuvaussivulla missään):

gpx-ongelma.JPG (52.55 KiB) Katsottu 9474 kertaa

[geocache.fi]

GPX filuissa näyttää olevan joku XML ongelma siellä täällä.. tässä yksi kätkö joka rikkoo GPX:n : GC7KAZ7
Lähinnä siis tiedoksi, jos tuosta vaikka löytyisi yhdistävä tekijä kaikkiin GPX/XML ongelmiin.
GSAK tuumaa siis tälläistä :
This file does not pass XML validation and will be ignored : not well-formed

Vika on esimerkin kätkössä tässä kohdassa, eli kun datassa on kulmasulkuja, xml-rakenne rikkoutuu (sinänsä erikoinen kenttä kun sitä ei näe kuvaussivulla missään):
gpx-ongelma.JPG

Kiitokset sekä huomiosta että vikakohdan selvityksestä!

Nyt tuokin kohta suojataan XML-yhteensopimattomuutta vastaan. Jos vastaavaa on jossain muussa kätkössä niin ottaa aikansa että päivittyy kätkötietoihin. Tällä hetkellä näköjään noin 8 tuntia kun on joutunut tinkimään ajantasaisuudesta että saisi api -pyyntöjen määrän laskettua hyväksyttävälle tasolle.

Tuo kenttä näkyy yleensä kuvaussivulla additional waypointin kuvauksena, mutta tässä kätkössä tuohon on laitettu rikkinäinen HTML -tagi, mikä ei siis voi näkyä. Tässä tuo virheellinen ja oikeanlainen muoto (joka saattaisi näkyä tai sitten ei, kenttää ei liene tarkoitettu HTML:ää sisältäväksi):

Koodi: Valitse kaikki

<a href="https://fi.wikipedia.org/wiki/J%C3%A4rvimalmi"/a>
<a href="https://fi.wikipedia.org/wiki/J%C3%A4rvimalmi">jotain tekstiä</a>

// haksu10

[500_XL]

Laitoin koneen yöksi raksuttamaan ulkomaanlöytöjä, kun oli eroavaisuuksia comin puolen tilastoihin. Muuten ok, mutta ei käynyt läpi kaikkia löytöjä kuten kuvasta näkyy. Eipä tällä niin paniikkia, mutta jos homman saa toimimaan vielä jatkossakin, niin jos sillon saisi kaikki.

[geocache.fi]

Laitoin koneen yöksi raksuttamaan ulkomaanlöytöjä, kun oli eroavaisuuksia comin puolen tilastoihin. Muuten ok, mutta ei käynyt läpi kaikkia löytöjä kuten kuvasta näkyy. Eipä tällä niin paniikkia, mutta jos homman saa toimimaan vielä jatkossakin, niin jos sillon saisi kaikki.

Voi ei

Eipä ollut mun härpäkkeessä varauduttu nykyisiin löytömääriin vaan "näin monta pyyntöä on jo virhe" -turvaraja löi jarrut päälle.

Muutin turvarajaa ja tein tuonne vanhaan härpäkkeeseen hätäpurkan millä saa valittua mistä lokista alkaen löytöjä käydään läpi. Testiksi ajoin puuttumaan jääneet lokisi ja 96 uutta sieltä pamahti sisään.

// haksu10

[janiva]

Tuli mieleen, että olisiko vanhempien ulkomaan löytöjen hakeminen mahdollista toteuttaa siten, että käyttäjä listaa kätkökoodeja ja vain nämä tarkistettaisiin? Tämä tietysti vaatii käyttäjältä enemmän, mutta jos isoa määrää vanhoja ei voi muuten tarkistaa ollenkaan, niin olisi kuitenkin parempi kuin ei mitään.

[geocache.fi]

Tuli mieleen, että olisiko vanhempien ulkomaan löytöjen hakeminen mahdollista toteuttaa siten, että käyttäjä listaa kätkökoodeja ja vain nämä tarkistettaisiin? Tämä tietysti vaatii käyttäjältä enemmän, mutta jos isoa määrää vanhoja ei voi muuten tarkistaa ollenkaan, niin olisi kuitenkin parempi kuin ei mitään.

Ei ole, koska jos käyttäjä antaa esim. sellaisen kätkön waypointin, jolla on 10.000 löytöä, tarvitaan jopa 200 apipyyntöä että saa ladattua sen lokit joista sitten löytyy käyttäjän loki. Toki jos loki on 50 viimeisen joukossa pärjää yhdellä pyynnöllä.

Sekään, että käyttäjä kaivaa lokeista nuo GLxxxxx -alkuiset referenceCode:t (mikä olisi järjettömän työlästä) ei toimi kun joka loki pitäisi pyytää yksitellen, pyyntöjä kertyisi siis taas vino pino.

Tässä on nyt kaikki ratkaisukeinot etsinnässä, on myös laitettu tuonne HQ:n suuntaan kyselyä jne. jos vaikka löytyisi jokin tapa. Ongelma toki koskee pahiten sitä tilannetta että pitäisi lisätä hyvinkin vanhoja ulkomaanlokeja.

Siksi painotan että nyt jokaisen kannattaa tämän viikonlopun aikana lisätä Koko kätköilyhistoriasi -ulkomaanlöydöt ellei sitä noin kuukauden sisään ole jo tehnyt. Varaltakin voi homman tehdä jos ei ole varma.

Tähän asiaan tuli pari päivää lisäaikaa eli vanha api sulkeutuu vasta 3.6., joten viikonlopun aikana siis tosiaan ehtii asian tekemään.

// haksu10

[janiva]

Auts. Oli sana, joka tuli ensimmäisenä mieleen. Edeltävä selvitti hyvin ongelman laajuutta. Ja Kiitos vastauksesta.

[jmiettin]

Onnistuisikohan toi kuin helposti jos lataisi Comista tuon kaikki omat löydöt GPX:n PQ:na ja sen uppaisi sivustolle?

[mustakorppi]

Edit. Ei mitään, unohdin aiemmin mainitut dokumentoimattomat rajat pyyntöjen määrässä. Miten ihmeessä haaste-checkerit toimii jatkossa?

Edit2. Niin tai siis, voisikohan search-metodin foundByn kanssa yhdistää tuohon toiseen ideaan että käyttäjä kertoo kätköjen koodit? Sitten ei tarvitsisi kuin korkeintaan yhden pyynnön per kätkö, todennäköisesti paljon vähemmän. Eikä tietty saisi löytöpäivää.

Edit3. Edellä mainittu pocket query -idea, mutta get user lists + get zipped pocket query metodeilla. Dokkari ainakin antaa ymmärtää että pq on lista.

[geocache.fi]

Edit. Ei mitään, unohdin aiemmin mainitut dokumentoimattomat rajat pyyntöjen määrässä. Miten ihmeessä haaste-checkerit toimii jatkossa?

Edit2. Niin tai siis, voisikohan search-metodin foundByn kanssa yhdistää tuohon toiseen ideaan että käyttäjä kertoo kätköjen koodit? Sitten ei tarvitsisi kuin korkeintaan yhden pyynnön per kätkö, todennäköisesti paljon vähemmän. Eikä tietty saisi löytöpäivää.

Edit3. Edellä mainittu pocket query -idea, mutta get user lists + get zipped pocket query metodeilla. Dokkari ainakin antaa ymmärtää että pq on lista.

Vastaus/Edit: haaste-checkerit todennäköisesti toimii "rahalla saa" -periaatteella.

Vastaus/Edit2: Jollain tämmöiselläkin virityksellä voisi yrittää asiaa. Ennemmin käytän viimeiset voimani yrittäen tehdä jotain sellaista ettei käyttäjä joudu kuukautta keräämään waypointeja ja sitten olemaan kuukautta ilman geocache.fi:tä kun käykin niin että apipyyntöjä kertyi superpowertrailin latailun johdosta satoja.

Vastaus/Edit3: Premiumkäyttäjillä on tosiaan mahdollista tehdä my finds -pocket query. Mutta kyseinen pocket query on poikkeava eikä sen tietoja tule apista get user lists -metodilla. Siispä ei saa referenceCodea mikä tarvitaan halutun pocket queryn lataamiseksi.

// haksu10

[geocache.fi]

Onnistuisikohan toi kuin helposti jos lataisi Comista tuon kaikki omat löydöt GPX:n PQ:na ja sen uppaisi sivustolle?

Ei onnistu koska tavoitteena on kaikille, ei vain premiumeille, tarjolla oleva tapa lisätä ulkomaanlöydöt.

Tämä tapa itse asiassa oli aikoinaan avoimesti käytössä ja jotkut ei-premiumit loivat kaikenlaisilla keinolla my finds - "pocket queryja". Lopputuloksen voi arvata: siinäpä selvittelin miksi käyttäjien tilastot olivat solmussa.

Edes ainoastaan premiumkäyttäjien käyttöön en tätä enää tee koska aina on riski, että joku kuitenkin päättää tekaista tiedoston jollain softalla ettei tarvitse sitä geocaching.com:sta latailla. En myöskään harkitse mitään muutakaan sellaista keinoa, missä käyttäjä suoraan voi vaikuttaa Geocache.fi:ssä olevaan dataan esim. lisäämällä löytöjä koska se mahdollistaa suuren riskin virheisiin.

// haksu10

[geocache.fi]

Infona: uuden apin myötä tuli "ihana" ominaisuus että jos api lakkaa toimimasta, lakkaa myös Geocache.fi toimimasta ja antaa tietokantavirhettä. Jos näin käy niin tovin päästä kannnattaa kokeilla uudelleen. Heti kun api herää henkiin pääsee taas Geocache.fi:kin toimintaan.

Koitan tässä tätäkin asiaa miettiä, jos löytyisi keino jotenkin estää tai rajoittaa ongelmia. Uusi api valitettavasti vaatii jatkuvaa suurta datavirtaa pelkästään käyttäjien tunnissa vanhenevien istuntotunnisteiden uusimiseksi ja limiittitietojen ylläpitämiseksi joten melko vähissä ovat keinot piuhan täällä päässä.

// haksu10

[geocache.fi]

Uusien kätköjen valvonnan optimoinnissa oli tullut valitettava virhe. Tästä syystä seuraavat 8 kätköä olivat jääneet tulematta Geocache.fi:hin.

Koodi: Valitse kaikki

+-----------+------------------------------------------------------+---------------------+
| waypoint  | nimi                                                 | julkaistu           |
+-----------+------------------------------------------------------+---------------------+
| GC88JCV   | Pelataanko                                           | 2019-05-29 22:25:00 |
| GC87PAB   | Sorbus auguparia                                     | 2019-05-30 15:39:00 |
| GC87FCV   | Gullkrona #3                                         | 2019-05-30 15:40:00 |
| GC83TP5   | Kuokkavieraat                                        | 2019-06-01 18:31:00 |
| GC86T89   | Voihan Lempo                                         | 2019-06-01 18:33:00 |
| GC87CWX   | Isomerenkallio                                       | 2019-06-01 22:39:00 |
| GC882A5   | Perniön liikuntahalli                                | 2019-06-01 22:48:00 |
| GC88M28   | Sammallahdenmäki 20-v.Unescon maailmanperintökohde   | 2019-06-01 23:33:00 |
+-----------+------------------------------------------------------+---------------------+

Puuttuneet kätköt kartalla

Jälleen suuret pahoitteluni!

// haksu10

[JyNu]

Ulkomaanlöydöt olen päivittänyt koko kätköilyhistorian osalta varmuuden varaksi nyt kahdesti; silti kun vertaa gc.fi ja gc.com -tilastoja D/T -taulukon osalta, niin tuntuu siltä kuin lukisi eri tilastoja.

Mm. gc.fi näyttää 1.5/2 löytöjä 11 enemmän, 1.5/2 löytöjä 5 enemmän ja 1.5/3 löytöjä 9 enemmän kuin gc.com, mutta taas sitten esim. 1,5/1 löytöjä 11 vähemmän ja 2/1,5 löytöjä 11 vähemmän kuin gc.com.

Kokonaismäärä täsmää kuitenkin.

[geocache.fi]

Ulkomaanlöydöt olen päivittänyt koko kätköilyhistorian osalta varmuuden varaksi nyt kahdesti; silti kun vertaa gc.fi ja gc.com -tilastoja D/T -taulukon osalta, niin tuntuu siltä kuin lukisi eri tilastoja.

Mm. gc.fi näyttää 1.5/2 löytöjä 11 enemmän, 1.5/2 löytöjä 5 enemmän ja 1.5/3 löytöjä 9 enemmän kuin gc.com, mutta taas sitten esim. 1,5/1 löytöjä 11 vähemmän ja 2/1,5 löytöjä 11 vähemmän kuin gc.com.

Kokonaismäärä täsmää kuitenkin.

Tämä on hyvin mahdollista ja todennäköistä koska olen joutunut keskittymään saamaan Geocache.fi:n Suomen kätköjen osalta mahdollisimman toimivaksi ennen deadlinea, joka (gc.comin otettua parin päivän aikalisän) on "sometime during the morning (Pacific Time Zone) on Monday June 3rd."

Myös suuren osan käytettävissä olevista apipyynnöistä olen joutunut kohdistamaan vain Suomen kätköihin jotta esille tulleet ongelmat ovat mahdollisimman nopeasti korjaantuneet mm. ladattavassa olevissa GPX -tiedostoissa.

Ulkomaankätköjen osalta on pyörinyt täydellä teholla käyttäjien löydöistä poimittujen uusien kätköjen lataus. Sen sijaan olemassa olevien reilun 300.000 kätkön tietoja on ladattu vain hyvin kevyellä teholla mikä ei ole riittänyt alkuunkaan siihen, että kätköjen tiedot olisivat edes välttävästi ajantasaisia enkä myöskään ole ehtinyt edes todistetusti varmistumaan siitä, ettei prosessissa olisi mitään ongelmia.

Syy siihen, miksi olen tehostetusti pyytänyt kaikkia latamaan ulkomaanlöytönsä mukaan on siinä, että näin ennen deadlinea saa käyttäjät löytönsä (waypointit ja päivämäärät) mukaan, koska tämänhetkisen tiedon mukaan ei deadlinen jälkeen ole mahdollista vastaavassa laajuudessa saada löytöjä ladattua.

Nyt tuntuu siltä että Suomen kätköjen osalta data alkaisi olemaan ehyttä ja olenkin tässä ajanut pyyntömäärää alas (mikä valitettavasti näkyy toki ajantasaisuudessa). Tavoitteena on ollut päästä rajalle missä data vielä on kohtuullisen tuoretta mutta samalla apin pyynnöt ovat kohtuullisia. Vaikka sitä en vielä ole tavoittanut niin pistin nyt kuitenkin ulkomaankätköjen datan tehostetusti latautumaan.

Ellei tähän ulkomaanlöytöjen ongelmaan tule HQ:lta mitään hyvää ratkaisua niin todellisuus on kuitenkin se, että yhtälö "Ulkomaanlöydöt" - "Ulkomaankätköjen tiedot" - "Suomen kätköjen tiedot" - "Suomen kätköjen lokit" ei ole ratkaistavissa tavalla, mikä tyydyttäisi sekä Geocache.fi:n käyttäjät että geocaching.com:n. Näistä valitettavasti jälkimmäinen on lisäksi laitettava etusijalle jotta saa pyydellä dataa edes siten, että voi huonoista vaihtoehdoista koittaa löytää sen vähiten huonon.

// haksu10