Geocache.fi kuormitus & ongelmat

[haksu10]

Väliaikaraportti: jälleen paljon uusiksi... eli yksinäisen koodarin teknistä löpinää yömyöhään.

Osoittautui että teknisesti on hyvin hankala hallita lokijärjestelmän lokien parsintaa moniajoprosessissa varsinkin kun tietoa on hajautettu useaan tauluun ja gc.com ei parin vuoden aikana ole saanut suomilokien id-numeroita tarjolle (joilla saisi lokeille järkevän ja yhtäläisen tunnisteen verrattuna ulkomaisiin lokeihin, joihin saa vain id:n pocket queryista). Niinpä tuplalokien esto saikin edelleen aikaan tilanteita joissa lokidata ei kirjautunutkaan täydellisesti kaikkiin tauluihin mutta avaintauluun kylläkin lukiten uuden lisäysyrityksen.

Jotta yksi prosessi riittää lokien käsittelyyn on tehoa vapautettu www-palvelimelta siirtämällä lokien apilataus tietokantapalvelimen harteille, sieltä löytyi vielä vähän ylimääräistä tehoa käyttöön. Nyt kaiken pitäisi toimia kuin junan vessa, mutta toki viritelmäni voikin olla pendolino eikä ikinä tiedä mitä tapahtuu

Mutta periaatteessa pitäisi tilanteen olla nyt stabiili ja toivon mukaan tämä on tältä erää viimeinen viesti jossa totean "vielä voi ilmetä erikoisuuksia lokeissa vaikka teoriassa ei pitäisi"...

[haksu10]

Vielä kerran teknistä sekopäistä löpinää koodien maailmasta.

Nyt viimein saanee laittaa tämänkin - normaliin tapaan suureksi venähtäneen - projektin osalta hanskat naulaan.

Lopputuloksena projekti muuttui vielä siten että
- Lokeja ei nykyisellä lataustahdilla pystynyt sittenkään yksi prosessi hoitamaan. Niinpä nyt on rakennettu kunnollinen moniprosessikäsittely ja tarvittessa kolme eri prosessia käsittelee ladattua lokidataa.
- Lokien, kätködatan, kuvien ja attribuuttien lataustoimet hoitaa nyt tietokantapalvelin. Vain uusien kätköjen havannointi sekä niihin liittyvät lataukset tapahtuvat www-palvelimella jotta varsinaiseen hälytysketjuun tai sen luotettavuuteen ei tullut muutoksia.
- Tietokantapalvelimen latausprosessit on rakennettu siten että tarvittaessa niitä voi käynnistää rinnan enemmänkin, joskaan nykypalvelin ei tehojen puitteissa mahdollista esim. kätködatan nopeampaa latausta kuin vähentämällä jonkun muun dataosa-alueen lataustehoa
- Rakenne mahdollistaa nyt tarvittaessa myös lisäpalvelimen liittämiseen samaan pakettiin ja prosessien siirtämistä sille. Tosin kustannussyistä toivon mukaan nykyiset kaksi palvelinta riittää edes johonkin vuoteen 2040 tms. saakka

Palvelinten kuormitus on nyt myös tasaisempaa. Molempien palvelinten "sallittu maksimikuorma" on 4 (eli 4 prosessoria molemmissa) ja molemmat palvelimet ovat nyt noin 3:n tasolla, kun ennen www-palvelin liikkui 4-6:n välillä ja tietokantapalvelin 1-2:n välillä. Teoriassa tämä merkitsisi myös sivujen hieman nopeampaa toimintaa mutta todellisuudessa sivujen nopeus on suoraan (kikkeliskokkelis, luithan sinä tänne asti) verrannollinen tietokantakyselyiden kestoon. 28.000 eri Suomessa kätköilleen nimimerkin, 22.000 kätkö/waypoint-tiedon ja huiman 1.8 miljoonan lokin datamäärä luonnollisesti ottaa sivun tarpeista riippuen enemmän tai vielä enemmän aikaa

Mutta uskoisin että nyt kaikki on taas "normaalitilassa" eli data kulkee ja järjestelmä on valmis vastaanottamaan kevään datamäärän kunhan tuo lumenkorkeus nyt ensin edes metrin laskisi ja väki pääsee muillekin kuin puun latvassa oleville kätköille (joille tosin ei hankikannon aikaan tarvitse edes tikkaita