Päivitetty ajoneuvodatan versiolle 5.30

jerekapyaho · jerekapyaho · commit 1483d052421c · 2026-01-21T12:29:19.000+02:00
diff --git a/.gitignore b/.gitignore
@@ -1,2 +1,3 @@
 venv/
 *.csv
+*.zip
diff --git a/README.md b/README.md
@@ -15,6 +15,13 @@ Ohjeet ovat enimmäkseen Ubuntu Linuxille. Useimmat ohjelmistot asennetaan
 
 Ajoneuvotiedot ovat [Traficomin avointa dataa](https://tieto.traficom.fi/fi/tietotraficom/avoin-data).
 
+Datan voi ladata joko selaimella tai suoraan komentoriviltä curl-ohjelmalla,
+tallentaen tiedostoon -o-optiolla:
+
+    curl https://opendata.traficom.fi/Content/Ajoneuvorekisteri.zip -o Ajoneuvorekisteri.zip
+
+Verkko-osoite löytyy linkistä Traficomin verkkosivulta.
+
 ## Datan siivous
 
 Traficomin ajoneuvodata on CSV-muodossa ja pakattu ZIP-tiedostoon. Pura ZIP-paketti sopivaan
@@ -23,7 +30,7 @@ Sitä voi tarkastella Linuxissa esimerkiksi LibreOffice-ohjelmistolla.
 
 Kopioidaan alkuperäinen tiedosto ensin toiselle nimelle, jotta komennoista ei tule niin hankalia (alkuperäinen tiedosto on edelleen saatavissa Traficomin sivuilta ladatussa ZIP-paketissa):
 
-    $ cp Ajoneuvojen_avoin_data_5_21.csv ajoneuvot-original.csv
+    $ cp Ajoneuvojen_avoin_data_5_30.csv ajoneuvot-original.csv
 
 Käyttämällä file-komentoa voidaan nähdä, että ajoneuvodata on Windows-rivimuodossa 
 (eli rivinvaihto on kaksi merkkiä, CR ja LF) ja se käyttää ISO 8859-1 -merkistökoodausta:
@@ -44,6 +51,8 @@ Ensimmäisessä vaiheessa muunnetaan rivinvaihdot Unix-tyylisiksi
     dos2unix: Converted 5360982 out of 5360982 line breaks.
     dos2unix: converting file ajoneuvot-original.csv to file ajoneuvot-unix.csv in Unix format...
 
+HUOM. Datan versiossa 5.30 (tai aikaisemminkin) näyttäisi siltä, että rivinvaihdot ovat jo Unix-tyylisiä, joten edellinen vaihe on tarpeeton.
+
 Toisessa vaiheessa muunnetaan ISO 8859-1 -merkistökoodaus UTF-8:ksi käyttäen `iconv`-komentoa:
 
     $ iconv -f iso-8859-1 -t utf-8 ajoneuvot-unix.csv >ajoneuvot-unix-utf8.csv
@@ -120,12 +129,16 @@ komentojonolla `esipesu.sh`:
 
     bash esipesu.sh
 
-Keräile rekisteröintitiedot vuosilta 2016-2021 Python-ohjelmalla
+Keräile rekisteröintitiedot vuosilta 2016-2025 Python-ohjelmalla
 `ev_counts.py`. Varmista, että esipesun tuottama tiedosto on
 samassa hakemistossa, ja aja sitten ohjelma:
 
     python3 ev_counts.py
 
+HUOM.! Datan versiossa 5.30 (mahdollisesti jo aikaisemmin) päiväykset ovat
+muotoa `PP.KK.VVVV`, joten ohjelma on päivitetty sen mukaisesti. Jos käytät
+jotain aikaisempaa datajoukkoa, ota tämä huomioon.
+
 Ohjelma pysyy käynnissä kunnes pylväsdiagrammin sisältävä
 ikkuna suljetaan.
 
diff --git a/ev_counts.py b/ev_counts.py
@@ -10,14 +10,15 @@
     rows.append(row)
 csv_file.close()
 
-years = range(2016, 2024)
+years = range(2016, 2026)
 
 counts = {}  # make empty dictionary for yearly counts
 
 for row in rows:
     if row[1] == '':
         continue
-    year = int(row[1][:4])
+    # registration date is DD.MM.YYYY
+    year = int(row[1][6:])
     if year not in years:
         continue
     if year not in counts:
diff --git a/ev_counts_monthly.py b/ev_counts_monthly.py
@@ -14,17 +14,18 @@
 
 print(len(all_rows))
 
-years = range(2016, 2024)
+years = range(2016, 2026)
 counts = {}
 for row in all_rows:
     if row[1] == '':  # ohita tyhjä rek. pvm
         continue
-    year = int(row[1][:4])  # irrota rek. vuosi
+    # registration date is DD.MM.YYYY
+    year = int(row[1][6:])  # irrota rek. vuosi
     if year < years.start:  # ohita liian vanha
         continue
     if year not in counts:  # tee uusi lista vuodelle
         counts[year] = [0] * 12
-    month = int(row[1][5:7]) - 1  # irrota rek. kuukausi
+    month = int(row[1][3:5]) - 1  # irrota rek. kuukausi
     counts[year][month] += 1
 
 print(f'Sähköautojen ensirekisteröinnit {years.start} - {years.stop - 1}')
diff --git a/ev_counts_regression.py b/ev_counts_regression.py
@@ -14,20 +14,20 @@
 
 print(len(all_rows))
 
-years = range(2016, 2024) # nyt on 2023 mukana
+years = range(2016, 2027) # nyt on 2026 mukana
 counts = {}
 for row in all_rows:
     if row[1] == '':
         continue
-    year = int(row[1][:4])
+    year = int(row[1][6:])
     if year < years.start:
         continue
     if year not in counts:
         counts[year] = [0] * 12
-    month = int(row[1][5:7]) - 1
+    month = int(row[1][3:5]) - 1
     counts[year][month] += 1
 
-# Lisää tyhjä lista myös vuodelle 2023:
+# Lisää tyhjä lista myös vuodelle 2026:
 counts[years.stop - 1] = [0] * 12
 
 print(f'Sähköautojen ensirekisteröinnit {years.start} - {years.stop - 1}')
@@ -52,24 +52,24 @@
 for year in years:
     # Data puuttuu viimeiseltä vuodelta.
     # Se täydennetään ennusteen tuottamalla datalla. 
-    if year == 2023:
+    if year == 2026:
         leftover_count += 12
         continue
     for month in range(12):
-        # Data puuttuu myös v. 2022 lopulta
-        if year == 2022 and month >= 6:
+        # Data puuttuu myös v. 2025 lopulta
+        if year == 2025 and month >= 9:
             leftover_count += 1
             continue
         x_arr.append(x_val)
         x_val += 1
         y_arr.append(counts[year][month])
 
 # Nyt x_arr sisältää arvot 0...77, missä 0 = tammikuu 2016,
-# 1 = helmikuu 2016 jne., ja 77 = kesäkuu 2022.
-# Yhteensä siis 6 * 12 + 6 = 78 kuukautta.
+# 1 = helmikuu 2016 jne., ja 116 = syyskuu 2022.
+# Yhteensä siis 9 * 12 + 9 = 117 kuukautta.
 
-# y_arr sisältää rekisteröintimäärät 1/2016 ... 6/2022.
-#print(len(y_arr)) 
+# y_arr sisältää rekisteröintimäärät 1/2016 ... 9/2025.
+print(f'Kuukausia: {len(y_arr)}')
 #print(y_arr)
 
 # NumPy-taulukot ovat hieman erilaisia kuin Pythonin listat,
@@ -117,10 +117,10 @@
         year += 1
 
 total_count = 0
-count_2022 = 0
-count_2023 = 0
-year = 2022
-month = 6
+count_2025 = 0
+count_2026 = 0
+year = 2025
+month = 9
 #print(future_x)
 for fx in future_x:
     count = int(y_new[fx - len(x_arr)])
@@ -129,17 +129,17 @@
     labels.append(label)
     values.append(count)  # lisätään ennustettu arvo
     print(f'{label}: {count} *')
-    if year == 2022:
-        count_2022 += count
-    if year == 2023:
-        count_2023 += count
+    if year == 2025:
+        count_2025 += count
+    if year == 2026:
+        count_2026 += count
     month += 1
     if month == 12:
         month = 0
         year += 1
-print(f'Ennuste ajalle 2022-07 - 2023-12: {total_count}')
-print(f'Ennuste loppuvuodelle 2022: {count_2022}')
-print(f'Ennuste vuodelle 2023: {count_2023}')
+print(f'Ennuste ajalle 2025-10 - 2025-12: {total_count}')
+print(f'Ennuste loppuvuodelle 2025: {count_2025}')
+print(f'Ennuste vuodelle 2026: {count_2026}')
 
 import matplotlib.pyplot as plt
 print(labels)
diff --git a/siivous.sh b/siivous.sh
@@ -1,5 +1,5 @@
 echo "*** Kopioidaan alkuperäinen tiedosto käsiteltäväksi tiedostoksi"
-cp -v Ajoneuvojen_avoin_data_5_21.csv ajoneuvot-original.csv
+cp -v Ajoneuvojen_avoin_data_5_30.csv ajoneuvot-original.csv
 
 file ajoneuvot-original.csv
 file -i ajoneuvot-original.csv
