FormatE
Om format för arkivbeständiga elektroniska handlingar
benjamin.yousefi@riksarkivet.se
• Jurist
― Juridisk och teknisk rådgivare och utredare
• Ofi
― [Avdelning för] Offentlig informationshantering
• Uti
― [Enhet] Utredning och utveckling
• FormatE (projektledare)
• ArkivE
• Elektroniska underskrifter
• Preforma
• PDF/A
Projektbeskrivning
FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar, och
information som förbättrar förutsättningarna för val, framställning, återgivning, och kontroll av format i [ett visst tekniskt] skick, samt vid tillsyn, rådgivning
och överföring till bevarande.
Effektmål
Alla elektroniska handlingar som framställs i offentlig förvaltning ska vara beständiga.
1. Beständighet, med hänsyn till behovet,
hur (form och funktion) handlingen ska återges,
och tiden handlingen ska återges på kort eller lång sikt.
2. Kraven på materiel och metoder bestäms utifrån behovet.
3. Mätbarhet: metoder för kontroll, uppföljning och efterlevnad
av denna beständighet.
Projektmål (2018)
1. Översyn av RA-FS 2009:2
― förslag till ny RA-FS
― tillsammans med författningskommentarer och allmänna råd.
2. Kriterier för att utvärdera format lämpliga för beständigheten av elektroniska handlingar
3. Vägledningar
Tidsplan vid denna tidpunkt
• Ett andra utkast färdigställs
― intern behandling
― referensgruppen
• Tidigast remiss
― december (2018) eller januari (2019)
• Något försenat
― Viktigare att författningen blir genomtänkt.
Grunden för fortsatt arbete
När föreskriften är utgiven blir det lättare att arbeta vidare med stödjande resurser, såsom vägledningar och verktyg.
Drömbilden
• När den datatekniska grunden är lagd,
• diskutera innehåll utifrån funktionaliteter,
• och format, kodningen och avkodningen, blir som ”pappret”.
Om arbetet med att se över
RA-FS 2009:2
RA-FS om tekniska krav vid framställning av elektroniska handlingar
• Det kommer att vara en teknisk föreskrift
― specifikationer
― funktionaliteter
― implementationer
― format
• Föreskriften gäller för hela den offentliga förvaltningen
― Alla som omfattas av arkivlagen (1-2a §§).
Bemyndigandet
Omfattar
• framställning
• form och funktion
• implementering
Omfattar inte
• Återgivning eller hantering
• innehåll eller gallring
• användning
Elektroniska handlingar som redan är framställda
• Faller utanför författningens tillämpningsområde
• RA-FS 2009:1, och då endast för statliga myndigheter
• Vägledningar, verktyg, och liknande.
Datateknisk perspektiv
Teknikspecifikt
• Kodning av information (handling) till binär data
• som lagras som ett format vid en tidpunkt,
• och avkodningen av data tillbaka till information
• som ska återges i ett visst
förväntat tekniskt skick (form och funktion).
Teknikgenerellt
• Val av format
• Koppla [tekniska] funktionaliteter till
information [handling].
Konsekvenser
• Hur tillämpar man föreskriften?
― Man måste ju faktisk förstå den för att tillämpa den… Vem ska tillämpa den?
• Hur tar man hänsyn till alla olika intressen?
― Hur hanterar man alla användningar av program och format?
― Verksamheter skiljer sig som bekant mellan statliga myndigheter, men nu
skuttar även in kommuner, landsting och andra myndigheter och organ.
Tillämpning av föreskriften
• Föreskriften reglerar eviga sanningar.
• Magin finns i föreskriftens bilagor och allmänna råd
Tydligare krav
Rekommenderade sätt för att uppfylla kraven
Ges ut och ses över löpande.
Kan så småningom normeras.
Vägledningar
Introducerande (utbildande), såsom ”Om den nya RA-FS 2019:1”.
Handledande (målorienterade), såsom ”hur gör man”, ”hur löser man”.
Fördjupande (förklarande), såsom författningskommentarer.
Refererande (deskriptiva), såsom
ordböcker, github.com/Riksarkivet/format/.
GitHub
Data- och informationstekniska resurser
Program, metoder för validering, verifiering
och granskning.
Balansera olika intressen
• Samarbete och kommunikation
― referensgruppen
― Mer permanenta konstellationer?
• Föreskriftens uppbyggnad
― Nyanserar kraven och tillämpning i olika fall
Styrande principer
• Behovet av beständighet
• Vad som krävs i olika fall
• Specifikationer
• Funktionaliteter
• Implementationer
• och format
Exempel
Överväganden, avvägningar, särskilt belysa
Gäller endast vid framställning
•Får inte ställa krav på återgivningen, såsom program, men…
Program är elektroniska handlingar, så får ställa krav på framställningen av program (som ska användas för återgivning)
•Allt måste alltså bli rätt vid framställning
Hur strikta krav ska ställas vid
framställning?
Tekniska hjälpmedel
•TF 2 kap. 3 § ”… upptagning som kan läsas, avlyssnas eller på annat sätt uppfattas endast med tekniskt hjälpmedel. … ”
Det vill säga, inga program.
Lämpliga format?
•Ganska strikta krav alltså…
Materiel och metoder
•Tekniskt hjälpmedel,
•men även andra hjälpmedel för att koda och avkoda ett format.
• Specifikationer
Dokumentation
Vägledningar
• Teknisk miljö
Programtolk
Kompilator
• Program
Algoritmer
Kodbibliotek
• Data
Databaser
Länkar till nödvändiga datafiler
Vad ska vara beständigt?
•Alla ”format” är kod
•Formatet slutar att vara
beständigt om kunskapen om koden [avkodningen] går förlorad,
•men inte bara ställa krav på att endast kunna avkoda:
Avkoda till vilken form och funktion?
Hur mycket måste avkodas?
•Lagrad kod förändras inte i sig över tid under förutsättning att koden exempelvis inte:
kodas, avkodas felaktigt,
hårdvara fallerar,
om exekverbar, kan förändra sig själv,
annan exekverbar kod förändrar.
•Förvaring, hårdvara, hantering, och andra skyddande åtgärder
fråga om arkivvård.
Vad ska vara beständigt?
•00011111010000110000
Är det denna form som ska vara beständig?
•0x1f430
Är det denna form som ska vara beständig?
•� (glyf saknas)
Är det denna form som ska vara beständig?
•🐰
Är det denna form som ska vara beständig?
Är det denna form som ska vara beständig?
•Exemplen är endast olika representationer av samma kod.
•Vilket tekniskt skick ska återges?
Vilken mening ska
kunna avkodas tillbaka?
Vad ska vara beständigt?
1. 00111100 01110000 00111110 11000011 10000100 01110010 00100000 01100100 01100101 01110100 00100000 01100100 01100101 01101110 01101110 01100001 00100000 00111100 01100010 00111110 01100110 01101111 01110010 01101101 00111100 00101111 01100010 00111110 00100000 01110011 01101111 01101101 00100000 01110011 01101011 01100001 00100000 01110110 01100001 01110010 01100001 00100000 01100010 01100101 01110011 01110100 11000011 10100100 01101110 01100100 01101001 01100111 00111111 00111100 00101111 01110000 00111110 00001010
2. 3c 70 3e c3 84 72 20 64 65 74 20 64 65 6e 6e 61 20 3c 62 3e 66 6f 72 6d 3c 2f 62 3e 20 73 6f 6d 20 73 6b 61 20 76 61 72 61 20 62 65 73 74 c3 a4 6e 64 69 67 3f 3c 2f 70 3e 0a
3. <p>Är det den na <b>form</b> som ska vara beständig?</p>
4. Är det denna form som ska vara beständig?
5. ¶ Är det denna form som ska vara beständig?
(+stilmall)
Specifikationer
•Vad gör en specifikation lämpligt och en annan olämpligt?
•Vilken specifikation ska man välja?
•Kriterier för att bedöma
sannolikheten att kunna återge ett tekniskt skick utifrån en
specifikation
•Bestämd tid
•Obestämd tid
Begränsa antalet
specifikationer
Funktionaliteter
• Tekniska metoder för att representera information (eller tekniska egenskaper)
• Bild, text, ljud, rörlig bild, …
• Vektor, bitmap, raster, …
•Jfr pappersteknik
använda typsatser som representerar bokstäver,
rastrering för att representera
färgnyanserade bilder.
• Vilken funktionalitet bäst
lämpad för att representera
en viss typ av information?
Implementation
•Hur en funktionalitet kodas och avkodas
•Kan automatiseras
•Är implementeringen i
överensstämmelse med
specifikationen?
Format – resultatet av allt
•Innebörden av format
•Informationsformat och binärformat
•Hur något används – ett protokoll, databasförfrågan,
programmeringsspråk, program, och så vidare, och den form något har vid ett visst tillstånd i datorn – ett format.
•Kan kontrolleras (verifieras och valideras) vara korrekt,
•men vi vet inte om återgivningen blir som ursprungligen förväntat,
•vilket beror helt på
implementeringen vid
återgivning.
Allt blir
ett format
SELECT kolumn FROM tabell WHERE kolumn = 'kanin';
# Är en informationsformat (“syntax”)
# Kan bevaras över tid i [binär] kod (representerat här i nummer):
01010011 01000101 01001100 01000101 01000011 01010100 00100000 01110010 01100001 01100100 00100000 01000110 01010010 01001111 01001101 00100000 01110100 01100001 01100010 01100101 01101100 01101100 00100000 01010111 01001000 01000101 01010010 01000101 00100000 01110010 01100001 01100100 00100000 00111101 00100000 00100111 01101011 01100001 01101110 01101001 01101110 00100111 00111011
# Request header
Accept: text/html,application/xhtml+xm…plication/xml;q=0.9,*/*;q=0.8 Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.5 Connection: keep-alive
Cookie:_ga=GA...
Host: riksarkivet.se
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/62.0
# Syntaxen är definierat i diverse RFC.
# Det binära formatet blir...
01000001 01100011 01100011 01100101 01110000 01110100 00111010 00100000 01110100 01100101 01111000 01110100 00101111 01101000 01110100 01101101 01101100 00101100 01100001 01110000 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101000 01110100 01101101 01101100 00101011 01111000 01101101 11100010 10000000 10100110 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101101 01101100 00111011 01110001 00111101 00110000 00101110 00111001 00101100 00101010 00101111 00101010 00111011 01110001 00111101 00110000 00101110 00111000 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01000101 01101110 01100011 01101111 01100100 01101001 01101110 01100111 00111010 00100000 01100111 01111010 01101001 01110000 00101100 00100000 01100100 01100101 01100110 01101100 01100001 01110100 01100101 00101100 00100000 01100010 01110010 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01001100 01100001 01101110 01100111 01110101 01100001 01100111 01100101 00111010 00100000 01100101 01101110 00101101 01010101 01010011 00101100 01100101 01101110 00111011 01110001 00111101 00110000 00101110 00110101 00001010 01000011 01101111 01101110 01101110 01100101 01100011 01110100 01101001 01101111 01101110 00111010 00100000 01101011 01100101 01100101 01110000 00101101 01100001 01101100 01101001 01110110 01100101 00001010 01000011 01101111 01101111 01101011 01101001 01100101 00111010 01011111 01100111 01100001 00111101 01000111 01000001 00101110 00101110 00101110 00001010 01001000 01101111 01110011 01110100 00111010 00100000 01110010 01101001 01101011 01110011 01100001 01110010 01101011 01101001 01110110 01100101 01110100 00101110 01110011 01100101 00001010 01010101 01110000 01100111 01110010 01100001 01100100 01100101 00101101 01001001 01101110 01110011 01100101 01100011 01110101 01110010 01100101 00101101 01010010 01100101 01110001 01110101 01100101 01110011 01110100 01110011 00111010 00001001 00110001 00001010 01010101 01110011 01100101 01110010 00101101 01000001 01100111 01100101 01101110 01110100 00111010 00100000 01001101 01101111 01111010 01101001 01101100 01101100 01100001 00101111 00110101 00101110 00110000 00100000 00101000 01010111 01101001 01101110 01100100 01101111 01110111 01110011 00100000 01001110 01010100 00100000 00110110 00101110 00110001 00111011 00100000 01010111 11100010 10000000 10100110 00101001 00100000 01000111 01100101 01100011 01101011 01101111 00101111 00110010 00110000 00110001 00110000 00110000 00110001 00110000 00110001 00100000 01000110 01101001 01110010 01100101 01100110 01101111 01111000 00101111 00110110 00110010 00101110 00110000 00001010
Exempel
På specifikation, funktionalitet,
implementation, och format
Behovet av beständighet
•Vilket tekniskt skick?
•För vilken tid?
Specifikation
• Vilken specifikation syftar till att
implementera det tekniska skicket?
Funktionaliteter
• Vilka får eller får, ska, bör eller inte bör implementeras?
• Verifiera vilka som implementerats
Forma
Projektl
FormatE ska
ISO-8859-1
ÅÐÓÆ ....È...»È..;U..ÿÿ..
%!PS-Adobe-3.1 EPSF-3.0.
%ADO_DSC_Encoding: MacOS Roman.
%%Title: Riksarkivet_rgb.eps.
%%Creator: Adobe Illustrator(R) 15.0.
%%For: Karin Keijser.
%%CreationDate: 2013-01-08.
%%BoundingBox: 0 0 152 43.
%%HiResBoundingBox: 0 0 151.8
...ISO 8859-1
.PNG...IHDR...â...Å...µñÇ....sRGB.®Î.é....gAMA..±..
üa...PLTE...#../.$:).. .. ..7..0*. 000.+F.2Q .9].@i.GtD..R..@;.@8.`..n..{..@J.PF.PX.@X/@^;P_$`T.p b.
pl.@@@PPP```ppp....N..V..]..d£.k®.rº.y¯`.H`.zp¢o0..
.¥@
..@..P..P...."..%¤ )²#,.p..~.À&/Í(3Û+6...2¯..¿¨.¿º...I.°Z.³
@.·O.©e.¬a¯¾D¿Â)¿Å:¿É5¿È6϶.ÏÀ.ßÄ.ÏË/ßÒ$ßÖ ...
Implementationer
• Kodningen blir rätt vid framställning.
Kan valideras.
• Fråga om avkodningen blir rätt vid återgivning?
Om inte tillgång till program, referensimplementationer,
fråga om sannolikhet formatet kan implementeras till det förväntade tekniska skicket.
11000101 11010000 11010011 11000110 00100000 00000000 00000000 00000000 10011011 11001000 00000110 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 10111011 11001000 00000110 00000000 00111011 01010101 00000000 00000000 11111111 11111111 00000000 00000000 00100101 00100001 01010000 01010011 00101101 01000001 01100100 01101111 01100010 01100101 00101101 00110011 00101110 00110001 00100000 01000101 01010000 01010011 01000110 00101101 00110011 00101110 00110000 00001010 00100101 01000001 01000100 01001111 ...
10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00001001 11100010 00000000 00000000 00000010 11000101 00001000 00000011 00000000 00000000 00000000 10010010 10110101 11110001 11000111 00000000 00000000 00000000 00000001 01110011 01010010 01000111 01000010 00000000 10101110 11001110 00011100 11101001 00000000 00000000 00000000 00000100 01100111 01000001 01001101 01000001 00000000 00000000 10110001 10001111 00001011 11111100 01100001 00000101 00000000 00000000 00000011 00000000 01010000 01001100 01010100 01000101 00000000 00000000 00000000 00000000 00000111 00001100 00001110 00000011 00000011 00000000 00001110 00010111 00010000 00001110 00000001 00011011 00000101 00000111 00010000 00010000 00010000 00000000 00010101 00100011 00000000 00011101 00101111 00000000 00100100 00111010 00101001 00001000 00001010 00100000 ...
ASCII-7bit
01000110 01101111 01110010 01101101 01100001 01110100 01000101 00100000 01110011 01101011 01100001 00100000 01101011 01101111 01101110 01110100 01100101 01111000 01110100 01110101 ...
FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar, ...
UTF-8
00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010
…
ISO-8859-1
.PNG...IHDR...P...ÿì.¿....bKGD.ÿ.ÿ.ÿ ½§...pHYs...#...#.x
¥?v....tIME.â...#.§«1ñ....tEXtComment.Created with GIMPW...
.IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f0j]rÚ.fç`ä@|P+¹..+9.CÀ.V®F.É,Ù..h1
§.ìY..O£^ðu.K..ÜÂ.³.Ì).¨Å`Ì.vXò.ô{H ...
10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001
...
FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar,
FormatE ska kontextualisera grundprinciper f?r val av format i f?reskrifter, v?gledningar,
FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar,
ASCII-7bit
01000110 01101111 01110010 01101101 01100001 01110100 01000101 00100000 01110011 01101011 01100001 00100000 01101011 01101111 01101110 01110100 01100101 01111000 01110100 01110101 ...
UTF-8
00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010
…
ISO-8859-1
.PNG...IHDR...P...ÿì.
¿....bKGD.ÿ.ÿ.ÿ ½§...pHYs ...#...#.x¥?v....tIME.â...#.§«
1ñ....tEXtComment.Created with GIMPW...
.IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f 0j]rÚ.fç`ä@|P+¹..+9.CÀ.V®
F.É,Ù..h1§.ìY..O£^ðu.K..Ü .³.Ì).¨Å`Ì.vXò.ô{H
...
10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001 ...
UTF-8, ASCII, ISO-8859-1, ...
00111100 01100100 01101001 01110110 00100000 01100011 01101100 01100001 01110011 01110011 00111101 00100010 01100001 01110010 01110100 01101001 01100011 01101100 01100101 00100010 00111110 00001010 00100000 00100000 00100000 00100000 00111100 01101000 00110001 00111110 00001010 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00111100 01110011 01110000 01100001 01101110 00100000 01101001 01100100 00111101 00100010 01010000 01110010 01101001 01101101 01100001 01110010 01111001 01011111 01000101 01110000 01110100 01000110 01101001 01100101 01101100 01100100 00110001 00100010 00111110 01000110 01101111 01110010 01101101 01100001 01110100 01000101 ...
