Datorhandbok - Användarbidrag [sv]

Gitmigrering

2014-07-16T22:07:33Z

Ceder: /* CVS -> Git */ Fixed a typo.

Om du idag har ett projekt som hostas på cvs.lysator.liu.se eller lsvn.lysator.liu.se måste du migrera det.

== CVS -> Git ==

Det finns många sätt att konvertera från CVS till Git. Här beskriver jag "git cvsimport" som har en stor fördel: det fungerar även via nätverk, så man behöver inte ha hela CVS-arkivet på en lokalt åtkomlig disk. Det innebär att du kan använda den här metoden på egen hand, utan att behöva be root om hjälp.

Det finns några problem med den här metoden, som [https://www.kernel.org/pub/software/scm/git/docs/git-cvsimport.html#issues listas i manualsidan]. Om arkivet är stort kan det också vara en långsam metod. Det finns andra metoder, t ex [http://cvs2svn.tigris.org/cvs2git.html cvs2git] som kräver direkt tillgång till filerna. Kontakta vid behov root, så kan vi kopiera filerna till din hemkatalog.

För de flesta arkiv på cvs.lysator.liu.se torde den här metoden fungera utmärkt.

Börja med att logga in på en av Lysators datorer, t ex faust som har all nödvändig programvara installerad. Checka ut koden. Här använder vi modulen accesslog som ett exempel:

<pre>
cvs -d ceder@cvs.lysator.liu.se:/cvsroot/accesslog co accesslog
cd accesslog
cvs log | sed -n 's/^date: .* author: $[^;]*$; state: .* lines:.*/\1/p'|uniq|sort|uniq>../accesslog.authors
</pre>

Filen accesslog.authors innehåller nu en lista på alla användare som gjort en commit. Editera den, så att den översätter till det format som Git vill ha. Exempel:

<pre>ceder=Per Cederqvist <ceder@lysator.liu.se>
inge=Inge Wallin <inge@lysator.liu.se></pre>

Kör sedan kommandot som gör själva konverteringen till Git:

<pre>git cvsimport -A ../accesslog.authors -R -k -C ../accesslog.git</pre>

Om allt gick bra har du nu ett Git-repository i ../accesslog.git. Följ instruktionerna nedan för att publicera det på git.lysator.liu.se.

== Subversion -> Git ==

Instruktionerna på http://john.albin.net/git/convert-subversion-to-git ger ett bra resultat.
Notera att access via http inte fungerar längre, men du kan komma åt ditt projekt med något i stil med:

<pre>svn co svn+ssh://ceder@lsvn.lysator.liu.se/svnroot/kernelwatch</pre>

Instruktionerna förutsätter att du använd en standardlayout med trunk, branches och tags. Men de ger en bra grund även om du gjort annorlunda.

== Publicera Git-arkivet på git.lysator.liu.se ==

Logga in på https://git.lysator.liu.se/ och tryck på "New project"-knappen. Fyll i lämpliga värden. Om projektet är ett samarbetsprojekt kan det vara lämpligt att först skapa en grupp och ange den gruppen som "Namespace". Tryck på "Create project" när du fyllt i alla uppgifter.

Nu kommer det upp en sida där det under rubriken "Existing Git Repo?" står hur du gör för att publicera ditt repository. Följ instruktionerna:

<pre>cd ../accesslog.git
git remote add origin git@git.lysator.liu.se:ceder/accesslog.git
git push -u origin master</pre>

Om ditt projekt innehåller flera grenar och taggar som du vill publicera kan du ersätta den sista raden med:

<pre>git branch -d origin # git cvsimport skapar en extra gren som heter "origin". Ta bort den -- det är samma sak som master.
git push -u origin --all # Publicera alla grenar (utom origin som vi just tog bort).
git push origin --tags # Publicera alla taggar.</pre>

Gitmigrering

2014-07-14T22:00:01Z

Ceder: /* Subversion -> Git */ Länka till John Albins instruktioner.

Om du idag har ett projekt som hostas på cvs.lysator.liu.se eller lsvn.lysator.liu.se måste du migrera det.

== CVS -> Git ==

Det finns många sätt att konvertera från CVS till Git. Här beskriver jag "git cvsimport" som har en stor fördel: det fungerar även via nätverk, så man behöver inte ha hela CVS-arkivet på en lokalt åtkomlig disk. Det innebär att du kan använda den här metoden på egen hand, utan att behöva be root om hjälp.

Det finns några problem med den här metoden, som [https://www.kernel.org/pub/software/scm/git/docs/git-cvsimport.html#issues listas i manualsidan]. Om arkivet är stort kan det också vara en långsam metod. Det finns andra metoder, t ex [http://cvs2svn.tigris.org/cvs2git.html cvs2git] som kräver direkt tillgång till filerna. Kontakta vid behov root, så kan vi kopiera filerna till din hemkatalog.

För de flesta arkiv på cvs.lysator.liu.se torde den här metoden fungera utmärkt.

Börja med att logga in på en av Lysators datorer, t ex faust som har all nödvändig programvara installerad. Checka ut koden. Här använder vi modulen accesslog som ett exempel:

<pre>
cvs -d ceder@cvs.lysator.liu.se:/cvsroot/accesslog co accesslog
cd accesslog
cvs log | sed -n 's/^date: .* author: $[^;]*$; state: .* lines:.*/\1/p'|uniq|sort|uniq>..accesslog.authors
</pre>

Filen accesslog.authors innehåller nu en lista på alla användare som gjort en commit. Editera den, så att den översätter till det format som Git vill ha. Exempel:

<pre>ceder=Per Cederqvist <ceder@lysator.liu.se>
inge=Inge Wallin <inge@lysator.liu.se></pre>

Kör sedan kommandot som gör själva konverteringen till Git:

<pre>git cvsimport -A ../accesslog.authors -R -k -C ../accesslog.git</pre>

Om allt gick bra har du nu ett Git-repository i ../accesslog.git. Följ instruktionerna nedan för att publicera det på git.lysator.liu.se.

== Subversion -> Git ==

Instruktionerna på http://john.albin.net/git/convert-subversion-to-git ger ett bra resultat.
Notera att access via http inte fungerar längre, men du kan komma åt ditt projekt med något i stil med:

<pre>svn co svn+ssh://ceder@lsvn.lysator.liu.se/svnroot/kernelwatch</pre>

Instruktionerna förutsätter att du använd en standardlayout med trunk, branches och tags. Men de ger en bra grund även om du gjort annorlunda.

== Publicera Git-arkivet på git.lysator.liu.se ==

Logga in på https://git.lysator.liu.se/ och tryck på "New project"-knappen. Fyll i lämpliga värden. Om projektet är ett samarbetsprojekt kan det vara lämpligt att först skapa en grupp och ange den gruppen som "Namespace". Tryck på "Create project" när du fyllt i alla uppgifter.

Nu kommer det upp en sida där det under rubriken "Existing Git Repo?" står hur du gör för att publicera ditt repository. Följ instruktionerna:

<pre>cd ../accesslog.git
git remote add origin git@git.lysator.liu.se:ceder/accesslog.git
git push -u origin master</pre>

Om ditt projekt innehåller flera grenar och taggar som du vill publicera kan du ersätta den sista raden med:

<pre>git branch -d origin # git cvsimport skapar en extra gren som heter "origin". Ta bort den -- det är samma sak som master.
git push -u origin --all # Publicera alla grenar (utom origin som vi just tog bort).
git push origin --tags # Publicera alla taggar.</pre>

Gitmigrering

2014-07-14T21:43:43Z

Ceder: Publicera ett git-arkiv.

Om du idag har ett projekt som hostas på cvs.lysator.liu.se eller lsvn.lysator.liu.se måste du migrera det.

== CVS -> Git ==

Det finns många sätt att konvertera från CVS till Git. Här beskriver jag "git cvsimport" som har en stor fördel: det fungerar även via nätverk, så man behöver inte ha hela CVS-arkivet på en lokalt åtkomlig disk. Det innebär att du kan använda den här metoden på egen hand, utan att behöva be root om hjälp.

Det finns några problem med den här metoden, som [https://www.kernel.org/pub/software/scm/git/docs/git-cvsimport.html#issues listas i manualsidan]. Om arkivet är stort kan det också vara en långsam metod. Det finns andra metoder, t ex [http://cvs2svn.tigris.org/cvs2git.html cvs2git] som kräver direkt tillgång till filerna. Kontakta vid behov root, så kan vi kopiera filerna till din hemkatalog.

För de flesta arkiv på cvs.lysator.liu.se torde den här metoden fungera utmärkt.

Börja med att logga in på en av Lysators datorer, t ex faust som har all nödvändig programvara installerad. Checka ut koden. Här använder vi modulen accesslog som ett exempel:

<pre>
cvs -d ceder@cvs.lysator.liu.se:/cvsroot/accesslog co accesslog
cd accesslog
cvs log | sed -n 's/^date: .* author: $[^;]*$; state: .* lines:.*/\1/p'|uniq|sort|uniq>..accesslog.authors
</pre>

Filen accesslog.authors innehåller nu en lista på alla användare som gjort en commit. Editera den, så att den översätter till det format som Git vill ha. Exempel:

<pre>ceder=Per Cederqvist <ceder@lysator.liu.se>
inge=Inge Wallin <inge@lysator.liu.se></pre>

Kör sedan kommandot som gör själva konverteringen till Git:

<pre>git cvsimport -A ../accesslog.authors -R -k -C ../accesslog.git</pre>

Om allt gick bra har du nu ett Git-repository i ../accesslog.git. Följ instruktionerna nedan för att publicera det på git.lysator.liu.se.

== Subversion -> Git ==

Mer text kommer...

== Publicera Git-arkivet på git.lysator.liu.se ==

Logga in på https://git.lysator.liu.se/ och tryck på "New project"-knappen. Fyll i lämpliga värden. Om projektet är ett samarbetsprojekt kan det vara lämpligt att först skapa en grupp och ange den gruppen som "Namespace". Tryck på "Create project" när du fyllt i alla uppgifter.

Nu kommer det upp en sida där det under rubriken "Existing Git Repo?" står hur du gör för att publicera ditt repository. Följ instruktionerna:

<pre>cd ../accesslog.git
git remote add origin git@git.lysator.liu.se:ceder/accesslog.git
git push -u origin master</pre>

Om ditt projekt innehåller flera grenar och taggar som du vill publicera kan du ersätta den sista raden med:

<pre>git branch -d origin # git cvsimport skapar en extra gren som heter "origin". Ta bort den -- det är samma sak som master.
git push -u origin --all # Publicera alla grenar (utom origin som vi just tog bort).
git push origin --tags # Publicera alla taggar.</pre>

Gitmigrering

2014-07-14T21:32:44Z

Ceder: /* CVS -> Git */ Dokumentera hur man kan konvertera med hjälp av git cvsimport.

Gitmigrering

2014-07-13T19:36:17Z

Ceder: Lade till en tom mall.

Om du idag har ett projekt som hostas på cvs.lysator.liu.se eller lsvn.lysator.liu.se måste du migrera det.

== CVS -> Git ==

Mer text kommer...

== Subversion -> Git ==

Mer text kommer...

Huvudsida

2014-07-13T19:34:41Z

Ceder: /* Övrigt */ Lyft fram Git, tona ner CVS och SVN, länka till Gitmigrering.

__NOTOC__

= Lysators datorhandbok =

Tycker du att du borde ha rättigheter att redigera wikin så [https://datorhandbok.lysator.liu.se/index.php?title=Special:Userlogin&returnto=Huvudsida loggar du in], och kontaktar sedan [[Rootgruppen|<tt>root</tt>]] på lämpligt sätt och ber denne att ge dig rättigheter.

* [http://www.lysator.liu.se/omlysator.html Lysator] - information om föreningen
* [[Rootgruppen]] - våra systemadministratörer. Deras kom-i-håg lapp för hur man gör saker: [[Rootmanual]]
* [[LysKOM]] - vårt konferenssystem
* [http://www.lysator.liu.se/lystring/ Lystring] - Lysators elektroniska medlemsblad, innehåller information om förändringar i datorsystemet och allmänt vad som händer i föreningen.
* [[Planerade Avbrott]] - här finns information om planerade driftavbrott
* [http://bugzilla.lysator.liu.se/buglist.cgi?bug_status=UNCONFIRMED&bug_status=NEW&bug_status=ASSIGNED&bug_status=REOPENED&product=Lysator-TODO TODO-lista] för Lysator.

=== [[Lysators maskinpark|Datorer]] - allmän info om Lysators maskiner ===

==== Datortyper ====
* [[:Category:CPU-servrar|CPU-servrar]] - Här loggar du in om du vill köra program
* [[:Category:Arbetsstationer|Arbetsstationer]] - Dessa maskiner står i våra lokaler
* [[:Category:Tjänsteservrar|Tjänsteservrar]] - Kör diverse tjänster för Lysators räkning. Oftast ej åtkomliga av användare.
* [[:Category:Xenofarm-servrar|Xenofarm-servrar]] - Är medvetet obskyra.

==== [[:Kategori:Operativsystem|Operativsystem]] ====

* [[Solaris]]
* [[:Kategori:Debian|Debian]]
* [[:Kategori:Fedora Core|Fedora]]
* [[:Kategori:Gentoo|Gentoo]]
* [[:Kategori:FreeBSD|FreeBSD]]
* [[:Kategori:NetBSD|NetBSD]]
* [[:Kategori:OpenBSD|OpenBSD]]
* [[:Kategori:CentOS|CentOS]]

=== [[:Kategori:Lokaler|Lysators lokaler]] ===

* [[:Kategori:~|~]]
* [[:Kategori:Foo|Foo]]
* [[:Kategori:^|^]]
* [[:Kategori:Lambohovsförrådet|Lambohovsförrådet]]

==== Tillträde till lokalerna ====
* [[Passerkort]]
* [[Utkvitterarens guide till Passerkort]]

== Användarmanual ==

=== Att köra program på Lysators datorer ===
* [[Lösenord| Allt om lösenord på Lysator]]
* [[Lysators nyare filstruktur|Bygga egna program hos Lysator]] - Läs mer om /pkg-systemet här.
* [[Screen]] - fönsterhantering på textskärmar
* [[Att läsa dokumentation]] - om att hitta hjälpsidor
* [[Att välja skrivbordsmiljö]] - gäller SUN-arbetsstationerna
* [[Att nå Lysators maskiner från Windows]]

=== [[:Category:WWW|WWW]] - World Wide Web på Lysatorvis ===

* [[Lysator Web NG | Hur Lysators webblösning hänger ihop ]]
* [[RXML2-migrering | Hur man konverterar RXML1 till RXML2]]
* [[LysCMS | LysCMS]]

=== [[:Category:E-post | E-post]] ===
* [[Spamhantering]] - hur du slipper många spam
* [[Elektronisk post på Lysatorvis]] - e-post hos Lysator
* [[IMAP och POP]] - läs epost på Lysator utifrån
* [[AUTHSMTP]] - skicka epost via Lysator oavsett var du befinner dig
* [[Mail:Webmail|Webmail]] - Läs epost på Lysator via WWW
* [[Procmail]] - automatisk mailhantering med Procmail
* [[E-postlistor]] - hur man startar och driver en elektronisk postlista
* [[Konvertering till maildir]] - något som behövs för att köra mot Courier (IMAP-servern)

=== Övrigt ===
* [[Git]] -- Versionshantering
** [[CVS och SVN]] -- Antik versionshantering
** [[Gitmigrering]] -- Tips för att flytta källkod från CVS eller SVN till Git.
* [[Jabber]]
* [[Bittorrent]]
* [[FTP]]
* [[LysAdm]]
* [[LYSrdiff]] -- du bestämmer själv vad det ska tas backup av
* [[Usenet News]]
* [[Skrivare]] i ~ (om man vill ha analog version av sin data)
* [[Ssh]] -- nå lysators maskiner hemifrån
* [[~/lib inköpsmanual]] - en lathund för ~/lib-ansvarig

== Luserfri zon ==
* [[Rootmanual]] - En lathund för lysators rötter
* [[Backup HOWTO]] - för rötter och annat löst folk

== Metainformation ==

Rötter kan ge rättigheter till folk på sidan [[Special:Userrights]].

Tycker du att nått är felöversatt, kan du fixa det här: [[Special:Allmessages]].

CVS och SVN

2014-07-13T19:18:05Z

Ceder: Rekommendera Git i stället, för cvs/lsvn kommer nog att avvecklas.

[[Kategori:Instruktioner]]
CVS är ett väldigt användbart verktyg. SVN är nyare. På denna sida beskrivs hur du
använder versionshantering hos Lysator.

==Det gamla sättet, /lysator/cvsroot==

Sedan länge finns en cvsroot som alla Lysiter på ett någorlunda enkelt
sätt kan skapa ett repository i. Problemet med den lösningen är att
endast Lysiter kan komma åt den, och anonym access är inte möjlig.

Hur man i detalj använder /lysator/cvsroot beskrivs inte på denna
oebbsida.

==Det nyare sättet, LysCVS och LSVN==

Eftersom det verkade finnas ett behov av ett repository där man dels
kan ha med icke-Lysiter som utvecklare, och dels tillåta anonym
access, utvecklades sommaren 2001 en lösning som tillåter detta.

Sedan dess har även stöd för SVN dykt upp.

Men nu är denna lösning under avveckling. Du rekommenderas att använda [[Git]] i stället.

Lösningen går under namnen '''LysCVS/LSVN''' och finns att beskåda bland annat i form av http://cvs.lysator.liu.se/.

LysCVS/LSVN har ett oebbaserat administrationsinterface där du själv som vanlig användare kan skapa projekt, lägga till användare till detta och så vidare. Nedan beskrivs hur du gör.

===Att skapa nya projekt i LysCVS och LSVN===

LysCVS / LSVN bygger på konceptet projekt, som kan vara av typen cvs eller svn.
Varje cvs-projekt har en egen CVSROOT och kan ha flera CVS-moduler.
Det går bra att ha samma namn på en modul och projektet som modulen tillhör.

Peka din webläsare på https://admin.lysator.liu.se/
och logga in med ditt vanliga Lysatorlogin och -lösen. Klicka på LysCVS/LSVN så får du upp
en huvudsida där du kan se vilka projekt du är medlem i och/eller
administratör för.

För att skapa ett nytt projekt använder du menyalternativet "New
Project" i menyn till vänster. Välj om du vill använda cvs, eller det nyare svn.
Skriv vad du vill att ditt projekt ska
heta, och tryck på knappen märkt "Create!". Ditt projekt är nu skapat.

'''OBSERVERA att det tar en stund, i nuläget maximalt en kvart, innan
ditt projekt går att använda'''

====Att börja använda det nyligen skapade projektet (cvs)====

Enklast är att använda <code>cvs import</code>. Säg att du nyss har
skapat projektet ''foo'' i lysCVS. Vidare har du ett gäng filer som
ska finnas i foo, de existerar i katalogen ''/home/xyzzy/bar''. Du
vill att filerna ska hamna i katalogen ''gazonk'' under cvsrooten
för ''foo'' I så fall gör du ungefär såhär:
<pre>
$ cd /home/xyzzy/bar
$ export CVS_RSH=ssh
$ cvs -d <username>@cvs.lysator.liu.se:/cvsroot/foo import gazonk <username> start;
</pre>

De två sista argumenten är egentligen ''vendor'' och ''tag'', så
du kan hitta på nått bättre än ditt användarnamn och "start" om du så
önskar.

Nu kan du, från en annan katalog, checka ut dina filer med <pre>
cvs -d <username>@cvs.lysator.liu.se:/cvsroot/foo co gazonk
</pre>

====Att börja använda det nyligen skapade projektet (svn)====
Protokollet som stöds heter svn+ssh.
'''OBS: Det sägs vara normalt att behöva ange lösenord flera gånger i rad (ungefär 3) med svn+ssh'''

Kör
svn co svn+ssh://<username>@lsvn.lysator.liu.se/svnroot/<projektnamn>
för att checka ut ditt projekt.
Ta reda på mer om svn med
svn help
eller leta upp dokumentationen på oebben.

===Att lägga till nya användare i ett projekt===

För att möjliggöra '''skrivaccess''' för andra än dig själv lägger du
till användare till dina projekt.

Gå till huvudsidan och klicka på länken märkt "administrate" för det
projekt du vill lägga till en användare till. Skriv mailadressen för
användaren i rutan, och tryck "Add".

Om det är en Lysatoranvändare du lägger till är det inget mer du
behöver göra, för då finns redan alla uppgifter i NIS. Om det är en
extern (icke-Lysit) du vill lägga till får du fylla i riktigt namn och
användarnamn på personen ifråga. '''OBSERVERA att användarnamnet måste
börja på ''_cvs_''. Detta för att skydda Lysators
namnrymd'''. Den externa personen får ett mail med instruktioner om
inloggningsnamn och lösenord - ett automatgenererat lösenord som är
fult som stryk.

'''Även här tar det en kvart innan användaren kan använda cvs över
ssh.''' Däremot kan hen logga in i cvsadministrationssystemet, exempelvis
för att byta lösenord eller lägga till SSH-nycklar.

===Att ta bort användare i ett projekt===
Gå in på administrationssidan för ett projekt och tryck på
"Remove"-knappen för den användare du inte vill ha kvar i ditt
projekt. Användaren kan nu inte längre skriva eller läsa
repositoryt. Däremot finns användaren kvar i systemet, så du kan
enkelt lägga till henom igen.

'''OBSERVERA att det går utmärkt att ta bort sig själv, och då blir
det svårt...'''

===Att bestämma vem som får administrera ett projekt===
Du kan låta andra (även externa användare) bestämma vem som får lägga
till/ta bort användare och huruvida projektet finns tillgängligt
anonymt. Gå in på administrationssidan för projektet och tryck på "toggle
administration rights" för personen.

===Att tillåta/otillåta anonym access till projektet===
På administrationssidan för projektet finns en toggle-knapp för att
bestämma om det ska gå att komma åt projektet med pserver anonymt. Om
så är fallet visas den CVSROOT som ska användas i så fall, vilket kommer att vara <tt>:pserver:anonymous@cvs.lysator.liu.se:/cvsroot/<projekt></tt>.

Med pserver måste man logga in först - det gör man med ett tomt
lösenord (enter vid lösenordsfrågan, liksom).

'''OBSERVERA att det tar en kvart innan projektet är åtkomligt
anonymt'''. Däremot blir projektet oåtkomligt så fort du togglar
tillbaka. Fråga inte.

===Att tillåta/otillåta webaccess till projektet===
Liksom du kan bestämma om projektet ska vara anonymt åtkombart med
pserver så kan du bestämma om projektet ska vara åtkombart med
ViewCVS, en web-cvs-frontända. Det gör du genom att toggla knappen för
"ViewCVS access". Ändringen får omedelbar effekt.

===Att lägga till SSH-nycklar===

Det är rätt tradigt att behöva skriva in sitt lösenord var gång man
ska utföra ett cvs-kommando. Därför användar man med fördel
ssh-nycklar, gärna i kombination med ssh-agent. För att se hur man gör
detta på Lysator läs [[SSH]].

Eftersom du varken som vanlig användare eller extern dito kommer åt
CVS-burken med ett vanligt skal läggs sådana nycklar till genom att
välja "Edit SSH keys" och klistra in de nycklar du vill ha. Servern
stödjer enbart ssh v2.

Anledningen till att även Lysatoranvändare måste lägga till sina
nycklar på detta sätt är att CVS-servern av säkerhetsskäl ej monterar
Lysators vanliga NFS-namnrymd.

'''Även här tar det en kvart innan du kan logga in med din nyckel'''.

Ett annat sätt att slippa skriva lösenord varje gång är att använda [http://www.lysator.liu.se/~nisse Niels Möllers]
[http://www.lysator.liu.se/~nisse/lsh lsh] i
"Gateway-mode". Dvs, på din dator exekverar du
<pre>
lsh -G -N -l <användarnamn> cvs.lysator.liu.se
</pre>
och skriver in ditt lösenord. Sen sätter du miljövariabeln CVS_RSH
till "lshg". Klart!

===Logga ut===

Hur svårt kan det vara? :-)

Du blir automatiskt utloggad om du inte gör någonting på en kvart.

===Att överföra gamla repositories===

Jodå, det går. Fast inte utan interaktion av en root. Skapa först projektet i lysCVS. Packa sedan ihop ditt repository i en tarboll och tala om var den finns för rötterna så ska vi nog kunna ordna den saken.

===Framtida planer===

Umm.. Inga direkta just nu. Kom gärna med förslag!

===Information om systemet===
LysCVS består av en kombination av vanligt förekommande fri programvara samt ett gäng lokalt utvecklade hack. Bland annat används:

*[http://httpd.apache.org Apache]
*[http://www.mysql.com MySQL]
*[http://www.modpython.org mod_python]
*[http://www.cvshome.org CVS]
*[http://sourceforge.net/projects/nss-mysql nss_mysql]
*[http://viewcvs.sourceforge.net/ ViewCVS]
*[http://www.postfix.org/ Postfix]
*[http://www.mozilla.org/projects/bugzilla/ Bugzilla]

Den lokalt utvecklade programvaran är mestadels utvecklad av [http://www.lysator.liu.se/~forsberg/ Erik Forsberg] och finns att hämta [http://www.lysator.liu.se/~forsberg/hacks/lyscvs här].

LYSrdiff:Flytta källa

2008-06-05T06:59:38Z

Ceder: Nämn origin-filerna.

== Flytta källa ==

Om det man tar backup av flyttat från ett ställe till ett annat, gör man så här:

* [[Lysrdiff:källkod]] Checka ut källkoden.
* [[Lysrdiff:fetch-backup-work]] Editera scriptet som skapar <tt>var/tasks</tt> så att det står rätt saker där.
* [[Lysrdiff:avsluta]] Se till att inga backuper körs.
* [[Lysrdiff:installera]] Installera ditt ändrade script.
* [[Lysrdiff:hämta jobb]] Kör det ändrade scriptet.
* [[Lysrdiff:starta]] Sätt igång backuperna igen.

Fast det räcker inte riktigt. LYSrdiff kommer att klaga på att origin-filerna (t ex /lysrdiff/1/perm/0/lysrdiff/backups/home/ceder/origin) inte stämmer med tasks-filen. Det problemet löser man genom att antingen editera origin-filerna, eller helt enkelt plocka bort dem.

[[Kategori:Lysrdiff]]

Lysrdiff:hämta jobb

2008-06-05T06:56:10Z

Ceder: Markup-fix

== Hämta och distribuera jobb ==

För att skapa om filen /opt/LYSrdiff/var/tasks kör man det script som används för att skapa den (se [[Lysrdiff:fetch-backup-work]]). På Lysator görs det så här:

# fetch-backup-work

På Ryttargårdskyrkan används ett annat script:

# fetch-work-pcfritz

För att ändringen ska slå igenom måste man fördela jobben på backuppartitionerna. Det här styrs av filen /opt/LYSrdiff/var/newtasks, som ska innehålle namnet på den partition där nya jobb ska hamna. Så här kan det se ut:

# cat /opt/LYSrdiff/var/newtasks
2/1

Se till att den partition som har mest ledig plats nämns i newtasks. Kör sedan detta kommando för att distribuera ut jobben:

# distribute-tasks -i 1/0 1/1 2/0 2/1

Flaggan -i anger att det är en interaktiv körning. Om någon källa kan ha ändrat på sig (om man flyttat saker från dator A till dator B t ex) måste man räkna upp alla partitioner som kan innehålla backuper från den källan. Annars räcker det att räkna upp den partition som nämns i newtasks.

[[Kategori:Lysrdiff]]

Lysrdiff:starta

2008-06-05T06:55:11Z

Ceder: Kategori

På Lysator kör vi LYSrdiff i en screen på [[shafan]] som root. För att starta systemet:

* Kolla om det finns en screen som kör som root. Attacha den. Starta annars en ny.
* Se till att /opt/LYSrdiff/bin finns i $PATH.
* Kör nedanstående kommandon i var sitt fönster.

backup-repeatedly --start-time 06:00 1/0 1/1 2/0 2/1
lysrdiff-monitord.py

[[Kategori:Lysrdiff]]

Lysrdiff:installera

2008-06-05T06:53:04Z

Ceder: Kategori

För att installera LYSrdiff är det bara att [[Lysrdiff:källkod|hämta källkoden]] och köra detta kommando.

make install

Om det är en ny installation måste man även konfigurera systemet. Mer om det en annan dag. :-)

[[Kategori:Lysrdiff]]

Lysrdiff:avsluta

2008-06-05T06:52:18Z

Ceder: Kategori

Ibland behöver man avsluta LYSrdiff, t ex för att man vill flytta backupjobb från en full disk till en ny. LYSrdiff körs under en screen som root. Det finns flera sätt att avsluta LYSrdiff.

=== Kör klart allt ===

För att låta alla backupjobb köras klart, och sedan avsluta backup-repeatedly, så kan man skapa en flaggfil. Det här är det snällaste sättet att avsluta Lysrdiff.

touch /opt/LYSrdiff/etc/finish

=== Kör klart aktuellt jobb ===

För att köra klart aktuellt jobb, och sedan avsluta backup-all och backup-repeatedly, så kan man skapa en annan flaggfil. Det här är ett bra sätt att avsluta LYSrdiff om man har lite mer bråttom. Men kolla gärna först hur mycket LYSrdiff har kvar att göra -- det är onödigt att ta till den här metoden om det bara blir tre jobb kvar...

touch /opt/LYSrdiff/etc/stop

=== Ta en paus efter aktuellt jobb ===

Ibland behöver man inte avsluta LYSrdiff. Det räcker att systemet tar en paus. I pausen kan man t ex byta klon-diskar eller installera en ny version av backup-one-task (men inte backup-all!).

touch /opt/LYSrdiff/etc/hold

När filen tas bort kommer systemet att börja jobba igen.

=== Avbryt nu ===

Om det är riktigt bråttom kan man attacha roots screen och trycka Ctrl-C. Den aktuella backupen misslyckas, och man kan behöva städa upp några låsfiler som LYSrdiff lämnar efter sig, men det är ingen katastrof att göra så här. rdiff-backup upptäcker att den blivit avbruten och fixar till det hela. Undvik dock att avbryta en kloning till en annan disk, för resultatet av det kan bli en klon som rdiff-backup inte kan återställa. (Det fixar sig dock automatiskt nästa gång det tas backup av det jobbet.)

[[Kategori:Lysrdiff]]

Lysrdiff:fetch-backup-work

2008-06-05T06:51:43Z

Ceder: Kategori

En central del av LYSrdiff är de script som avgör vad det ska tas backup av. Varje installation av LYSrdiff behöver ett eget sådant script. Dess uppgift är att skapa filen /opt/LYSrdiff/var/tasks, som ska innehålla en rad för varje sak det ska tas backup av. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

För Lysators del är det scriptet fetch-backup-work som skapar den här filen. fetch-backup-work måste man köra manuellt, lämpligtvis inte som root, men med ssh-agent igång så att man slipper knappa in sin lösenord så många gånger. Läs och förstå scriptets struktur innan du kör det! När du får upp en confirm-prompt ska du kolla att diffen är rimlig innan du trycker på return. Avbryt med ctrl-c om något gått snett.

[[Kategori:Lysrdiff]]

Lysrdiff:källkod

2008-06-05T06:50:56Z

Ceder: Kategori.

== Lysrdiffs källkod ==

Lysrdiffs källkod hanteras av [http://subversion.tigris.org/ Subversion]. Källkoden finns i [[CVS och SVN|Lysators LSVN]]. Den kan checkas ut anonymt med:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För att få commit-rättigheter kontaktar du ceder. Sedan kan du checka ut den med:

svn co svn+ssh://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

== Scripts ==

LYSrdiff består av flera scripts, som kan delas in i olika kategorier.

=== Ta backup ===

* [[Lysrdiff:backup-one-task]] Ta backup av ett jobb.
* [[Lysrdiff:backup-all]] Ta backup av alla jobb, ett i taget.
* [[Lysrdiff:backup-repeatedly]] Kör backup-all upprepade gånger.

=== Konfigurera vad det tas backup av ===

* [[Lysrdiff:fetch-backup-work]] Skapa <tt>var/tasks</tt> för Lysator.
* [[Lysrdiff:fetch-work-pcfritz]] Skapa <tt>var/tasks</tt> för Ryttargårdskyrkan.
* [[Lysrdiff:distribute-tasks]] Fördela <tt>var/tasks</tt> till de olika partitionerna.

=== Se status ===

* [[Lysrdiff:lysrdiff-status]] Visa status.
* [[Lysrdiff:lysrdiff-df]] Kör "df" på LYSrdiff-diskarna.
* [[Lysrdiff:lysrdiff-monitord.py]] Statusdemon. Om denna kör kan man koppla upp sig med "telnet shafan 9934" för att se vad som händer.
* [[Lysrdiff:lysrdiff-set-status.py]] Hjälpprogram som används av backup-one-task för att berätta för monitord vad som händer.

=== Administrera LYSrdiff ===

* [[Lysrdiff:lysrdiff-clone-tasks]] Klona den disk-specifika tasks-filen till klondisk.
* [[Lysrdiff:lysrdiff-label-disk]] Förbered en ny disk för användning av LYSrdiff.
* [[Lysrdiff:lysrdiff-move-job]] Flytta ett jobb från en disk till en annan.
* [[Lysrdiff:lysrdiff-move-many]] Flytta många jobb.
* [[Lysrdiff:lysrdiff-move-obsolete]] Flytta jobb som inte längre finns.

=== Hitta diskskurkar ===

* [[Lysrdiff:lysrdiff-sizechange.py]] Lista vilka partitioner som ändrat storlek mest i senaste backupen.

[[Kategori:Lysrdiff]]

LYSrdiff:Flytta källa

2008-06-05T06:50:28Z

Ceder: Kategori

Lysrdiff:Backupdisk

2008-06-05T06:49:54Z

Ceder: Kategori

== Backupdisk: namngivning ==

Backuperna i Lysrdiff är uppdelade i tusentals småjobb. Ett backupjobb är att ta backup av ceders hemkatalog, ett annat att ta backup av ceders mailspool, ett tredje att ta backup av rootfilsystemet på shafan.

Backuperna lagras på USB-diskar. För tillfället använder vi två logiska diskar, som heter 1 respektive 2.

Varje logisk disk partitioneras i ca 250 GB stora delar. De ges namn efter diskens nummer följt av partitionens nummer. Eftersom de nuvarande diskarna är 500 GB stora får vi fyra partitioner: 1/0, 1/1, 2/0 och 2/1.

Varje disk finns i tre exemplar: en permanent monterad disk (perm), och två kloner (A och B). För att namnge en fysisk disk anger man disknumret och rollen: 1/perm, 1/A, 1/B, 2/perm, 2/A och 2/B.

Det här ger oss en hel massa fysiska partitioner. I skrivande stund finns 1/perm/0, 1/perm/1, 1/A/0, 1/A/1, 1/B/0, 1/B/1, 2/perm/0, 2/perm/1, 2/A/0, 2/A/1, 2/B/0 och 2/B/1.

== Uppstart av shafan ==

För att starta shafan efter t ex ett strömavbrott måste man fysiskt gå till FOO-hallen och starta USB-diskarna. Tyvärr går de inte igång av sig själva efter ett strömavbrott.

När det är gjort och shafan är igång kan man montera dem, t ex med detta kommando:

for d in 1 2; do for p in 0 1; do for c in perm A B ; do mount /lysrdiff/$d/$c/$p; done; done; done

Om inte alla 6 diskar är inkopplade kommer man att få några felmeddelanden som man kan ignorera. Se vilka diskar som blev monterade med:

lysrdiff-df

[[Kategori:Lysrdiff]]

Lysrdiff:main

2008-06-05T06:49:23Z

Ceder: Kategori.

== LYSrdiff ==

LYSrdiff är ett backupsystem framtaget av Lysator, som används av Lysator och Ryttargårdskyrkan. I grunden använder det [http://www.nongnu.org/rdiff-backup/ rdiff-backup]. LYSrdiff är ett skal ovanpå rdiff-backup, som håller reda på alla backupjobb.

== Recept ==

* [[Lysrdiff:Backupdisk|Backupdisk]]: Hur backuperna lagras, och hur man administrerar diskarna.
* [[LYSrdiff:Flytta källa|Flytta källa]]: Hur man gör om man flyttat saker man tar backup av från en server till en annan.

[[Kategori:Lysrdiff]]

Kategori:Lysrdiff

2008-06-05T06:48:54Z

Ceder:

Dokumentation om LYSrdiff. [[Lysrdiff:main]] är startsidan.

Lysrdiff:hämta jobb

2008-06-05T06:48:12Z

Ceder: Markup-fix

== Hämta och distribuera jobb ==

För att skapa om filen /opt/LYSrdiff/var/tasks kör man det script som används för att skapa den (se [Lysrdiff:fetch-backup-work]). På Lysator görs det så här:

# fetch-backup-work

På Ryttargårdskyrkan används ett annat script:

# fetch-work-pcfritz

För att ändringen ska slå igenom måste man fördela jobben på backuppartitionerna. Det här styrs av filen /opt/LYSrdiff/var/newtasks, som ska innehålle namnet på den partition där nya jobb ska hamna. Så här kan det se ut:

# cat /opt/LYSrdiff/var/newtasks
2/1

Se till att den partition som har mest ledig plats nämns i newtasks. Kör sedan detta kommando för att distribuera ut jobben:

# distribute-tasks -i 1/0 1/1 2/0 2/1

Flaggan -i anger att det är en interaktiv körning. Om någon källa kan ha ändrat på sig (om man flyttat saker från dator A till dator B t ex) måste man räkna upp alla partitioner som kan innehålla backuper från den källan. Annars räcker det att räkna upp den partition som nämns i newtasks.

[[Kategori:Lysrdiff]]

Lysrdiff:hämta jobb

2008-06-05T06:47:37Z

Ceder: Nämn distribute-tasks.

LYSrdiff:Flytta källa

2008-06-05T06:39:21Z

Ceder: Stavfel fixat

Lysrdiff:Backupdisk

2008-06-03T09:05:44Z

Ceder: Skriv lite om diskarna.

Lysrdiff:main

2008-06-03T08:56:22Z

Ceder: typo

Lysrdiff:main

2008-06-03T08:55:10Z

Ceder: Skapade backupdisklänk.

== LYSrdiff ==

LYSrdiff är ett backupsystem framtaget av Lysator, som används av Lysator och Ryttargårdskyrkan. I grunden använder det [http://www.nongnu.org/rdiff-backup/ rdiff-backup]. LYSrdiff är ett skal ovanpå rdiff-backup, som håller reda på alla backupjobb.

== Recept ==

* [[LYSrdiff:Backupdisk|Backupdisk]]: Hur backuperna lagras, och hur man administrerar diskarna.
* [[LYSrdiff:Flytta källa|Flytta källa]]: Hur man gör om man flyttat saker man tar backup av från en server till en annan.

Lysrdiff:starta

2008-06-02T07:33:14Z

Ceder: Dokumentera hur man startar LYSrdiff.

Lysrdiff:installera

2008-06-02T07:30:03Z

Ceder: make install

Lysrdiff:avsluta

2008-06-02T07:27:43Z

Ceder: Lista olika sätt att stoppa LYSrdiff.

Lysrdiff:fetch-backup-work

2008-06-02T07:11:03Z

Ceder: Indenteringsfel.

Lysrdiff:fetch-backup-work

2008-06-02T07:10:36Z

Ceder: Dokumentera fetch-backup-work.

Lysrdiff:main

2008-06-02T07:05:35Z

Ceder: Lysrdiff moved to Lysrdiff:main

== LYSrdiff ==

LYSrdiff är ett backupsystem framtaget av Lysator, som används av Lysator och Ryttargårdskyrkan. I grunden använder det [http://www.nongnu.org/rdiff-backup/ rdiff-backup]. LYSrdiff är ett skal ovanpå rdiff-backup, som håller reda på alla backupjobb.

== Recept ==

* [[LYSrdiff:Flytta källa|Flytta källa]]: Hur man gör om man flyttat saker man tar backup av från en server till en annan.

Lysrdiff:källkod

2008-06-02T07:02:48Z

Ceder: Räkna upp alla program, och hur man checkar ut dem.

LYSrdiff:Flytta källa

2008-06-02T06:33:51Z

Ceder: Steg-för-steg-beskrivning.

Lysrdiff:main

2008-06-02T06:27:28Z

Ceder: Start. Länk till Flytta källa.

== LYSrdiff ==

LYSrdiff är ett backupsystem framtaget av Lysator, som används av Lysator och Ryttargårdskyrkan. I grunden använder det [http://www.nongnu.org/rdiff-backup/ rdiff-backup]. LYSrdiff är ett skal ovanpå rdiff-backup, som håller reda på alla backupjobb.

== Recept ==

* [[LYSrdiff:Flytta källa|Flytta källa]]: Hur man gör om man flyttat saker man tar backup av från en server till en annan.

Rootmanual:lysrdiff

2008-06-02T06:15:27Z

Ceder: Nämn shafan och backup-repeatedly.

[[Kategori:Rootmanual|lysrdiff]]
== Lathund ==

<ul>
<li>Sätta PATH så LYSrdiff-prylarna finns med: <code>
PATH=/opt/LYSrdiff/bin:$PATH
 </code>
<li>Skapa ny lista av backupjobb som ska köras: <code>
fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /opt/LYSrdiff/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

Lysdridff är installerat under /opt/LYSrdiff på backupservern (för tillfället [[shafan]]).

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb. backup-repeatedly loopar över alla backupjobb om och om igen.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna
* quota1: användarkataloger i /home/quota1.

=== Status ===

Backup tas manuellt ca en gång per dygn. Det tar ca 8 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Rootmanual:lysrdiff

2008-06-02T06:11:34Z

Ceder: Typo

[[Kategori:Rootmanual|lysrdiff]]
== Lathund ==

<ul>
<li>Sätta PATH så LYSrdiff-prylarna finns med: <code>
PATH=/opt/LYSrdiff/bin:$PATH
 </code>
<li>Skapa ny lista av backupjobb som ska köras: <code>
fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /opt/LYSrdiff/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För tillfället finns lysrdiff installerat under /nobackup/backup.lysator. I framtiden kommer det nog att ligga under /opt/LYSrdiff i stället.

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna
* quota1: användarkataloger i /home/quota1.

=== Status ===

Backup tas manuellt ca en gång per dygn. Det tar ca 8 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Rootmanual:lysrdiff

2008-06-02T06:11:14Z

Ceder: Fixa PATH

[[Kategori:Rootmanual|lysrdiff]]
== Lathund ==

<ul>
<li>Sätta PATH så LYSrdiff-prylarna finns med: <code
PATH=/opt/LYSrdiff/bin:$PATH
 </code>
<li>Skapa ny lista av backupjobb som ska köras: <code>
fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /opt/LYSrdiff/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För tillfället finns lysrdiff installerat under /nobackup/backup.lysator. I framtiden kommer det nog att ligga under /opt/LYSrdiff i stället.

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna
* quota1: användarkataloger i /home/quota1.

=== Status ===

Backup tas manuellt ca en gång per dygn. Det tar ca 8 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Rootmanual

2008-06-02T06:08:49Z

Ceder: LYSrdiff är inte längre under uppbyggnad, utan i skarp drift.

[[Kategori:Rootmanual]]
__NOTOC__
Här finns lite artiklar med saker en root skulle kunna tänkas göra:

==Snabbmanualer för olika Unixar==
* [[Rootmanual:Snabbmanual_för_Gentoo_Linux | Gentoo Linux]]
* [[Rootmanual:Snabbmanual_för_FreeBSD | FreeBSD]]
* [[Rootmanual:Snabbmanual_för_FreeBSD | OpenBSD]]
* [[Rootmanual:Snabbmanual_för_Solaris | Solaris ]]

==Datorhandboken==
* [[Datorhandbok:Mallar|Mallar att använda på olika sidor på Datorhandboken.]]
* [[Datorhandbok:Dokumentera en dator|Att dokumentera en dator i Datorhandboken.]]

== Användarhantering ==
* [[Rootmanual:Skapa Användare | Skapa Användare]]
* [[Rootmanual:Ta bort en användare | Ta bort en användare]]
* [[Rootmanual:Byta login | Byta login för användare]]
* [[Rootmanual:Grupper i Unix | Grupper]]
** [[Rootmanual:Gruppen pkg | pkg]]
* [[Rootmanual:Kerberoshantering | Kerberoshantering]]
** [[Rootmanual:Byta lösenord | Byta lösenord för användare]]
** [[Rootmanual:Ta bort password expire | Ta bort password expire]]
** [[Rootmanual:Kerberoshantering | Fixa expire på /admin principal]]
* [[Rootmanual:Blandat Användare | Blandat om användarhantering]]
* [[Rootmanual:Policies Användare | Policies för Användarhantering]]

=== Roothantering ===
* [[Rootmanual:Hantera root rättigheter | Hantera root-rättigheter]]
** [[Rootmanual:Skapa root | Skapa root]]
** [[Rootmanual:Ta bort root | Ta bort root]]

== FOO-relaterat ==
* [[Rootmanual:Vad är kopplat på Hydrorna | Vad är kopplat på Hydrorna]]
* [[Rootmanual:Ange portar | Ange portar på hydrorna ]]
* [[Rootmanual:Färger på TP-sladd | Standard för färger på TP-sladdar ]]
* [[Rootmanual:KVM switchar | Hur fungerar KVM-switcharna]]
* [[Rootmanual:Passerkort FOO | Passerkort för att komma in i FOO]]
* [[Rootmanual:Nätverksstyrda strömbrytare | Nätverksstyrda strömbrytare]] som kan strömcykla [[Manhattan]]

== Olika System ==

=== Epost-relaterat ===
* [[Rootmanual:Konvertera smartlist till Mailman | Konvertera smartlist till Mailman]]
* [[Rootmanual:Uppdatera komimportmail | Uppdatera komimportmail]]
* [[Rootmanual:Uppdatera Mailman | Uppdatera Mailman]]
* [[Rootmanual:Grålistning:Vitlistning | Vitlista IP-adresser]] för att ta sig förbi grålistningen
* [[Rootmanual:Ändra alias | Ändra aliasen]] för @lysator.liu.se

=== LysCVS och LSVN ===
* [[Rootmanual:Importera gamla cvsprojekt till LysCVS|Importera gamla cvsprojekt till LysCVS]]
* [[Rootmanual:Importera gamla cvsprojekt till LSVN|Importera gamla cvsprojekt till LSVN]]

=== Solaris ===
* [[Rootmanual:A3500 | Konfigurera A3500-RAID-programvaran på Solaris 10 ]]
* [[Rootmanual:QLA2100 | Konfigura Qlogic QLA2100 HBA-devicedrivern på Solaris 10 ]]
* [[Rootmanual:ZFS | Konfigurationstips för ZFS ]]
* [[Rootmanual:SolarisZones | Solaris Zones]]

=== FibreChannel ===
* [[Rootmanual:FC | Allmänt om FibreChannel ]]
* [[Rootmanual:Brocade2400 | Konfigura Brocade 2400/Compaq SAN Switch 8 ]]

=== www ===
* [[Rootmanual:Webservern | Lysators Webserver ]]
* [[Rootmanual:Uppgradera_nginx | Uppgradera nginx ]]

== Backup ==

Lysator kör (mer eller mindre) flera parallella backupsystem.

* [[Rootmanual:lysrdiff | LYSrdiff]] - rdiff-backup till USB-diskar.
* [[Backup HOWTO | Bacula]] - ibland är vår Baculainstallation igång. Fast oftast inte.
* [[Rootmanual:rsync-speglar | rsync-speglar]] - saker speglas kors och tvärs.
* [[Rootmanual:rsync-sunky | rsync till sunky.ifm]] - att spegla mer till sunky.

== Blandat ==
* [[Rootmanual:Lysatorfiera en dator | Lysatorfiera en dator]]
* [[Rootmanual:Installera Solaris på en ny dator | Installera Solaris på en ny dator]]
* [[Rootmanual:Övertyga en SUN att prata serieport | Övertyga en SUN att prata serieport, även om den har tangentbord]]
* [[Rootmanual:Patchning | Patchning]]
* [[Rootmanual:Cfengine | Cfengine ]]
* [[Rootmanual:Ta upp och ner LysLysKOM | Ta upp och ner LysLysKOM ]]
* [[Rootmanual:Blandat YP och DNS | Blandat om YP och DNS ]]
* [[Rootmanual:Webware | Webware]]
** [[Rootmanual:Inventarieregistret | Inventarieregistret]]
* [[Rootmanual:OID | OID]]
* [[Rootmanual:Nagios | Nagios]] - ändra konfiguration
* [[Rootmanual:NRPE | Installera NRPE]]
* [[Rootmanual:Bittorrent | Installera Lysators Bittorrent-tracker ]]
* [[Rootmanual:ATX-kragg | Få ström ur ett ATX-kragg ]]
* [[Rootmanual:Enodia | Enodia ]]

== Inventarieregistret ==
Inventarieregistret nås på [https://webware.lysator.liu.se/lysinv/ https://webware.lysator.liu.se/lysinv/].

Använd ditt vanliga kontonamn och lösenord. Rötter och styrelsemedlemmar har access till
inventarieregistret när det fungerar.

Ospace

2008-02-15T06:19:15Z

Ceder: Fixade stavfel av rubriken Statistik

Ospace (outer space) körs för tillfället på cobra från larlins hemkatalog. Om intresset kvarstår i framtiden så kommer jag(larlin) försöka flytta det till en lämpligare server.

== Anslut till Lysators server ==

För att ansluta till Lysators ospace server gör följande:
* Ladda ner klienten från ospaces [http://www.ospace.net/ hemsida].
* Installera och starta klienten en gång.
* Avsluta klienten.
* I var/osci.ini i spelets installations katalog, så sätt server = cobra.lysator.liu.se:9080 under [game].
* Starta klienten och skapa en användare som vanligt.

== Statistik ==

Här är [http://cobra.lysator.liu.se:9080/Alpha/galaxy10000.html statistik]

== Ospace på Lysator ==

Servern körs för närvarande i en screen på Cobra från larlins hemkatalog, ett cron script ser till att servern tickar framåt varje hel timme. I framtiden om intresset kvarstår så planeras den att flyttas till en lämpligare server. Den nuvarande situationen kan alltså betraktas som ett test av stabilitet och intresse.

LYSrdiff

2007-07-09T12:04:24Z

Ceder: Tog bort extra mellanslag i exemplet för .lysrdiff-exclude-filen.

== LYSrdiff -- diskbaserad backup ==

Under oktober 2006 införde Lysator backup av diverse system till disk. Backupen tas med hjälp av [http://rdiff-backup.nongnu.org/ rdiff-backup]. Ett antal wrapperscripts hjälper till att hålla ordning på backupen. Backupsystemet kallas LYSrdiff.

I [[Rootmanual:lysrdiff]] finns mer tekniska detaljer för den som är intresserad.

== Hoppa över filer ==

Du kan instruera backupsystemet att inte ta backup av vissa filer genom att skapa en fil med namnet '''.lysrdiff-exclude''' i din hemkatalog. Ett exempel:

+ download/index.html
- download
- tmp
- *.txt
- **.o
- **/core

Den här filen betyder:

*Ta backup av '''download/index.html'''
*Hoppa över allt annat i '''download'''
*Hoppa över allt i '''tmp'''
*Hoppa över alla filer i din hemkatalog som slutar på '''.txt'''. (Om filerna ligger i en underkatalog kommer det ändå att tas backup av dem.)
*Hoppa över alla filer som slutar på '''.o''', även om de ligger i en underkatalog till en underkatalog till en...
*Hoppa över alla core-filer.
*Ta backup av alla andra filer.

De wildcards som kan användas är:
*'''*''': matchar alla tecken utom '''/'''
*'''**''': matchar alla tecken, även '''/'''
*'''[...]''': matchar en förekomst av de tecken som anges inom klammrarna. Man kan ange intervall.
*'''?''': matchar vilket tecken som helst utom '''/'''

Det första tecknet ska vara '''+''' för filer som ska tas med, och '''-''' för filer som ska hoppas över. Sedan ska det finnas exakt ett mellanslag, och därefter filnamn enligt ovan. Filer som inte matchar någon av raderna kommer det att tas backup av.

Om du skriver något fel i den här filen kommer root att kontakta dig och berätta vad du gjort fel. Det kan alltså vara smart att kolla din mail några dagar efter att du ändrat i filen.

== Återläsning av filer ==

För tillfället måste du kontakta root om du vill hämta ut något ur backupen. När du gör det är det bra om du har följande uppgifter till hands:

*Vad du vill få tillbakaläst. Om du har ett komplett filnamn är det bäst. Annars hjälper det ju mer du kan säga för att identifiera rätt fil.
*Vilken tidpunkt du vill ha tillbaka den från. Om du vet att du råkade ta bort filen ett visst klockslag, så säg det. Ju bättre du kan tidsbestämma det, desto bättre är det. Du kan säga "så ny som möjligt".
*Vart de ska läggas. Om du inte säger något kan det hända att de hamnar i en ny katalog, eller att de skriver över filer med samma namn som du har, beroende på vilket humör root är på.

== Status ==

Just nu finns det inget sätt att se status på backuperna. Det kommer förhoppningsvis att fixas innan februari 2007.

Rootmanual:lysrdiff

2007-05-25T07:26:08Z

Ceder: Ny kategori: quota1.

== Lathund ==

<ul>
<li>Skapa ny lista av backupjobb som ska köras: <code>
/opt/LYSrdiff/bin/fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
/opt/LYSrdiff/bin/distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
/nobackup/backup.lysator/bin/backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /usr/local/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>/opt/LYSrdiff/bin/lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För tillfället finns lysrdiff installerat under /nobackup/backup.lysator. I framtiden kommer det nog att ligga under /opt/LYSrdiff i stället.

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna
* quota1: användarkataloger i /home/quota1.

=== Status ===

Backup tas manuellt ca en gång per dygn. Det tar ca 8 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Rootmanual:lysrdiff

2007-05-25T07:25:27Z

Ceder: Backupen går fortare nu. Det tas backup av all mail.

== Lathund ==

<ul>
<li>Skapa ny lista av backupjobb som ska köras: <code>
/opt/LYSrdiff/bin/fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
/opt/LYSrdiff/bin/distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
/nobackup/backup.lysator/bin/backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /usr/local/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>/opt/LYSrdiff/bin/lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För tillfället finns lysrdiff installerat under /nobackup/backup.lysator. I framtiden kommer det nog att ligga under /opt/LYSrdiff i stället.

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna

=== Status ===

Backup tas manuellt ca en gång per dygn. Det tar ca 8 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Rootmanual:lysrdiff

2007-05-25T07:24:07Z

Ceder: Uppdaterad.

== Lathund ==

<ul>
<li>Skapa ny lista av backupjobb som ska köras: <code>
/opt/LYSrdiff/bin/fetch-backup-work
 </code>
<li>Distribuera ut nya backupjobb på backuppartitionerna: <code>
/opt/LYSrdiff/bin/distribute -i 1/0 1/1 2/0 2/1
 </code>
<li>Köra alla jobb som hör till vissa partitioner: <code>
/nobackup/backup.lysator/bin/backup-all 1/0 1/1 2/0 2/1
</code>
<li>Läsa tillbaka den nyaste backupen av calles hemkatalog: 
<code>rdiff-backup --force -r 0B --null-separator \ 
--remote-schema 'ssh -a -k -x -i /root/.ssh/backupkey %s /usr/local/bin/rdiff-backup --server' \ 
/lysrdiff/0/perm/lysrdiff/backups/home/calle/files home::/export/home/calle
</code> Flaggan <code>--force</code> behövs om katalogen redan finns.
<li>Se status: 
<code>/opt/LYSrdiff/bin/lysrdiff-status</code>
</ul>

== Bakgrund ==

Lysator har haft många backupsystem genom åren. En gemensam faktor är att de varit bandbaserade. En annan gemensam faktor är att banden och/eller bandarna strulat.

De två senaste backupsystemen har använt komplexa programvaror: Legato Networker och Bacula. Legato Networker kostar pengar. Lysator använde en begagnad licens till en gammal version av programvaran. Den fungerade inte så bra när man skulle läsa tillbaka ett stort filträd. Det tog timmar bara att bygga upp indexet. Det kunde dröja en dag innan man upptäckte att bandet var trasigt, så att man inte kunde läsa tillbaka sin backup.

Bacula är fri programvara. Det kostar utvecklingstid, ty det har fortfarande många barnsjukdomar. Det är precis som Networker väldigt långsamt när det ska läsa tillbaka filer.

Disk blir bara billigare och billigare. Det är numera ekonomiskt försvarbart att ta backup till disk. Tack vare billiga USB-diskar kan man till och med använda disk för off-site-backup.

I oktober 2006 hade Lysator varit utan fungerande backup ett tag. (Några ad-hoc-rsync-speglingar gjordes, så situationen var inte helt akut, men ändå inte acceptabel.) Ett förslag om att Lysator skulle investera drygt 35000 kronor på ett Linux-RAID-system för att köra TSM (en proprietär backuplösning) lades fram. Några stofilrötter tyckte det var för mycket pengar att lägga på ett system, som de trodde hade stora möjligheter att misslyckas. Och ceder trodde att man skulle kunna få till ett minst lika bra backupsystem för en bråkdel av kostnaden.

Detta är bakgrunden till backupsystemet LYSrdiff.

== Filosofi ==

Disk är billigt.

rdiff-backup är en bra byggsten när man bygger ett backupsystem.

Lysator har många saker som det är värt att ta backup av. Ett backupsystem bör göras så att de olika backuperna är oberoende av varandra. Om t ex en användares namngivning av sina filer triggar en bugg i rdiff-backup ska det inte påverka alla andra användare -- isolera skadan!

RAID är komplext. Backupsystemet ska vara stabilt. Man får stabilitet genom att använda beprövad teknik, och hålla sig undan från sluten hårdvara eller mjukvaru-RAID som bara används av 0.3% av Linuxanvändarna. Det är bättre att använda ext3 som alla andra, och spegla diskar "manuellt" med rsync.

Ett backupsystem måste vara utbyggbart: man måste kunna stoppa in mer disk, man måste kunna dela upp backupjobbet på flera backupservrar om det visar sig att en backupserver inte räcker till för belastningen.

== Implementation ==

Källkoden lagras i Subversion. Man kan checka ut den anonymt:

svn co http://lsvn.lysator.liu.se/svnroot/lysrdiff/trunk/lysrdiff

För tillfället finns lysrdiff installerat under /nobackup/backup.lysator. I framtiden kommer det nog att ligga under /opt/LYSrdiff i stället.

En central del är filen var/tasks. Varje rad beskriver ett backupjobb. Varje rad består av fyra delar:

* category - kategori, t ex "home" eller "lyswww"
* subcategory - de flesta kategorier har någon typ av underkategorier. För "home" är det t ex användarnamn.
* server - den dator man ska logga in på för att komma åt disken.
* serverpath - den katalog som det ska tas backup på.

Filen var/tasks skapas av fetch-backup-work.

backup-one-task tar backup av ett backupjobb. backup-all loopar över alla backupjobb.

== category ==

För tillfället finns följande kategorier (antalet subkategorier 2007-01-16 inom parentes):

* home (1493): användarkataloger, tagna från NIS-mappen auto_home
* lyswww (962): användares websidor, tagna från /lysator/lyswww/users/common
* mail (716): användarnas mailkataloger, tagna från /var/mail (lenin:/home)
* roxen (220): användares websidor, tagna från /lysator/lyswww/users/roxen_only
* lyscvs (219): CVS-projekt från stalingrad
* ftp-pub (53): Filer publicerade på Lysators FTP-server
* lsvn (45): Subversion-projekt från stalingrad
* lyssvn (10): Subversion-projekt från poseidon
* lenin (5): Systemdiskar för lenin
* sedesopim (4): Systemdiskar för sedesopim
* poseidon (2): Systemdiskar för poseidon
* kilauea (2): Systemdiskar för kilauea
* medreg (1): Medlemsregistret
* lyskom (1): LysKOM-databasen
* hanna (1): Systemdisk för hanna

=== Status ===

Backup tas kontinuerligt. Det tar ca 23 timmar att köra igenom backupen en runda. Med de undantag som listas nedan tas det backup av allt i de kategorier som nämns ovan.

* mail: Det finns 1539 mailkataloger, men vi tar bara backup av 716 (nämligen de som börjar på någon av följande bokstäver: <tt>tvamqpojk</tt>. Det finns inte plats på den nuvarande backupdisken för mer.
* För många av systemdiskarna tas det bara mycket begränsade backuper. Målet är att ha backup av systemspecifik konfiguration, inte att kunna återställa systemen från backupen.

=== Kommande kategorier ===

* quota1 - användarnas quota-skyddade partitioner
* lysdisk - lysdiskpartitioner som inte är $HOME, om det finns några sådana kvar
* ? - saker som ligger bland $HOME-katalogerna men inte finns i auto_home (om det finns något sådant)
* ...och säkert en hel massa annat

== Milstenar ==

Redan passerade milstenar.

* Skapa proof-of-concept-scripts på sedesopim, och kör dem på ledig disk som finns där. Passerad 2006-10-12.

* Få styrelsen att finansiera inköp av en USB-disk. Passerad 2006-10-14.

* Checka in lysrdiff i subversion. Passerad 2006-10-14.

* 2006-10-15: Dokumentera lysrdiff på denna sida. Passerad 2006-10-15.

* 2006-10-15: Beställ USB-disk. Passerad 2006-10-15.

* 2006-10-18: Hämta ut USB-disken. Passerad 2006-10-18.

* 2006-10-19: Koppla in USB-disken. Passerad 2006-10-18. {{LysINV2|nr=641|name=Diskens post i LysINV}}.

* 2006-10-22: Avslutad backup av alla hemkataloger, alla användar-web-kataloger (common och Roxen). Passerad 2006-10-26, med undantag för lysdisk-användare (på grund av hårdvaruproblem med Manhattan). Förseningen beror till största del på att det tog mer tid än väntat att kopiera stora mängder data, och till viss del på reparationsarbeten på Manhattan och en oplanerad omboot av sedesopim som skedde av misstag.

* 2006-12-01: Undersök om någon av de datorer Lysator redan har duger till att köra LYSrdiff. Resultat: nej, vi har ingen passande dator. Passerad 2007-01-16.

* 2006-10-29: Avslutad backup av LysKOM-databasen, projekt-web-kataloger, lysdiskar som inte är hemkataloger, /pkg/cfengine. Passerad 2007-01-16, mer eller mindre. Det finns inte kvar några lysdiskar, och /pkg/cfengine finns det inte plats för. I stället tas det backup av en massa annat (se ovan).

Planerade milstenar:

* 2006-11-05: Inventera vad annat som det bör tas backup av, och ta backup av det.

* 2006-12-10: Skriva utvärderingsrapport om hur systemet har fungerat under försöksperioden fram till detta datum. Föreslå inköp av mer hårdvara för att få till spegling på backupservern, off-site-lagring av backuper, och att backupsystemet går på ett separat system i stället för på sedesopim.

Planerade Avbrott

2007-05-25T07:19:09Z

Ceder: Nu tror vi oss veta när strömavbrottet blir.

== Pågående avbrott ==

== Framtida avbrott ==

=== 2007-05-26 - 2007-05-27 ===

Söndagen den 27:e maj kommer FOO-hallen vara strömlös, eftersom strömmatningen till hela huset ska göras om. Därför kommer hela
Lysators datorsystem att vara otillgängligt från kvällen dagen innan, eftersom root inte kommer hinna stänga av hela systemet på
morgonen innan strömavbrottet inleds.

Datorsystemet kommer alltså vara otillgängligt från ungefär klockan 19 lördagen den 26:e maj, och drygt ett dygn framåt.

I samband med strömavbrottet kommer ytterligare systemarbete att förläggas, i form av flytt av användares hemkataloger. Några CPU-servrar kommer inte att tas upp efter strömavbrottet förrän alla användares hemkataloger har flyttats. Det kan ta några timmar extra från strömavbrottets slut klockan 18 den 26:e maj att flytta om alla.

Det kommer även att utföras systemarbete på LysKOM-systemet när strömmen kommer tillbaka.

'''Uppdatering''': Detta avbrott var från början utannonserat till 2007-05-13, men skjöts upp på grund av elstrejken.

== Forntida avbrott ==

=== 2007-01-12, eftermiddag ===
Systemarbete kommer att pågå med [[Lenin]], varför mail inte kommer att fungera. Se LysKOM 15134886.

=== 2006-09-29 - 2006-10-01 ===
Utbyte av webservrar. Installation av ny hårdvara, donerad av SGI, i [[Viggen]]. Se <tt><möte 13786: LYS(-)Hack 06></tt> för mer information.

[[Studsvik]] och [[Viggen]] kommer att vara nere ibland. Säkerligen även andra maskiner.

=== 2006-09-10 - 11 ===
Omkoppling och omflyttning i Lysators nät. Stora trafikstörningar till alla Lysators tjänster, då switchar kopplas om och till för att få en bra struktur i nätet.

=== 2006-04-01, eftermiddag-kväll ===
Städningen av [[FOO-hallen]] fortsätter snart. Maskiner som vi vet kommer att gå ner denna gång:

* [http://elfwood.lysator.liu.se/ Elfwood] skall samlas ihop i ett rack för sig, så alla deras maskiner kommer att gå ner samtidigt.

Förutom dessa kan slumpmässiga maskiner behöva gå ner för att flyttas. Den enda [[:Category:CPU-servrar|CPU-server]] som med stor sannolikhet kommer att gå ner är [[Nema]].

=== 2006-03-20 ===
Städningen av [[FOO-hallen]] fortsatte.

* [http://elfwood.lysator.liu.se/ Elfwoods] alla maskiner fick strömavbrott på grund av en trasig UPS.
* [[Fetto]] togs ner i ett par minuter för rackmontering.

Manhattan

2007-02-17T17:59:37Z

Ceder: Info om typ av kragg.

{| style="border: 0px"
! Funktion
| Tjänsteserver
|-
! Specialfunktion
| /lysator/slaskdisk, Lysdisk (flyttat till [[Studsvik]]), [[Rootmanual:Snabbmanual för Gentoo Linux | Gentoo]]-binärpaket, backup av [[Lenin]]
|-
! Operativsystem
| [[:Kategori:Debian 3.1 | Debian Linux 3.1]]
|-
! Arkitektur
| AMD64/PC
|-
! CPU
| 1,6 GHz Opteron 242
|-
! Minne
| 1 GB
|-
! valign="top" | Disk
| 6 stycken 250 GB SATA-diskar (Hitachi Deskstar HDS722525VLSA80) kopplade till en 3ware ATA RAID Controller : Escalade 8506-12. 5 av dem används i ett RAID-set som ger 1 TB. Den 6:e är hot spare.
2 stycken 40 GB IDE-diskar som mjukvaru-RAIDas till md0 i Linux.
|-
! valign="top" | SSH-fingeravtryck
| <pre>-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

manhattan.lysator.liu.se har följande SSH-fingeravtryck:

SSH2 DSA: e8:ce:99:f7:42:81:85:47:21:fe:10:bc:e8:a7:69:07
SSH2 RSA: 53:10:7a:e3:0a:8d:d5:67:fb:9f:fe:39:1c:4b:b8:81
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.5 (GNU/Linux)

iEYEARECAAYFAkTqEI4ACgkQAbrEtTMfrn1dNgCaAovWuodra1PEtX9qDkifkEsX
iRwAnijVM69I7f27u2eiQDDWu0Tr6aeU
=EDey
-----END PGP SIGNATURE-----</pre>
|-
! Modell
| Hemmabygge
|-
! Placering
| [[FOO-hallen]], [[:Kategori:Rack 02 | Rack 02]]
|-
! valign="top" | Foto
| [[Bild:Manhattan.jpg|none|thumb]]
|-
! Ansvarig root
|
|-
! Driftstatus
| I drift
|-
! Nagios-status
| {{Nagios}}
|-
! LysINV
| {{LysINV|nr=507}}
|}

== Strömcykling ==

Om Manhattan hängt sig hårt, vilket händer ibland, kan man behöva ta till den [[Rootmanual:Nätverksstyrda strömbrytare | nätverksstyrda strömbrytaren]].

== Strömbehov ==

{| border="1"
! rowspan="2" | Enhet
! colspan="4" | Medelström per enhet
! rowspan="2" | Antal
! colspan="4" | Totalström
! rowspan="2" | Källa
|-
! 3V (A)
! 5V (A)
! 12V (A)
! -12V (A)
! 3V (A)
! 5V (A)
! 12V (A)
! -12V (A)
|-
| Hitachi Deskstar HDS722525VLSA80
| align="right"|0
| align="right"|0.540
| align="right"|0.660
| align="right"|0
| align="right"|6
| align="right"|0
| align="right"|3.300
| align="right"|3.960
| align="right"|0
|
[http://www.hitachigst.com/tech/techlib.nsf/techdocs/17351B59F3028F4486256D3D0065D995/$file/d7k250S_sp.pdf Datablad] (PDF), sid 27, tabell 21, Random R/W Average.
|-
| Seagate Barracuda 7200.7 ST340014A
| align="right"|0
| align="right"|0
| align="right"|1.050
| align="right"|0
| align="right"|2
| align="right"|0
| align="right"|0
| align="right"|2.100
| align="right"|0
| [http://www.wave.no/database_images/query?raw=1&query_string=1/13/1/876 Datablad] (PDF), sid 2. Power management.
|-
| Escalade 8506
| align="right"|2.050
| align="right"|0.500
| align="right"|0
| align="right"|0.042
| align="right"|1
| align="right"|2.050
| align="right"|0.500
| align="right"|0
| align="right"|0.042
| [http://www.3ware.com/products/pdf/8506-US.pdf Datablad] (PDF)
|-
|}

Moderkortet är troligtvis ett TYAN Thunder K8S Pro (modellnummer S2882). (ceder såg i alla fall texten "TYAN" och "S2882" tryckt på moderkortet vid en inspektion.) Enligt manualen till S2882 (som finns att ladda ner från [http://www.tyan.com/support_download_manuals.aspx?model=S.S2882-D Tyan] måste moderkortet ha ett kragg av typ EPS12V:

Precaution: The Thunder K8SD Pro supports EPS12V power supplies (24-pin/8-pin) and
will not operate with any other types.

DO NOT USE ATX 2.x, ATX12V or ATXGES power supplies as they will damage the
board and void your warranty.

Det kragg som sitter i kan enligt sin märkning leverera:

{| border="1"
| +5V || 40 A || rowspan="3" | max 530 W
|-
| +12V || 36A
|-
| +3.3V || 32A
|-
| -5V || 0.5A ||
|-
| -12V || 1.0A ||
|-
| +5V SB || 2.0A ||
|}

Det är ett Antec True 550P 550W.

[[Category:Tjänsteservrar]]
[[Category:Maskiner i drift]]
[[Kategori:Rack 02]]
[[Kategori:Debian 3.1]]

Netbsd-se

2007-02-13T18:02:19Z

Ceder: Ny maskin åt netbsd-se.

{| style="border: 0px"
! Funktion
| Tjänsteserver
|-
! Specialfunktion
| Hostad dator. Åt NetBSD-folket. Kör bland annat cvsrepository.
|-
! Operativsystem
| [[:Kategori:NetBSD | NetBSD]]
|-
! Placering
| [[FOO-hallen]], [[:Kategori:Rack 11 | Rack 11]]
|-
! Ansvarig root
| Petter Larsson (<tt>petterl</tt>)
|-
! Driftstatus
| I drift
|-
! Nagios-status
| {{Nagios}}
|-
! LysINV
| {{LysINV|nr=651}}
|}

[[Category:Tjänsteservrar]]
[[Category:Maskiner i drift]]
[[Kategori:NetBSD]]

Tor

2007-02-12T13:20:58Z

Ceder: Tor har LysINV 650.

Tor kör SvenskMUD och Esplanaden. Kontaktperson: Linus Tolke.

Nagios: {{Nagios}} {{Nagios2|esplanaden}}

LysINV: {{LysINV|nr=650}}

Placering: [[FOO-hallen]], [[:Kategori:Rack 06 | Rack 06]]

[[Kategori:Rack 06]]

Slavemind

2007-02-09T12:46:34Z

Ceder: Layoutfix.

{| style="border: 0px"
! Funktion
| Tjänsteserver
|-
! Specialfunktion
| Zon [[Ns-slave]]: NIS- och DNS-slav
|-
|
| Zon [[As-slave]]: Kerberos-KDC
|-
! Operativsystem
| [[:Kategori:Solaris 10 | Solaris 10]]
|-
! Arkitektur
| sun4u
|-
! CPU
|
|-
! Minne
|
|-
! SSH-fingeravtryck
|
|-
! Modell
| Sun Ultra 30
|-
! Placering
| IFM:s datorhall, B 221:233. Bara <tt>pen</tt> kan logga in.
|-
! Foto
|
|-
! Ansvarig root
| Peter Eriksson (<tt>pen</tt>)
|-
! Driftstatus
| I drift
|-
! Nagios-status
| {{Nagios}} {{Nagios2|as-slave}} {{Nagios2|ns-slave}}
|-
! LysINV
|
|}

[[Category:Tjänsteservrar]]
[[Category:Maskiner i drift]]
[[Kategori:Solaris 10]]

Pwr-001

2007-02-09T10:09:42Z

Ceder: Länk till LysINV.

{| style="border: 0px"
! Funktion
| Nätverksstyrd strömbrytare
|-
! Modell
| Telnet Power Switch v1.00
|-
! Placering
| [[FOO-hallen]]
|-
! valign="top" | Foto
| [[Bild:Pwr-001.jpg|none|thumb]]
|-
! Ansvarig root
|
|-
! Driftstatus
| I drift
|-
! Nagios-status
| {{Nagios}}
|-
! LysINV
| {{LysINV|nr=649}}
|}

För tillfället är följande datorer inkopplade:

*[[Manhattan]]
*[[Lenin]]

Hur den används framgår av [[Rootmanual:Nätverksstyrda strömbrytare]].

[[Kategori:Nätverksstyrd strömbrytare]]
[[Kategori:Maskiner i drift]]

Lysinv

2007-02-09T10:00:18Z

Ceder: Skapade genväg till inventarieregistrets sida.

#REDIRECT [[Rootmanual:Inventarieregistret]]

Mail:Webmail

2007-01-26T15:06:50Z

Ceder: Typo.

==Webmail==
På adressen [https://webmail.lysator.liu.se/ | https://webmail.lysator.liu.se/] finns en webbaserad mailläsare som gör att du du relativt säkert kan läsa och skriva lysatormail via en browser som klarar krypterade uppkopplingar (https://). Detta gör nästan alla Netscape, Opera och IE-versioner.

Logga in med ditt lysatorlogin och ditt IMAP/POP-lösen. Det senare skaffar du genom att gå in på [https://admin.lysator.liu.se/ https://admin.lysator.liu.se/]. squirrelmail läser din INBOX via IMAP, det är därför du måste sätta ett särskilt lösen. Du behöver också se till att din brevlåda är i maildir-formatet för att det ska funka. Information om hur du gör det finns på sidan om [[Konvertering till maildir]].

==(O)vanliga frågor==
===Varför känner inte webbläsaren igen certifikatet?===
Certifikatet är något som identifierar en site, och som gör att man kan vara säker på att ingen har lagt sig mellan din dator och Lysator för att sno ditt lösenord. Netscape, Opera, IE och alla andra webbläsartillverkare känner igen ett antal kommersiella certifierare som skriver på betalande kunders certifikat. Linköpings universitet är en del av SwUPKI. Se [http://ca.liu.se LiU CA] för information om hur du lägger till rätt certifikat i din webbläsare.

===Vad händer med mailen?===
Mailen hämtas via IMAP och konverteras till html eller nerladdningsbara filer. De ligger dock kvar på Lysator och kan hämtas med andra metoder precis som vanligt.

===Var kommer brevlådorna från? Var sparas de?===
Brevlådorna hämtas via IMAP, och ligger därför i Maildirformat under /var/mail/<username>/. Se sidan om [[IMAP och POP]] för mer info. Även om du inte ser alla mail på en gång, så går det slött om man har för många i sin INBOX (> flerahundra). Rensa genom att markera och flytta till soptunnan. För att rensa soptunnan får man gå dit via Brevlådor->Trash, markera alla mail och trycka på "Delete".

===Säkerhet===

Webmail körs via en SSL3-krypterad uppkoppling. Det betyder att all trafik till webbservern är krypterad inklusive ditt lösenord och dina mail. Det finns dock svagheter:

* Eftersom browsrar har en back-knapp, kan någon som kommer till datorn efter dig bläddra bakåt och titta på sidorna du haft uppe. Efter 10 minuter går dock sidorna ut och visas inte längre. Det hela går att undvika genom att stänga browser-fönstret efter sessionen.

[[Category:E-post]]