Système de stockage distribué et chiffré

[[AF>Libristes] Dudumomo]

Bonjour à tous,

La MT Libristes teste depuis quelques mois un système de stockage distribué et chiffré basé sur la solution libre Tahoe-LAFS.

Il s'agit de créer un réseau de nœuds de stockage en peer to peer oû partager les réplications de vos données, de façon anonyme et chiffré, afin d'obtenir un système de stockage (ou sauvegarde) tolérant aux pannes.

Chacun partage une partie de son disque et peut également utiliser l'espace disque des autres paires.
Tahoe-LAFS fonctionne sur GNU/Linux (Principale version) mais également sous Windows et Mac Os. (Bien que nous n'ayons pas testé encore avec ces 2 OS)

Nous avons pour le moment 4 nœuds (Gillou40, Guepi, Pascal et moi-même) et aimerions etendre ce système de sauvegarde à toute l'AF.

Un tutorial GNU/Linux ainsi que plus d'informations sur le système est disponible sur notre portail.

Des personnes souhaitant tester sur Windows ou Mac Os ??
C'est par ici

Bon partage !

[JeromeC]

Et où vois tu la version Mac OS ?

[Hildor]

Ah oui ! cela m'intéresse de tester sur Windows 

Mais je ne vois pas de version Windows
Et ma connexion ADSL est assez moyenne 

[[AF>Libristes] Pascal]

Je pense qu'ici vous trouverez votre bonheur :
https://tahoe-lafs.org/trac/tahoe-lafs/browser/git/docs/quickstart.rst

[JeromeC]

Ah mes pingouins chéris... comme on s'emmerderait si vous n'étiez pas là...

Comme je suis de bonne composition, j'ai installé le python machin dans la bonne version, téléchargé le zip truc et dézippé la chose, lancé la commande requise et... et...

iMac-Famile-Cadet:allmydata-tahoe-1.9.2 jerome$ python setup.py build
running update_version
no version-control data found, leaving _version.py alone
running develop
Not found: tahoe-deps
Not found: ../tahoe-deps
running egg_info
writing requirements to src/allmydata_tahoe.egg-info/requires.txt
writing src/allmydata_tahoe.egg-info/PKG-INFO
writing top-level names to src/allmydata_tahoe.egg-info/top_level.txt
writing dependency_links to src/allmydata_tahoe.egg-info/dependency_links.txt
writing entry points to src/allmydata_tahoe.egg-info/entry_points.txt
package init file 'src/allmydata/web/static/__init__.py' not found (or not a regular file)
reading manifest file 'src/allmydata_tahoe.egg-info/SOURCES.txt'
reading manifest template 'MANIFEST.in'
warning: no previously-included files matching '*~' found anywhere in distribution
writing manifest file 'src/allmydata_tahoe.egg-info/SOURCES.txt'
running build_ext
Creating /Users/jerome/Desktop/allmydata-tahoe-1.9.2/support/lib/python2.7/site-packages/site.py
Processing darcsver-1.7.2.egg
Copying darcsver-1.7.2.egg to /Users/jerome/Desktop/allmydata-tahoe-1.9.2/support/lib/python2.7/site-packages
Adding darcsver 1.7.2 to easy-install.pth file
Installing darcsver script to support/bin

Installed /Users/jerome/Desktop/allmydata-tahoe-1.9.2/support/lib/python2.7/site-packages/darcsver-1.7.2.egg
Creating /Users/jerome/Desktop/allmydata-tahoe-1.9.2/support/lib/python2.7/site-packages/allmydata-tahoe.egg-link (link to src)
Adding allmydata-tahoe 1.9.2 to easy-install.pth file
Installing tahoe script to support/bin

Installed /Users/jerome/Desktop/allmydata-tahoe-1.9.2/src
Processing dependencies for allmydata-tahoe==1.9.2
Searching for pycryptopp>=0.5.20
Reading https://tahoe-lafs.org/source/tahoe-lafs/deps/tahoe-dep-sdists/
Reading https://tahoe-lafs.org/source/tahoe-lafs/deps/tahoe-lafs-dep-eggs/
Best match: pycryptopp 0.6.0.1206569328141510525648634803928199668821045408958
Downloading https://tahoe-lafs.org/source/tahoe-lafs/deps/tahoe-dep-sdists/pycryptopp-0.6.0.1206569328141510525648634803928199668821045408958.tar.gz
Processing pycryptopp-0.6.0.1206569328141510525648634803928199668821045408958.tar.gz
Running pycryptopp-0.6.0.1206569328141510525648634803928199668821045408958/setup.py -q bdist_egg --dist-dir /var/folders/84/_v0_v08n3gz90wn2_tzpx9d80000gn/T/easy_install-3LD7F7/pycryptopp-0.6.0.1206569328141510525648634803928199668821045408958/egg-dist-tmp-esKjHa
unable to execute clang: No such file or directory
error: Setup script exited with error: command 'clang' failed with exit status 1

Clang, c'est pas vraiment le bruit que fait un python quand il se vautre par terre, mais admettons... clang... 

[Prof]

Linux est aux OS ce que Harley Davidson est aux motos!!!

Si tu tombes pas en rade tous les 2 ou 3 jour, c'est des faux!!!

Euuuhhhh.... Je suis déjà parti!! Non, non ne cherchez pas...!!

------------>>>>

[[AF>Libristes] Dudumomo]

Pour MacOS, ils disent:
You will need the standard Xcode development tools installed, or at least GCC in order to build some dependencies.
Note that Xcode is quite large (2.5GB) so plan accordingly if you will need to download it.

C'est peut etre pour cela.

Et pour windows
https://tahoe-lafs.org/trac/tahoe-lafs/wiki/AdvancedInstall#point9.4

Niveau bande passante, ce n'est pas tres grave (Si pas de quota) puisqu'il ne s'agit clairement pas d'un systeme de partage de fichier, mais plutot du backup. Donc peu de telechargement.

[mcroger]

Linux est aux OS ce que Harley Davidson est aux motos!!!

Si tu tombes pas en rade tous les 2 ou 3 jour, c'est des faux!!!

Ouh le vilain troll plein de trucs même pas vrai !
Cache-toi bien...

[JeromeC]

Nan j'ai déjà xcode installé, j'en avais déjà eu besoin pour un autre truc de motard.

[[AF>Libristes] Guepi]

A priori, en regardant comme ça :

pycryptopp 0.6 utilise une vieille version de cryptopp qui ne contient pas les dernières modif, notamment celle testant la présence de clang.



vu : https://github.com/tahoe-lafs/pycryptopp/tree/master/src-cryptopp
et là : https://github.com/ametaireau/cryptopp/commits/master

Il faudrait modifier le gnumakefile... 

[mcroger]

A priori, en regardant comme ça :

pycryptopp 0.6 utilise une vieille version de cryptopp qui ne contient pas les dernières modif, notamment celle testant la présence de clang.



vu : https://github.com/tahoe-lafs/pycryptopp/tree/master/src-cryptopp
et là : https://github.com/ametaireau/cryptopp/commits/master

Il faudrait modifier le gnumakefile... 

Ou attendre une version màj... 

[JeromeC]

Mmmm, attendez, je me tâte.

Bon ok je vais modifier le clang et le transformer en bling, c'est plus klass. 

[[AF>Libristes] Dudumomo]

Tu as vraiment xcode? Normalement clang est dedans.
Sinon tu dois l'installer. (Clang compiler)

Tu utilises quel version de python?

[JeromeC]

Xcode 3.2.6 64 bits
Python 2.7.2

Je viens de googler : y'a plein de gens qui ont cette erreur dans des contextes différents, mais franchement je pige rien de quoi ils causent...

[mcroger]

Pourtant Clang c'est tout clong...

[JeromeC]

Ouais mais quand ça fait cling, t'es clung.

[mcroger]

Évidemment si tu t'y prends comme une cleng, tu finis par l'avoir dans le clung, normal.

[[AF>Libristes>Jip]Augure]

arf... j'ai loupé ca... dans ma propre MT ! 
(dsl, je coupe votre chaine hautement culturel)

cela m'intéresse, moi qui allait prendre un abonnement chez hubic...
à voir si mon NAS@homemade en OMV (enfin je me tate à repartir sur du FreeNas) pourrait s'intégrer au projet !

enfin sur le disque de l'hôte (qui est en faite une clef USB ) y'a encore la place pour un 2ème OS... me reste juste à choper les compétences de monter une VM ! 

je me couche et je vois ca samedi !

[mcroger]

OMV est basé sur Debian, donc probablement oui (pas trouvé stable personnellement).
Mais freenas c'est du freebsd donc à voir (mais plus stable comme NAS je trouve).

[JeromeC]

Bon en tous cas je me sens pas d'aller faire des posts dans des forums de dev xcode ou je vais pas comprendre un traitre mot... donc pour le moment mes tests vont en rester là.

[[AF>Libristes] Guepi]

Bon, j'ai fait la déclaration de bug : https://github.com/tahoe-lafs/pycryptopp/issues/21

Sinon, tu pourrais remplacer le GNUMakefile avec ce contenu :

Code Sélectionner Étendre

CXXFLAGS = -DNDEBUG -g -O2
#CXXFLAGS = -g
# -fPIC is supported. Please report any breakage of -fPIC as a bug.
# CXXFLAGS += -fPIC
# the following options reduce code size, but breaks link or makes link very slow on some systems
# CXXFLAGS += -ffunction-sections -fdata-sections
# LDFLAGS += -Wl,--gc-sections
ARFLAGS = -cr # ar needs the dash on OpenBSD
RANLIB = ranlib
CP = cp
MKDIR = mkdir
EGREP = egrep
UNAME = $(shell uname)
ISX86 = $(shell uname -m | $(EGREP) -c "i.86|x86|i86|amd64")

# Default prefix for make install
ifeq ($(PREFIX),)
PREFIX = /usr
endif

ifeq ($(CXX),gcc) # for some reason CXX is gcc on cygwin 1.1.4
CXX = g++
endif

ifeq ($(ISX86),1)

GCC42_OR_LATER = $(shell $(CXX) --version 2>&1 | $(EGREP) -c "\(GCC\) (4.[2-9]|[5-9])")
INTEL_COMPILER = $(shell $(CXX) --version 2>&1 | $(EGREP) -c "\(ICC\)")
CLANG_COMPILER = $(shell $(CXX) --version 2>&1 | $(EGREP) -i -c "^clang version")
GAS210_OR_LATER = $(shell echo "" | $(AS) -v 2>&1 | $(EGREP) -c "GNU assembler version (2\.[1-9][0-9]|[3-9])")
GAS217_OR_LATER = $(shell echo "" | $(AS) -v 2>&1 | $(EGREP) -c "GNU assembler version (2\.1[7-9]|2\.[2-9]|[3-9])")
ISMINGW = $(shell $(CXX) --version 2>&1 | $(EGREP) -c "mingw")

ifneq ($(GCC42_OR_LATER),0)
ifneq ($(UNAME),Darwin)
CXXFLAGS += -march=native -mtune=native
endif
endif

ifneq ($(INTEL_COMPILER),0)
# "internal error: backend signals" occurs on some x86 inline assembly with ICC 9 and some x64 inline assembly with ICC 11
# if you want to use Crypto++'s assembly code with ICC, try enabling it on individual files
CXXFLAGS += -DCRYPTOPP_DISABLE_ASM
endif

ifneq ($(CLANG_COMPILER),0)
CXXFLAGS += -Wno-tautological-compare
endif

ifeq ($(GAS210_OR_LATER),0) # .intel_syntax wasn't supported until GNU assembler 2.10
CXXFLAGS += -DCRYPTOPP_DISABLE_ASM
else
ifeq ($(GAS217_OR_LATER),0)
CXXFLAGS += -DCRYPTOPP_DISABLE_SSSE3
endif
ifeq ($(UNAME),SunOS)
CXXFLAGS += -Wa,--divide # allow use of "/" operator
endif
endif

ifeq ($(ISMINGW),1)
LDLIBS += -lws2_32
endif

endif # ISX86

ifeq ($(UNAME),) # for DJGPP, where uname doesn't exist
CXXFLAGS += -mbnu210
else
CXXFLAGS += -pipe
endif

ifeq ($(UNAME),Linux)
LDFLAGS += -pthread
endif

ifeq ($(UNAME),Darwin)
AR = libtool
ARFLAGS = -static -o
CXX = c++
IS_GCC2 = $(shell $(CXX) -v 2>&1 | $(EGREP) -c gcc-932)
ifeq ($(IS_GCC2),1)
CXXFLAGS += -fno-coalesce-templates -fno-coalesce-static-vtables
LDLIBS += -lstdc++
LDFLAGS += -flat_namespace -undefined suppress -m
endif
endif

ifeq ($(UNAME),SunOS)
LDLIBS += -lnsl -lsocket
ifeq ($(CXX),CC) # override flags for CC (Solaris native C++ compiler)
CXXFLAGS = -DNDEBUG -O -g0 -native -template=no%extdef -m$(shell isainfo -b)
LDFLAGS =
ifeq ($(ISX86),1)
# SSE2 intrinsics should work in Sun Studio 12, but we're not using SSE2 intrinsics anymore
# CXXFLAGS += -xarch=sse2 -D__SSE2__
endif
endif
endif

SRCS = $(wildcard *.cpp)
ifeq ($(SRCS),) # workaround wildcard function bug in GNU Make 3.77
SRCS = $(shell echo *.cpp)
endif

OBJS = $(SRCS:.cpp=.o)
# test.o needs to be after bench.o for cygwin 1.1.4 (possible ld bug?)
TESTOBJS = bench.o bench2.o test.o validat1.o validat2.o validat3.o adhoc.o datatest.o regtest.o fipsalgt.o dlltest.o
LIBOBJS = $(filter-out $(TESTOBJS),$(OBJS))

DLLSRCS = algebra.cpp algparam.cpp asn.cpp basecode.cpp cbcmac.cpp channels.cpp cryptlib.cpp des.cpp dessp.cpp dh.cpp dll.cpp dsa.cpp ec2n.cpp eccrypto.cpp ecp.cpp eprecomp.cpp files.cpp filters.cpp fips140.cpp fipstest.cpp gf2n.cpp gfpcrypt.cpp hex.cpp hmac.cpp integer.cpp iterhash.cpp misc.cpp modes.cpp modexppc.cpp mqueue.cpp nbtheory.cpp oaep.cpp osrng.cpp pch.cpp pkcspad.cpp pubkey.cpp queue.cpp randpool.cpp rdtables.cpp rijndael.cpp rng.cpp rsa.cpp sha.cpp simple.cpp skipjack.cpp strciphr.cpp trdlocal.cpp
DLLOBJS = $(DLLSRCS:.cpp=.export.o)
LIBIMPORTOBJS = $(LIBOBJS:.o=.import.o)
TESTIMPORTOBJS = $(TESTOBJS:.o=.import.o)
DLLTESTOBJS = dlltest.dllonly.o

all: cryptest.exe

test: cryptest.exe
./cryptest.exe v

clean:
$(RM) cryptest.exe libcryptopp.a $(LIBOBJS) $(TESTOBJS) cryptopp.dll libcryptopp.dll.a libcryptopp.import.a cryptest.import.exe dlltest.exe $(DLLOBJS) $(LIBIMPORTOBJS) $(TESTIMPORTOBJS) $(DLLTESTOBJS)

install:
$(MKDIR) -p $(PREFIX)/include/cryptopp $(PREFIX)/lib $(PREFIX)/bin
$(CP) *.h $(PREFIX)/include/cryptopp
$(CP) *.a $(PREFIX)/lib
$(CP) *.exe $(PREFIX)/bin

libcryptopp.a: $(LIBOBJS)
$(AR) $(ARFLAGS) $@ $(LIBOBJS)
$(RANLIB) $@

cryptest.exe: libcryptopp.a $(TESTOBJS)
$(CXX) -o $@ $(CXXFLAGS) $(TESTOBJS) -L. -lcryptopp $(LDFLAGS) $(LDLIBS)

nolib: $(OBJS) # makes it faster to test changes
$(CXX) -o ct $(CXXFLAGS) $(OBJS) $(LDFLAGS) $(LDLIBS)

dll: cryptest.import.exe dlltest.exe

cryptopp.dll: $(DLLOBJS)
$(CXX) -shared -o $@ $(CXXFLAGS) $(DLLOBJS) $(LDFLAGS) $(LDLIBS) -Wl,--out-implib=libcryptopp.dll.a

libcryptopp.import.a: $(LIBIMPORTOBJS)
$(AR) $(ARFLAGS) $@ $(LIBIMPORTOBJS)
$(RANLIB) $@

cryptest.import.exe: cryptopp.dll libcryptopp.import.a $(TESTIMPORTOBJS)
$(CXX) -o $@ $(CXXFLAGS) $(TESTIMPORTOBJS) -L. -lcryptopp.dll -lcryptopp.import $(LDFLAGS) $(LDLIBS)

dlltest.exe: cryptopp.dll $(DLLTESTOBJS)
$(CXX) -o $@ $(CXXFLAGS) $(DLLTESTOBJS) -L. -lcryptopp.dll $(LDFLAGS) $(LDLIBS)

adhoc.cpp: adhoc.cpp.proto
ifeq ($(wildcard adhoc.cpp),)
cp adhoc.cpp.proto adhoc.cpp
else
touch adhoc.cpp
endif

%.dllonly.o : %.cpp
$(CXX) $(CXXFLAGS) -DCRYPTOPP_DLL_ONLY -c $< -o $@

%.import.o : %.cpp
$(CXX) $(CXXFLAGS) -DCRYPTOPP_IMPORTS -c $< -o $@

%.export.o : %.cpp
$(CXX) $(CXXFLAGS) -DCRYPTOPP_EXPORTS -c $< -o $@

%.o : %.cpp
$(CXX) $(CXXFLAGS) -c $<

[JeromeC]

Bon, j'ai fait la déclaration de bug : https://github.com/tahoe-lafs/pycryptopp/issues/21

Sinon, tu pourrais remplacer le GNUMakefile avec ce contenu

Voila qui présuppose tout un tas de connaissance linuxiennes que je n'ai point, se posant de plus la question de savoir si c'est applicable tel que sous Mac OS X 

[[AF>Libristes] Guepi]

Sinon, tu pourrais remplacer le GNUMakefile avec ce contenu

Voila qui présuppose tout un tas de connaissance linuxiennes que je n'ai point, se posant de plus la question de savoir si c'est applicable tel que sous Mac OS X 

JeromeC, j'ai juste ajouté quelques lignes incluant un test sur la version de clang installée et "zappant" l'option clang si ce programme n'est pas présent.



Le GNUMakefile à remplacer est donc dans le dossier : src-cryptopp.

Au pire, ça fonctionnera. Sinon, ça restera dans le même état qu'actuellement. 

Mais je comprendrais aisément que tu préfères une version toute faite par les développeurs de Tahoe-LAFS. 

[JeromeC]

Je suis pas contre la bidouille, juste qu'il faut pouvoir l'appliquer

J'essayerai tonight maybe, merci pour l'aide en tous cas

[[AF>Libristes] Guepi]

Je suis pas contre la bidouille, juste qu'il faut pouvoir l'appliquer

J'essayerai tonight maybe, merci pour l'aide en tous cas

Alors alors ?