Seguridad Agile: Torrenter

En alguna conversación relacionada a FLISOL CABA 2016, se mencionó disponer de alguna copia de la wikipedia para que los asistentes puedan llevársela.

La wikipedia pesa 12 GB completa, 3 GB sin índices ni imágenes según esa conversación.

Si este servicio estuviera disponible en la misma red del Flisolator, generaría un cierto impacto en el ancho de banda, por que una cosa es una instalación que intermitentemente baja 3 a 6 GB a 12 de un saque.

La idea es entonces tener una red separada donde las máquinas bajen sin interferir sobre las instalaciones y con bittorrent que sea más veloz, así no se quedan a vivir.

En cada lugar donde digo eth?, 192.168.?.?, /dev/sd??, /dev/ttyS? y similares, son valores míos, si has de transitar esta experiencia tus valores probablemente sean otros.

Plan A

Aprovechar hardware obsoleto.

Recordando que tenía un mother viejo muy decente con Athlon 2800+, con cinco puertos PCI gracias a @fcingolani y un switch 10/100 de 24 bocas, ofrecí sin compromiso armar una red aparte para este servicio.

En el primer intento venía bien, con 1.75GB de ram, una buena placa de video para usar su memoria como swap (128 MB + 120 MB se podrían usar), un disco sata de 160GB. El BIOS veía las cuatro placas 3com, video ok, memoria ok. Cuando intenté arrancar con pendrive, cuando estaba probando uno de los que tenía, dijo "missing operating system", ok, nada del otro mundo. Pero la apagué y fué definitivo. Nunca más arrancó. Dejé el mother pelado, sin pila, reset de la memoria del BIOS, revisé los capacitores, lo envolví en papel aluminio, cambié de fuente, puse velitas, nada.

Plan B

Lo mismo con un Pentium 3 de 700.

Bueno, no lo mismo, sólo 640MB de RAM y dos discos ATA de 40 80 GB. Es que cuando llegué a las primeras mediciones, uno de los de 40 falló y me obligó a buscar en el cajón y aparecieron dos de 80.

En parte por perversión, en parte por que hay un slot ISA 16, quise usar una (más) vieja ethernet 3c509 como interfaz de control, pero no prosperó. Le puse una Realtek. Retrospectivamente, el fallo se debía a problemas de enrutamiento, así que quizás tambien la agregue.

Las tareas

Instalar algún linux.

RAID: para aumentar el ancho de banda sobre los miserables discos.

Ethernet de control: para facilitar la vida.

Trunking: para aumentar el ancho de banda entre el Torrenter y la red, se configuran varios puertos del switch y las placas para que haga la comunicación en paralelo. En teoría pasamos de una red de 100Mbits a 400Mbits entre el servidor y el switch. A un sólo cliente no le hace diferencia, pero a cuatro o más si.

DHCPD: para que otorgue las direcciones IP a las máquinas que se conecten.

DNS: quizás en otra oportunidad

Memoria video como swap: para aumentar la performance del servidor.

Tracker: para que funcione bittorrent

Torrente: de eso se trata todo esto, no?

Mediciones: tiene sentido gastar plata en un taxi para llevar esto si no hay una diferencia importante en el tiempo de download? veremos...

Arranque desatendido: la idea es llevar una caja que se prenda y ande.

La ejecución

Distro

Asumo que quien lee esto sabe más o menos instalar cualquier distro y manejarse con linux.

Debian 8.0.4 32 bits, nada especial, sin entorno gráfico, con algunas cositas útiles.

apt-get install vim ethtool tcpdump

Particionamiento

Disk /dev/sda: 76.7 GiB, 82348277760 bytes, 160836480 sectors

Device     Boot    Start       End   Sectors Size Id Type
/dev/sda1 *        2048 15624191 15622144 7.5G 83 Linux
/dev/sda2       15624192 16623615    999424 488M 82 Linux swap / Solaris
/dev/sda3       16623616 160835583 144211968 68.8G fd Linux raid autodetect

Disk /dev/sdb: 76.7 GiB, 82348277760 bytes, 160836480 sectors

Device     Boot    Start       End   Sectors Size Id Type
/dev/sdb1           2048 15624191 15622144 7.5G 83 Linux
/dev/sdb2       15624192 16623615    999424 488M 82 Linux swap / Solaris
/dev/sdb3       16623616 160835583 144211968 68.8G fd Linux raid autodetect

No quiero incursionar en arrancar de raid, así que dejé las sd?1 para / y /home

RAID

apt-get install mdadm

Creación del raid con stripe, los discos en controladoras distintas debería mejorar el ancho de banda.

mdadm --create --verbose /dev/md0 --level=stripe \
--raid-devices=2 /dev/sda3 /dev/sdb3

mkfs.ext4 /dev/md0

Para que monte al inicio

mdadm --detail --scan >> /etc/mdadm/mdadm.conf

blkid | grep md0 >> /etc/fstab

quedando

[/etc/fstab]

#UUID=044d6468-a015-404f-ae97-fb0814ca5aaf
/dev/md0 /RAID ext4 defaults 0 3

Seguro que pude haber usado UUID en lugar de /dev/md0, pero me desvía de mi camino, que es bastante largo aún.

Trunking

Primero, hay que comunicarse con el switch.

apt-get install minicom

Usar un null-modem cable y configurar correctamente la comunicación en minicom:

/dev/ttyS0
19200 8n1 sw flow control
modem dcd line off

Ok, tengo login, pero, ¿cuáles eran las credenciales? las sabía hace 15 años.

Por suerte "3comcso" and password "RIP000" hace reset.

Luego, hay que cerrar las ventanas:

system->security->modify-> las claves de cada usuario

Configurar IP por si queremos guardar otros 15 años el cable en un cajón:

ip->interface->plin plin plin

Recuperar las 100 Mbits full duplex:

ethernet->portMode->all->100full

y finalmente armar el trunk de un lado...

feature->trunk->addPort->1->1
feature->trunk->addPort->1->2
feature->trunk->addPort->1->3
feature->trunk->addPort->1->4

...y del otro

apt-get install ifenslave

[trunkIt.sh]
    ifconfig eth0 down
    ifconfig eth1 down
    ifconfig eth2 down
    ifconfig eth3 down

    modprobe bonding mode=0 miimon=100
    ifconfig bond0 hw ether 00:11:22:33:44:55
    ifconfig bond0 192.168.1.3 netmask 255.255.255.0 up

    ifenslave bond0 eth0
    ifenslave bond0 eth1
    ifenslave bond0 eth2
    ifenslave bond0 eth3

Si tenés la interfaz de control en la misma red (mala idea, ahora la tengo así sólo por las pruebas) hay que ajustar las rutas con distintas combinaciones de

[goNoTrunk.sh]
    route del -net 192.168.1.0/24 bond0
    route add -net 192.168.1.0/24 eth4

[goTrunk.sh]
    route del -net 192.168.1.0/24 eth4
    route add -net 192.168.1.0/24 bond0

un ping 192.168.1.3 desde otra máquina seguido de un arp -a confirma que está funcionando:

192.168.1.3              ether   00:11:22:33:44:55   C                     eth6

si hay que continuar instalando cosas, puede hacer falta un

route add default gw 192.168.1.1

Primeras mediciones

Deseo determinar si el RAID es más rápido que el IDE pelado. Para ello transferí vía ssh linuxmint-17.3-cinnamon-32bit.iso de 1G4. No lo hice en condiciones de laboratorio, hay otro tráfico en la red, otras actividades en las máquinas involucradas y no repetiré las mediciones a menos que algo me llame la atención.

El resultado que esperaba era:
La lectura sobre RAID es mejor que sobre IDE.
La lectura vía trunk es mejor que vía enlace normal.

Veamos la cruda realidad

Escritura interfaz de control a IDE 5.0MB/s 04:37 (*)

Escritura interfaz de control a RAID 4.9MB/s 04:46

Lectura interfaz de control desde IDE 4.5MB/s 05:08

(*) es el mismo tiempo que me dió con los discos de 40 antes de fallar. Eso es bueno, el ruido de la red no interfiere mucho.

Epa, ¿qué pasó??? ¿Está tardando más en leer que en escribir teniendo de este lado una máquina brutalmente más poderosa?

32 bits vs 64 bits (doble)
640 MB vs 16 GB (25!!)
700 Mhz x 1 vs 3.2 GHz x 4 (cuádruple por cuatro)
IDE vs SATA (no sé)

Probablemente ssh está metiendo ruido, voy a tener que instalar un servidor web y usar wget en el cliente. De paso sirve para luego brindar descarga directa.

apt-get install nginx-light

Sólo hay que tirar un par de symlinks a los archivos previamente subidos. La escritura no me importa mucho, en realidad lo interesante es la lectura. Va de nuevo.

Lectura interfaz de control desde IDE 11,2MB/s in 2m 8s

Lectura interfaz de control desde RAID 10,9MB/s in 2m 9s

No hay diferencia apreciable, está en la velocidad máxima, vamos bien.

Ahora, a probar la lectura utilizando el trunk, que es el escenario productivo, de lecturas simultáneas. No pongo la velocidad pues wget marca la última, no la promedio.

3 interfaz de control / IDE 6m 11s

5m 45s

6m 8s

Parece coherente, se triplica el tiempo.

3 trunk / RAID 2m 47s
3m 31s
2m 47s

repitiendo...

3 trunk / RAID 4m 55s

4m 19s

3m 45s

Todo mal, los resultados que esperaba eran tipo 2m , veamos que dice ps:

top - 21:54:24 up 12 min, 2 users, load average: 1.77, 0.98, 0.58
Tasks: 76 total,   1 running, 75 sleeping,   0 stopped,   0 zombie
%Cpu(s): 1.2 us, 11.1 sy, 0.0 ni, 42.8 id, 5.9 wa, 0.0 hi, 39.0 si, 0.0 st
KiB Mem:    641708 total,   593456 used,    48252 free,     9332 buffers
KiB Swap:   999416 total,        0 used,   999416 free.   548752 cached Mem

530 www-data 20   0    6520   2164   1688 D 39.5 0.3   0:41.50 nginx

No sé bien como diagnosticar, probablemente hay una saturación general.

Una medida más, igual pienso que lo mejor va a ser ver como se comporta con bittorrent.

4 trunk / RAID 5m 34s
5m 35s
4m 3s
5m 37s

4 interfaz de control / RAID 8m 20s
8m 24s
8m 31s
8m 27s

pero load average: 0.60

Momento de parar y pensar

¿o será que le cuesta hacer funcionar a las cuatro ethernets? ¿Y si en lugar de usar el trunking, ponemos un cable cruzado en cada ethernet y tenemos cinco conexiónes simultáneas?

Recapitulemos, estos son los planes:

Usar bittorrent, para lo cual hace falta que estén todos en la misma red, para lo cual hace falta trunking.

¿Hace falta trunking? Si hay suficientes máquinas la carga sobre el servidor se alivia considerablemente.

Usar descarga directa, cada uno en su red, pero hay que medir si no es eso lo que hace que se caiga la performance. Además no tengo que sacar del rack el switch y llevarlo, menos trabajo y riesgo.

A ojo, los 12 GB son 45 minutos. Sin duda está mejor que los 70 de sin trunk, pero lejos de los 20 de una conexión no compartida, con o sin trunk. De todos modos, si viene una sola persona a la vez, el tiempo es 20 minutos. A medida que se sumen se degrada por un lado pero se compensa por bittorrent.

Apuesto entonces por trunking + bittorrent, sin importar los números. Igual si me queda tiempo probaré la conexión directa x 5.

Tracker

Ver Torrente

Torrente

Elegí este porque es el único que según apt-cache search hace tracking.

man bittorrent-downloader es tu amigo

Las próximas instrucciones son muy empíricas, puede ser que haya alguna importante falencia conceptual. Es lo que me funcionó.

*) Construir el archivo de torrent, el que uno le pasa al cliente.

btmakemetafile http://192.168.1.3:6969/announce linuxmint-17.3-cinnamon-32bit.iso

No olvidar el /announce, perdí horas por ello.

*) Copiar el .torrent a una carpeta e iniciar el tracker

bttrack --port 6969 --dfile dstate --logfile - --allowed_dir /RAID/TORRENT --allow_get 1

*) Abrir un browser en http://192.168.1.3:6969, tomar el link para el siguiente paso.

*) Posicionarse en la carpeta donde esta el archivo a compartir

btdownloadheadless --check_hashes 0 \
http://192.168.1.3:6969/file?info_hash=l%FCyH%7F%E2%9C%7B%25%92%7D%40%0F%26%C3%05%19%AB%A3%DD

El check_hashes en 1 la primera vez, la siguientes en 0.

Tras mucho, mucho, mucho fallar, he llegado a la conclusión de que sólo convendría usar bittorrent si hay mucha gente bajando.

Hacer un link de /var/www a /RAID/TORRENT (o donde lo hayas puesto) y ahí:

[index.html>
<html>
    <head>
      <title>
        Flisol CABA 2016 Tracker
      </title>
    </head>
    <body>
      Torrent:
   <a href="linuxmint-17.3-cinnamon-32bit.iso.torrent">
           linuxmint-17.3-cinnamon-32bit.iso
         </a>
      <br/>
      Descarga directa:
        <a href="linuxmint-17.3-cinnamon-32bit.iso">
           linuxmint-17.3-cinnamon-32bit.iso
        </a>
     <br/>
    </body>
</html>

Memoria video como swap

Ya estoy un poco cansado y se me acaba el tiempo, así que le doy para adelante. Si puedo en otro momento edito y mejoro.

Hay que hallarla con

lspci -vvv -s 01:00.0

01:00.0 VGA compatible controller: Advanced Micro Devices, ...
Subsystem: ASUSTeK Computer Inc. Radeon 9200 SE / TD / 128M
Control: ...
Status: ...
Latency: ...
Interrupt: ...
Region 0: Memory at e0000000 (32-bit, prefetchable) [size=128M]
...

I'm feeling lucky, tiene dos adaptadores...

lspci -vvv -s 01:00.1

01:00.1 Display controller: Advanced Micro Devices, ... (Secondary)...       Subsystem: ASUSTeK Computer Inc. Device c007
    Control: ...
    Status: ...
    Latency: ...
    Region 0: Memory at e8000000 (32-bit, prefetchable) [size=128M]

Ok, podremos rapiñar 120 MB + 128 MB.

Primer adaptador

Region 0: e0000000 + 800000 (los 8M que dejamos para video) = E0800000

Longitud total: 8000000 (128 MB)
Menos los 8 MB = 7800000 (120 MB)

El comando es entonces:

modprobe slram map=VRAM,0xE0800000,+0x7800000

dmesg dice:

[ 695.642037] slram: devname=VRAM, devstart=0xe0800000, devlength=0x7800000
[ 695.659638] slram: Registered device VRAM from 3678208KiB to 3801088KiB
[ 695.659664] slram: Mapped from 0xe9780000 to 0xf0f80000

Y el otro? Probemos

e8000000 es la dirección y son los 128 MB completos (80000000)

modprobe phram phram=VRAM,0xe8000000,+0x8000000

cat /proc/mtd

dev: size erasesize name
mtd0: 07800000 00004000 "VRAM"
mtd1: 08000000 00001000 "VRAM"

modprobe mtdblock

ls /dev/mtd*

/dev/mtd0
/dev/mtd0ro
/dev/mtd1
/dev/mtd1ro
/dev/mtdblock0
/dev/mtdblock1

mkswap /dev/mtdblock0

Setting up swapspace version 1, size = 122876 KiB
no label, UUID=767e1e0d-cf7b-464d-8895-b2b046850469

mkswap /dev/mtdblock1

Setting up swapspace version 1, size = 131068 KiB
no label, UUID=80ce243a-4c85-43a5-af96-1031cba2470c

Hay que darle prioridad a esta memoria antes que al disco con -p.

swapon /dev/mtdblock0 -p 10

swapon /dev/mtdblock1 -p 10

Veamos que pasó.

swapon --summary

Filename    Type  Size Used Priority
/dev/sdb2                               partition 499708 0 -1
/dev/sda2                               partition 499708 0 -2
/dev/mtdblock0                          partition 122876 0 10
/dev/mtdblock1                          partition 131068 0 10

El script actual es:

[swapOnVideo.sh]

modprobe slram map=VRAM,0xE0800000,+0x7800000

modprobe phram phram=VRAM,0xe8000000,+0x8000000

swapon /dev/mtdblock0 -p 10

swapon /dev/mtdblock1 -p 10

DHCPD

Por último, falta proveer direcciones IP a quienes se conecten.

apt-get install isc-dhcp-server

-------- Lo completaré otro día. --------

Arranque desatendido

Por más último, hay que lograr que se pueda prender la máquina y funcione sin tener que interactuar.

Ya está para

raid
nginx

Falta para

trunking
routing
bttracker
btdownloadheadless
swap en video

-------- Lo completaré otro día. --------

Conclusiones

Como ya todos sabemos, si las horas que dediqué las hubiera invertido en freelancear, pude haber comprado una máquina usada funcionando bastante más potente y aprovechar el trunking como es debido. Pero no puedo negar que me divierte bastante hacer esto, al menos no estoy gastando plata.

Links

https://flisol.usla.org.ar/event/caba/

https://raid.wiki.kernel.org/index.php/RAID_setup

http://computerdd.blogspot.com.ar/2006/10/linux-connect-to-serial-console-of.html

https://www.pantz.org/hardware/switches/3com3300passreset.html

http://www.linuxhorizon.ro/bonding.html

http://nginx.org/en/docs/beginners_guide.html

http://www.bittornado.com/

http://ft23.pmenier.net/docext/mtd/TIP_Use_memory_on_video_card_as_swap.html

https://wiki.archlinux.org/index.php/swap_on_video_ram

Seguridad Agile

2016/04/17

Torrenter