Tags

Instalação do Cluster barolo

Prefácio


Este tutorial tem o objetivo de explicar a instalação do cluster barolo "the wine of the kings, the king of the wines".

Os fatores físicos de construção do cluster não serão abordados aqui. Apenas instalação e configuração de programas e do sistema operacional. Tentei ser o mais prático, didático e o menos prolixo possivel -- tarefa muito difícil para mim :). Espero que gostem deste tutorial e aproveitem bastante o seu conteúdo. Para auxiliar no entendimento dos assuntos aqui abordados tentarei manter uma seção no final entitulada "Veja também" que fará referência a alguns tópicos que eu acho importante para o aprendizado geral dos assuntos abordados aqui.

A nãos ser que devidamente explicito todos os programas e configurações devem ser realizados tanto nas máquinas de cálculo como na máquina mestre.

O Autor não se responsabiliza pela informações contidas neste tutorial.

OBS.: A maneira como as instalações e configurações são realizadas aqui, não representam a única maneira de se proceder. São apenas uma das maneiras de se fazer.

Desejo uma boa leitura

Introdução


Basicamente o cluster [1] contém uma máquina, cujo nome é barolo que será a máquina mestre. Por mestre, entenda que esta máquina será a responsável por gerenciar o sistema de fila; guardar localmente os discos rigidos (HDs) -- responsáveis por guardar todas as informações dos usuários; guardar todos os programas de cálculo que serão instalados; e por fim, será a máquina responsável pela segurança da rede, pois ela será a única que terá acesso à internet (acesso externo). A princípio esta máquina não executará os cálculos, pois esta é a função das demais máquinas que compõe o cluster.

Os nós de cálculo -- demais máquinas que compõe o cluster -- são as máquinas que executam os cálculos. Por não guardarem nenhuma informação dos usuários, nem dos seus arquivos não é necessário que os usuários acessem estas máquinas, pois o único e exclusivo objetivo delas é executar os cálculos, nada mais. Não que o acesso dos usuários será restrito, sob hipótese alguma, mas este acesso não será necessário.

Todas as máquinas apresentam 2 processadores físicos Intel Xeon [2] com 6 processadores lógicos cada. Logo, cada máquina contém 12 processadores lógicos, que com o hyper-threading ligado [3] apresentam 24 processadores lógicos. Bom, na sua cabeça você deve ter discutindo se devo ou não manter o hyper-threading ligado. E como o hyper-threading afeta o desempenho dos cálculos. Bom, para a felicidade geral da nação, não discutirei o efeito de manter hyper-threading ligado sobre o desempenho dos cálculos neste tutorial. Isso é pano para outras mangas...

Bom, a comunicação entre as máquinas é fornecida por uma rede InfiniBand [4] pla qual os programas baseados em MPI [5] se comunicam. Todas as máquinas apresentam duas entradas Gigabit Ethernet [6], mas definitivamente não queremos que os programas de cálculo se comuniquem por estas portas, pois são muito mais lentas do que a rede InfiniBand.

Outro fator que devemos nos preocupar é com o compilador [7] que utilizaremos para compilar os programas. Este compilador deve gerar códigos muito rápidos para a plataforma Intel. Os melhores compiladores para as linguagens C/C++ e Fortran para a plataforma Intel -- até a presente data -- são os compiladores da Intel. O único problema é que eles são pagos e a única licença grátis é para desenvolvimento de programas nos quais não se ganha dinheiro para fazer [8], o que não é o nosso caso. Lembrem-se a gente ganha bolsa ou salário!

Por fim, não queremos que os cálculos submetidos para rodar nas máquinas de cálculo disputem recursos do computador, como por exemplo, número de processadores ou memória. Por isso, instalamos um sistema de fila [9].

Talvez você não tenha percebido, mas sutilmente o número de coisas que temos que fazer para colocar o cluster para funcionar cresceu bastante. Na forma de lista temos:

  1. Instalar fisicamente as máquinas (não abordado);
  2. Instalar e configurar o sistema operacional;
  3. Construir e configurar a rede InfiniBand;
  4. Instalar o compilador da Intel (opcional -- depende da licença -- falar com o professor Roberto sobre isso);
  5. Instalar as bibliotecas MPI (com suporte InfiniBand é claro!);
  6. Instalar os programas para rodar os cálculos;
  7. Instalar e configurar o sistema de filas;
  8. Adicionar os usuários;
  9. Garantir a segurança do sistema.

Então mãos à obra!

Escolha do Sistema Operacional


Antes de instalar o sistema operacional devemos escolher um. Por muitas razões -- não comentadas aqui -- o sistema operacional escolhido foi o Linux. Mas tudo poderia ter sido feito com o Windows por exemplo, mas preferimos Linux.

Em particular, o Linux escolhido foi o Ubuntu Server versão 10.04.2 LTS [10]. Bom, antes de qualquer discussão sobre o porquê deste Linux, gostaria de dizer algumas palavras... Na minha ínfima experiência com Linux, aprendi que basicamente eles fazem a mesma coisa, o que diferencia é o que vem no CD de instalação e na preferência de quem usa. Como, eu uso Ubuntu no dia-a-dia e o professor Roberto me deu liberdade para escolher o sistema operacional, então fiz com o Ubuntu.

Acredito que o tempo gasto para instalar e configurar o cluster se este fosse feito com CentOS, por exemplo, seria o mesmo. Eu passaria mais tempo instalando o sistema operacional, mas empreenderia talvez, menos tempo configurando. Mas no final, gastaria o mesmo tempo. Ainda não estou certo desta ideia. Talvez instalando e configurando com o Ubuntu seja mais rápido, mesmo tendo que baixar alguns programas da internet (pelo menos enquanto temos acesso à rede RNP -- Rede Nacional de Pesquisa [11]).

Instalação do Ubuntu


No link Instalação do Ubuntu 10.04 LTS você encontrará mais detalhes de como instalar o Ubuntu 10.04 LTS. Segue os passos do tutorial utilizando esta tabela de partições abaixo com nome do usuário da sua escolha. Por questões de segurança, não direi o nome do usuário administrador da barolo.

A barolo foi configurada para que o programas de cálculo sejam instalados na pasta "/opt", os arquivos de usuários na pasta "/home", o cálculo rodem na pasta "/scratch" e o sistema de filas seja instalado na pasta "/sge"

Na configuração atual, a barolo tem 2 HD, um com 500GB e outro com 1,5 TB de tamanho. Não faremos RAID com estes dois discos porque esperamos num futuro próximo adicionar mais discos e aumentar o /scratch ou mudar completamente o /scratch.
/dev/sda (500 GB):
swap 5GB
/home 10GB
/ restante do disco
/dev/sdb (1,5 TB):
/scratch todo o disco

Estrutura Inicial


A barolo foi planejada para ter as seguintes partições:
  • /
  • /home
  • /scratch
No / colocamos o sistema operacional, no /home os arquivos dos usuários e utilizaremos o /scratch como espaço para rodar cálculos. Temos ainda algumas pastas relacionadas aos cálculos como o /sge, que guarda o sistema de filas e o /opt, na qual instalamos os programas que utilizaremos para rodar os cálculos. Então vamos exportar na máquina mestre para os nós de cálculo -- via NFS -- as pastas /home, /sratch, /sge e /opt.

E nos nós de cálculo devemos importar as pastas exportadas pela máquina mestre.

Update e Upgrade iniciais


Comentar que não foi feita nenhuma atualização.

Instalando os editores de texto


Como discutido anteriormente, os usuários não precisam fazer nada nas máquinas de cálculo, logo os editores de texto não precisam ser instalados nelas. Mas caso você prefira alguns destes editores para configurar a máquina, então instale também nos nós de cálculo.
sudo apt-get install emacs23-nox vim

Instalando os compiladores g++, gfortran e yacc


Os programas roda nos nós de cálculo e na máquina mestre eles são compilados. Logo, instale os compiladores em todas as máquinas.
sudo apt-get install build-essential gfortran bison

Instalando alguns pacotes adicionais


Podemos dividir os pacotes adicionais em duas seções. O pacotes que serão instalados na máquina mestre e aqueles que serão instalados também nos nós de cálculo.

Máquina mestre

sudo apt-get install flex tcsh grace unrar libmotif3 sendmail openjdk-6-jre tofrodos apg fftw3-dev

Nós de cálculo

sudo apt-get install flex tcsh openjdk-6-jre fftw3-dev

Os programas flex, tcsh são muito úteis para fazer script. Muitos usuários utilizam estes programas para criar scripts para rodar seus cálculos. Ou até mesmo tem usuários que preferem o csh como shell padrão. Tem ainda programas que utilizam estes programas na sua instalação, como por exemplo, o AMBER para o flex e o NWchem para o tcsh.

O pacote openjdk-6-jre contém a plataforma java 1.6. Programas em java servem para diversos propósitos, menos para rodar cálculos.

O pacote libmotif3 serve para utilizar o qmon, que ajuda bastante na configuração do sistema de filas SGE. E os usuários podem utilizá-lo para submeter cálculos.

O pacote grace, contém o programa xmgrace que é muito útil para fazer gráficos das propriedades durante as simulações. E é bastante leve, podendo ser utilizado na própria barolo.

O pacote sendmail é utilizado para criar scripts diversos que enviam emails para os usuários.

O pacote unrar é utilizado para extrair pacotes RAR.

O pacote tofrodos é utilizado para transformar arquivos texto do formato Windows para o formato Linux e vice-versa.

O pacote apg contém o Automatic Password Generator utilizado para gerar senhas automáticas, caso os usuário queiram uma senha segura.

O pacote fftw3-dev contém a biblioteca do FFTW3 para instalar o Gromacs.

Instalando e configurando o SSH-Server


O Ubuntu não permite que haja conexões via SSH porque ele não traz consigo um servidor SSH. Para permitir que os usuários se conectem via SSH devemos instalar o openssh server.
sudo apt-get install openssh-server
Por questões de segurança devemos mudar as configurações padrão do acesso SSH. Para fazer isso como root, edite o arquivo
sudo emacs /etc/ssh/sshd_config
Primeiramente, não queremos que ninguém acesse a máquina remotamente como root. Você pode estar se perguntando o porquê... Mas a razão é bem simples. Caso haja a permissão para o root acessar a máquina remotamente, então é possível gerar um script ou programa que pode testar todas as senhas possíveis e imaginárias para conseguir acesso à máquina.

Este tipo de ataque a computadores Linux é bem comum porque só há uma garantia de usuário para uma máquina Linux, o root. O SSH não informa a razão pela qual um usuário não consegue se conectar a uma máquina. Como a princípio não se sabe a lista de usuários, então a escolha é o root.

Então para evitar este tipo de ataque, modifique as linhas que contém
PermitRootLogin yes
para
PermitRootLogin no

Configurando a rede em modo Texto


No Ubuntu a rede é configurada

Construindo e configurando a rede InfiniBand


sdfgsdfg



Instalando o RAID


O RAID, por hora, não está instalado na barolo, então não vou descrever agora. Mas se você está MUITO interessado procura por mdadm no google. Este é o programa que gerencia RAID EM TODOS OS LINUX!

Como o Ubuntu não vem com ele, a gente precisa instalá-lo:
sudo apt-get install mdadm


Instalando e configurando o nfs-server


sudo apt-get install nfs-server

emacs /etc/exports

/sge 10.0.0.0/255.255.255.0(rw,no_subtree_check,no_root_squash,sync)
/home 10.0.0.0/255.255.255.0(rw,no_subtree_check,no_root_squash,sync)
/opt 10.0.0.0/255.255.255.0(rw,no_subtree_check,no_root_squash,sync)
/scratch 10.0.0.0/255.255.255.0(rw,no_subtree_check,no_root_squash,sync)


sudo apt-get install nfs-client

10.0.0.10:/sge /sge nfs defaults 0 0
10.0.0.10:/home /home nfs defaults 0 0
10.0.0.10:/opt /opt nfs defaults 0 0
10.0.0.10:/scratch /scratch nfs defaults 0 0


Instalando e configurando o sistema de filas


Antes de instalar um sistema de filas, precisamos escolher um! Bom, existem vários... Dentre eles podemos destacar alguns gratuitos, como:
  1. the Simple Queue System (SQS)
  2. Sun Grid Engine 6.2 update 5 (SGE)
  3. GNU queue (Gqueue)
  4. Open Protable Batch System (openPBS)
  5. Torque Resource Manager (TORQUE)
  6. The Simple Linux Utility for Resource Management (SLURM)
Poderia passar o dia listando diversos programas de gerenciamento de filas, mas decidi parar por aqui. Sei que estou sendo injusto com alguns, mas paciência. Sem contar com os programas pagos como, por exemplo, Load Sharing Facility (LSF), Protable Batch System (PBS), etc.

Dentre todos os listados, aquele que eu tenho maior experiência é com o SGE, pena que ele não é mais gratuito. Atualmente ele é comercializado com o nome de Oracle Grid Engine. Mas ele acabou de ser comercializado. O que significa que ainda serve para os nossos propósitos. Amanhã talvez devemos pegar algum da lista acima, ou outro, ou comprar algum.

As instruções de instalação do SGE na máquina mestre estão descrita na página: Instalação do SGE QMASTER. As instruções de instalação do SGE nos nós de cálculo esão descritas na página: Instalação do SGE EXECD. Caso você queira configurar a máquina mestre como nó de cálculo, então instale o SGE EXECD nela.

Depois de instalado o sistema de filas devemos configurá-lo para nossas necessidades.

qconf -am <usuario>

qconf -msconf
Aqui falar de:
schedule_interval
weight_ticket
wight_ticket_shares
maxujobs

qconf -ap mpi
falar de:
slots 999
control_slaves TRUE
start_proc_args /sge/mpi/startmpi.sh $pe_hostfile
stop_proc_args /sge/mpi/stopmpi.sh
allocation_rule $pe_slots ou $fill_up ou $round_robin
accounting_summary TRUE

qconf -mq all.q
falar de:
pe_list
slots
shell

Iniciando o Ubuntu em modo Texto


No estado atual da barolo, a parte gráfica não foi instalada. Mas pode ser que você prefira adicionar a parte gráfica em futuras instalações.
A principio, não queremos gastar memória com a parte gráfica, nem processamento com o seus inúmeros serviços. Queremos a máquina totalmente dedicada aos nossos cálculos e ao sistema de filas. Então precisamos que a parte gráfica não inicialize com o sistema.

O Ubuntu não utiliza o inittab para determinar quais programas são inicializados com o computador, mas sim o UpStart. Então é um pouco diferente a forma como o Ubuntu determina que o gdm inicie com o computador. Para iniciar em modo texto, simplesmente não queremos que o gdm inicie.

Para fazer isso é muito simples. Basta modificar a configuração de inicialização do gdm na pasta /etc/init. Esta pasta é utilizada pelo UpStart para determinar qual programa deve iniciar com o computador. Caso você deseje que algum programa inicie assim que o computador ligue é só criar um arquivo com extensão conf na pasta acima e configurá-lo ao seu gosto. Esta abordagem foi utilizada para criar um script de inicialização do SGE, por exemplo.

Como já existe o arquivo gdm.conf, então vamos editá-lo. Por padrão ele deve ser assim:
# gdm - GNOME Display Manager
#
# The display manager service manages the X servers running on the
# system, providing login and auto-login services

description "GNOME Display Manager"
author "William Jon McCann <mccann@jhu.edu>"

start on (filesystem
and started dbus
and (drm-device-added card0 PRIMARY_DEVICE_FOR_DISPLAY=1
or stopped udevtrigger))
stop on runlevel [016]

emits starting-dm

env XORGCONFIG=/etc/X11/xorg.conf

script
if [ -n "$UPSTART_EVENTS" ]
then
[ ! -f /etc/X11/default-display-manager -o "$(cat /etc/X11/default-display-manager 2>/dev/null)" = "/usr/sbin/gdm" ] || { stop; exit 0; }

# Check kernel command-line for inhibitors
for ARG in $(cat /proc/cmdline)
do
case "${ARG}" in
text|-s|s|S|single)
plymouth quit || : # We have the ball here
exit 0
;;
esac
done
fi

if [ -r /etc/default/locale ]; then
. /etc/default/locale
export LANG LANGUAGE
elif [ -r /etc/environment ]; then
. /etc/environment
export LANG LANGUAGE
fi
export XORGCONFIG

exec gdm-binary $CONFIG_FILE
end script
A parte que nos interessa é a que diz quando ele deve ser inicializado, a saber
start on (filesystem
and started dbus
and (drm-device-added card0 PRIMARY_DEVICE_FOR_DISPLAY=1
or stopped udevtrigger))
stop on runlevel [016]
Então vamos modificar esta parte do arquivo para
start on (filesystem
and runlevel=[345]
and started dbus
and (drm-device-added card0 PRIMARY_DEVICE_FOR_DISPLAY=1
or stopped udevtrigger))
stop on runlevel [0126]
E pronto! O gdm só vai iniciar com os niveis 3, 4 e 5. O Ubuntu por padrão inicia em 2.

Caso você queira iniciar a parte gráfica, basta digitar startx.


Adicionando Grupos


O grupo padrão na barolo é o biomat. Portanto devemos adicioná-lo com o comando
groupadd biomat

Adicionando usuários já instalados num grupo


sudo usermod -a -G biomat <usuario>

Adicionando usuários


asdfasf
sudo adduser --ingroup biomat <usuario>

Garantindo a segurança da rede


Uma das coisas mais legais do Ubuntu é a facilidade de configurar um firewall. Isto porque existe o ufw (Ubuntu FireWall). Não colocarei muitas informações aqui, por questões de segurança.

Para impedir todas as conexões de internet menos a de SSH, basta digitar no console
ufw enable
ufw allow <porta-SSH>

Adicionando cotas para os usuários


Tem que falar disso!


Veja também


  1. http://pt.wikipedia.org/wiki/Cluster
  2. http://pt.wikipedia.org/wiki/Xeon
  3. http://en.wikipedia.org/wiki/Hyper-threading
  4. http://en.wikipedia.org/wiki/InfiniBand
  5. http://pt.wikipedia.org/wiki/Message_Passing_Interface
  6. http://pt.wikipedia.org/wiki/Gigabit_Ethernet
  7. http://pt.wikipedia.org/wiki/Compilador
  8. http://software.intel.com/en-us/articles/non-commercial-software-faq/#6
  9. http://pt.wikipedia.org/wiki/Teoria_das_filas
  10. http://www.ubuntu.com/
  11. http://www.rnp.br/


Comments

/groups/geekstuff/search/index.rss?tag=hotlist/groups/geekstuff/search/?tag=hotWhat’s HotHotListHot!?tag=hot6/groups/geekstuff/sidebar/HotListbiomatBiomat2016-11-01 16:19:20+00:002016-11-01 16:19:20updated22added the Terceira opção sectionbiomatBiomat2016-11-01 16:19:07+00:002016-11-01 16:19:07updated21Added tag - xorgbiomatBiomat2016-11-01 16:18:54+00:002016-11-01 16:18:54addTag20Removed tag - sibiomatBiomat2016-11-01 16:18:46+00:002016-11-01 16:18:46removeTag19Added tag - sierrabiomatBiomat2016-11-01 16:18:41+00:002016-11-01 16:18:41addTag18Added tag - portbiomatBiomat2016-11-01 16:18:34+00:002016-11-01 16:18:34addTag17Added tag - macportsbiomatBiomat2016-11-01 16:18:31+00:002016-11-01 16:18:31addTag16biomatBiomat2016-10-06 21:05:20+00:002016-10-06 21:05:20updated15biomatBiomat2016-10-06 20:44:07+00:002016-10-06 20:44:07updated14added sierra updatebiomatBiomat2016-10-06 20:43:39+00:002016-10-06 20:43:39updated13Added tag - sibiomatBiomat2016-10-06 20:30:38+00:002016-10-06 20:30:38addTag12added xcode partbiomatBiomat2015-10-27 17:12:34+00:002015-10-27 17:12:34updated11Added tag - x11biomatBiomat2015-10-27 17:11:03+00:002015-10-27 17:11:03addTag10Added tag - xquartzbiomatBiomat2015-10-27 17:11:01+00:002015-10-27 17:11:01addTag9added xquartz partbiomatBiomat2015-10-27 17:10:50+00:002015-10-27 17:10:50updated8biomatBiomat2015-10-24 17:48:37+00:002015-10-24 17:48:37updated7Added tag - securitybiomatBiomat2015-10-24 16:35:37+00:002015-10-24 16:35:37addTag6Added tag - openmotifbiomatBiomat2015-10-24 16:35:34+00:002015-10-24 16:35:34addTag5Added tag - el capitanbiomatBiomat2015-10-24 16:35:30+00:002015-10-24 16:35:30addTag4Added tag - xmgracebiomatBiomat2015-10-24 16:35:21+00:002015-10-24 16:35:21addTag3Added tag - hotbiomatBiomat2015-10-24 16:35:13+00:002015-10-24 16:35:13addTag2First createdbiomatBiomat2015-10-24 16:34:04+00:002015-10-24 16:34:04created1wiki2016-11-01T16:19:20+00:00groups/geekstuff/wiki/be4a5FalseXmgrace no Mac OS X El Capitan e Sierra/groups/geekstuff/wiki/be4a5/Xmgrace_no_Mac_OS_X_El_Capitan_e_Sierra.htmlBiomat22 updatesXmgrace no Mac OS X El Capitan e Sierra Prefácio Olá. Este tutorial tem o objetivo de auxiliar e guiar na instalação do software Xmgrace no sistema operacional Mac OS X El Capit...Falsebiomat2016-11-01T16:19:20+00:00biomatBiomat2016-08-24 18:35:48+00:002016-08-24 18:35:48updated10Added tag - printerbiomatBiomat2016-08-24 18:11:40+00:002016-08-24 18:11:40addTag9biomatBiomat2016-08-24 18:11:40+00:002016-08-24 18:11:40updated8Added tag - twain sanebiomatBiomat2016-08-24 18:11:34+00:002016-08-24 18:11:34addTag7Added tag - osx mavericksbiomatBiomat2016-08-24 18:11:28+00:002016-08-24 18:11:28addTag6Added tag - hp laserjetbiomatBiomat2016-08-24 18:11:20+00:002016-08-24 18:11:20addTag5Added tag - scannerbiomatBiomat2016-08-24 18:11:12+00:002016-08-24 18:11:12addTag4Added tag - hotbiomatBiomat2016-08-24 18:11:04+00:002016-08-24 18:11:04addTag3biomatBiomat2016-08-19 21:43:08+00:002016-08-19 21:43:08updated2First createdbiomatBiomat2016-08-19 21:13:54+00:002016-08-19 21:13:54created1wiki2016-08-24T18:35:48+00:00groups/geekstuff/wiki/08c03FalseTutorial: Scanner da LaserJet M1120 MFP no iOS/groups/geekstuff/wiki/08c03/Tutorial_Scanner_da_LaserJet_M1120_MFP_no_iOS.htmlBiomat10 updatesTutorial: Scanner da LaserJet M1120 MFP no iOS Scanner da LaserJet M1120 MFP no iOS Prefácio Olá. Este tutorial tem o objeti...Falsebiomat2016-08-24T18:35:48+00:00biomatBiomat2015-10-24 16:35:01+00:002015-10-24 16:35:01updated11biomatBiomat2015-10-23 22:29:08+00:002015-10-23 22:29:08updated10added Mac OS X partbiomatBiomat2015-10-23 22:28:31+00:002015-10-23 22:28:31updated9biomatBiomat2014-09-23 22:12:48+00:002014-09-23 22:12:48updated8Added tag - installbiomatBiomat2014-09-23 22:12:43+00:002014-09-23 22:12:43addTag7Added tag - csgbiomatBiomat2014-09-23 22:12:38+00:002014-09-23 22:12:38addTag6Added tag - cgbiomatBiomat2014-09-23 22:12:33+00:002014-09-23 22:12:33addTag5Added tag - coarse-grainbiomatBiomat2014-09-23 22:12:31+00:002014-09-23 22:12:31addTag4Added tag - votcabiomatBiomat2014-09-23 22:12:25+00:002014-09-23 22:12:25addTag3Added tag - hotbiomatBiomat2014-09-23 22:12:21+00:002014-09-23 22:12:21addTag2First createdbiomatBiomat2014-09-23 17:57:47+00:002014-09-23 17:57:47created1wiki2015-10-24T16:35:01+00:00groups/geekstuff/wiki/c0fa7FalseInstalação do VOTCA-CSG/groups/geekstuff/wiki/c0fa7/Instalaco_do_VOTCACSG.htmlBiomat11 updatesInstalação do VOTCA-CSG Prefácio Olá. Este tutorial tem o objetivo de auxiliar e guiar na instalação do software package VOTCA (http://www.votca.org/). O VO...Falsebiomat2015-10-24T16:35:01+00:00biomatBiomat2014-04-19 13:48:51+00:002014-04-19 13:48:51updated51biomatBiomat2014-04-19 13:40:24+00:002014-04-19 13:40:24updated50biomatBiomat2014-03-07 18:21:37+00:002014-03-07 18:21:37updated49biomatBiomat2014-02-27 12:30:24+00:002014-02-27 12:30:24updated48biomatBiomat2014-02-27 12:27:38+00:002014-02-27 12:27:38updated47biomatBiomat2014-02-26 22:08:24+00:002014-02-26 22:08:24updated46biomatBiomat2014-02-25 14:35:18+00:002014-02-25 14:35:18updated45biomatBiomat2014-02-25 14:33:33+00:002014-02-25 14:33:33updated44biomatBiomat2014-02-25 14:32:16+00:002014-02-25 14:32:16updated43biomatBiomat2014-02-25 14:30:06+00:002014-02-25 14:30:06updated42biomatBiomat2014-02-25 14:03:37+00:002014-02-25 14:03:37updated41biomatBiomat2014-02-25 13:59:32+00:002014-02-25 13:59:32updated40biomatBiomat2014-02-25 13:57:47+00:002014-02-25 13:57:47updated39biomatBiomat2014-02-25 13:56:52+00:002014-02-25 13:56:52updated38biomatBiomat2014-02-24 19:35:19+00:002014-02-24 19:35:19updated37biomatBiomat2014-02-03 15:15:39+00:002014-02-03 15:15:39updated36biomatBiomat2014-02-03 15:15:09+00:002014-02-03 15:15:09updated35biomatBiomat2013-11-06 23:36:18+00:002013-11-06 23:36:18updated34biomatBiomat2013-11-06 23:36:13+00:002013-11-06 23:36:13updated33biomatBiomat2011-09-03 09:42:19+00:002011-09-03 09:42:19updated32biomatBiomat2011-08-23 21:52:46+00:002011-08-23 21:52:46updated31biomatBiomat2011-07-26 22:37:00+00:002011-07-26 22:37:00updated30biomatBiomat2011-07-09 20:45:07+00:002011-07-09 20:45:07updated29tasoaresThereza Soares2011-05-21 01:52:32+00:002011-05-21 01:52:32updated28biomatBiomat2011-05-20 09:52:18+00:002011-05-20 09:52:18updated27biomatBiomat2011-05-20 09:03:48+00:002011-05-20 09:03:48updated26biomatBiomat2011-05-19 01:09:24+00:002011-05-19 01:09:24updated25biomatBiomat2011-05-19 01:09:09+00:002011-05-19 01:09:09updated24biomatBiomat2011-05-07 05:12:52+00:002011-05-07 05:12:52updated23biomatBiomat2011-05-06 18:42:54+00:002011-05-06 18:42:54updated22biomatBiomat2011-05-06 10:13:59+00:002011-05-06 10:13:59updated21biomatBiomat2011-05-06 10:12:46+00:002011-05-06 10:12:46updated20biomatBiomat2011-05-06 01:39:45+00:002011-05-06 01:39:45updated19biomatBiomat2011-03-09 23:58:20+00:002011-03-09 23:58:20updated18Added tag - hotbiomatBiomat2011-03-09 23:58:15+00:002011-03-09 23:58:15addTag17biomatBiomat2011-03-04 11:43:58+00:002011-03-04 11:43:58updated16biomatBiomat2011-03-04 11:33:45+00:002011-03-04 11:33:45updated15biomatBiomat2011-03-04 11:33:14+00:002011-03-04 11:33:14updated14biomatBiomat2011-03-04 11:23:04+00:002011-03-04 11:23:04updated13biomatBiomat2011-03-04 11:22:25+00:002011-03-04 11:22:25updated12biomatBiomat2011-03-04 11:21:56+00:002011-03-04 11:21:56updated11biomatBiomat2011-03-04 11:19:50+00:002011-03-04 11:19:50updated10biomatBiomat2011-03-04 11:19:04+00:002011-03-04 11:19:04updated9biomatBiomat2011-03-04 11:14:52+00:002011-03-04 11:14:52updated8biomatBiomat2011-03-04 10:43:23+00:002011-03-04 10:43:23updated7biomatBiomat2011-03-04 10:42:05+00:002011-03-04 10:42:05updated6biomatBiomat2011-03-04 10:40:44+00:002011-03-04 10:40:44updated5biomatBiomat2011-03-04 10:38:59+00:002011-03-04 10:38:59updated4biomatBiomat2011-03-04 10:38:06+00:002011-03-04 10:38:06updated3biomatBiomat2011-03-04 10:37:18+00:002011-03-04 10:37:18updated2First createdbiomatBiomat2011-03-04 10:35:29+00:002011-03-04 10:35:29created1wiki2014-04-19T13:48:51+00:00groups/geekstuff/wiki/c24e6FalseCluster barolo - Guia do usuário/groups/geekstuff/wiki/c24e6/Cluster_barolo__Guia_do_usuario.htmlBiomat51 updatesCluster barolo - Guia do usuário Introdução Antes de você começar a rodar cálculos na barolo, por favor, siga todos os passos abaixo. Gostaria de adicionar que a barolo está c...Falsebiomat2014-04-19T13:48:51+00:00biomatBiomat2013-03-14 22:07:29+00:002013-03-14 22:07:29updated29biomatBiomat2013-03-14 22:06:03+00:002013-03-14 22:06:03updated28biomatBiomat2013-03-14 20:51:48+00:002013-03-14 20:51:48updated27biomatBiomat2013-03-14 20:51:28+00:002013-03-14 20:51:28updated26biomatBiomat2013-03-14 20:47:35+00:002013-03-14 20:47:35updated25biomatBiomat2013-03-14 20:46:59+00:002013-03-14 20:46:59updated24biomatBiomat2013-02-11 01:01:04+00:002013-02-11 01:01:04updated23biomatBiomat2013-02-11 00:58:48+00:002013-02-11 00:58:48updated22biomatBiomat2013-02-11 00:56:47+00:002013-02-11 00:56:47updated21biomatBiomat2013-02-11 00:56:04+00:002013-02-11 00:56:04updated20biomatBiomat2013-02-08 04:57:24+00:002013-02-08 04:57:24updated19biomatBiomat2013-02-08 04:57:14+00:002013-02-08 04:57:14updated18biomatBiomat2013-02-08 04:54:53+00:002013-02-08 04:54:53updated17biomatBiomat2013-02-08 04:50:29+00:002013-02-08 04:50:29updated16biomatBiomat2013-02-08 04:39:37+00:002013-02-08 04:39:37updated15biomatBiomat2013-02-08 03:13:49+00:002013-02-08 03:13:49updated14biomatBiomat2013-02-08 03:11:55+00:002013-02-08 03:11:55updated13biomatBiomat2013-02-08 02:56:49+00:002013-02-08 02:56:49updated12biomatBiomat2013-02-08 02:29:20+00:002013-02-08 02:29:20updated11biomatBiomat2013-02-08 02:26:06+00:002013-02-08 02:26:06updated10Added tag - hotbiomatBiomat2013-02-08 02:19:24+00:002013-02-08 02:19:24addTag9biomatBiomat2013-02-08 00:00:46+00:002013-02-08 00:00:46updated8biomatBiomat2013-02-07 22:17:35+00:002013-02-07 22:17:35updated7biomatBiomat2013-02-07 22:12:20+00:002013-02-07 22:12:20updated6biomatBiomat2013-02-07 22:09:38+00:002013-02-07 22:09:38updated5biomatBiomat2013-01-31 22:07:20+00:002013-01-31 22:07:20updated4biomatBiomat2013-01-31 22:06:53+00:002013-01-31 22:06:53updated3biomatBiomat2013-01-31 22:06:06+00:002013-01-31 22:06:06updated2First createdbiomatBiomat2013-01-31 22:01:42+00:002013-01-31 22:01:42created1wiki2013-03-14T22:07:29+00:00groups/geekstuff/wiki/2ebb2FalseGROMACS 4.6 Installation Guide/groups/geekstuff/wiki/2ebb2/GROMACS_46_Installation_Guide.htmlBiomat29 updatesGROMACS 4.6 Installation Guide 1. Introduction GROMACS 4.6 has another procedure to be installed compared to the previous 4.5.X versions. Now it does not rely on the ...Falsebiomat2013-03-14T22:07:29+00:00hot/groups/geekstuff/search/index.rss?sort=modifiedDate&kind=all&sortDirection=reverse&excludePages=wiki/welcomelist/groups/geekstuff/search/?sort=modifiedDate&kind=all&sortDirection=reverse&excludePages=wiki/welcomeRecent ChangesRecentChangesListUpdates?sort=modifiedDate&kind=all&sortDirection=reverse&excludePages=wiki/welcome0/groups/geekstuff/sidebar/RecentChangesListmodifiedDateallRecent ChangesRecentChangesListUpdateswiki/welcomeNo recent changes.reverse5search