Vinícius Aires Barros

Comandos básicos do Apache Hadoop 2.8.x - (PT-BR)

Sun, 22 Oct 2017 00:00:00 +0000

Comandos básicos do Apache Hadoop 2.8.x - (PT-BR)

Requisitos iniciais:

1) Tenha o Apache Hadoop configurado em modo single node ou multi node

*ps: Este tutorial foi testado com o sistema operacional Ubuntu 16.04 e 14.04. Caso deseje configurar em uma versão mais antiga, recente ou em outro SO, pequenas mudanças podem ocorrer nos procedimentos apresentados.

TL;DR

O projeto Apache Hadoop é um software de código aberto mantido pela Apache Foundation que tem como propósito fornecer uma implementação de código aberto do modelo de programação MapReduce de forma confiável e escalável. O Hadoop é projetado para ampliar o processamento de um único servidor em milhares de máquinas, onde cada uma das máquinas oferecem poder de processamento e armazenamento local. Esta ferramenta é utilizada para processamento em batch de grandes volumes de dados (Big Data). Atualmente, o Apache Hadoop é uma das ferramentas mais conhecidas para processamento distribuído, mas existem outras ferramentas similares que se integram ao Hadoop, como o Apache Spark, Apache Storm e dentre outros.

*ps: para mais informações a respeito do Apache Hadoop acessem o site http://hadoop.apache.org/

Let’s get started

Neste tutorial você irá aprender a utilizar alguns comandos básicos do Apache Hadoop. Além disso, será mostrado como gerenciar arquivos no sistema de arquivos Hadoop Distributed File System (HDFS).

Hadoop Scripts Tools

O Apache Hadoop fornece por padrão alguns scripts para o gerenciamento das instâncias da ferramenta. O diretório padrão onde se encontram os scripts é o hadoop/sbin.

Observa-se que na pasta hadoop/sbin encontra-se os seguintes scripts que inclui sua versão para sistemas bash (Linux e MacOS) como também para o prompt de comando do sistema operacional MS Windows.

distribute-exclude.sh    start-all.cmd        stop-balancer.sh
hadoop-daemon.sh         start-all.sh         stop-dfs.cmd
hadoop-daemons.sh        start-balancer.sh    stop-dfs.sh
hdfs-config.cmd          start-dfs.cmd        stop-secure-dns.sh
hdfs-config.sh           start-dfs.sh         stop-yarn.cmd
httpfs.sh                start-secure-dns.sh  stop-yarn.sh
kms.sh                   start-yarn.cmd       yarn-daemon.sh
mr-jobhistory-daemon.sh  start-yarn.sh        yarn-daemons.sh
refresh-namenodes.sh     stop-all.cmd
slaves.sh                stop-all.sh

Por comodidade é mais prático configurarmos este diretório no arquivo ~/.bashrc ou no /etc/profile. Para isso devemos especificar o caminho hadoop/sbin no Path do sistema, adicionando o seguinte comando.

export HADOOP_INSTALL=/opt/hadoop
export PATH=$PATH:$HADOOP_INSTALL/sbin

Os comandos básicos mais utilizados é o de iniciar o sistema de arquivos HDFS e do Hadoop YARN. Como por exemplo:

Iniciar o sistema de arquivos distribuído HDFS

~$ start-dfs.sh

Iniciar o Hadoop Yarn

~$ start-yarn.sh

Finalizar os processos do sistema de arquivos HDFS

~$  stop-dfs.sh

Finalizar os processos o Hadoop Yarn

~$ stop-yarn.sh

Existem alguns scripts deprecated neste diretório, mas que ainda funcionam perfeitamente com o Hadoop:

Inicia todos os processos relacionados com Hadoop e o HDFS

~$ start-all.sh

Finaliza todos os processos relacionados com Hadoop e o HDFS

~$ stop-all.sh

Comandos Básicos do Apache Hadoop

O Apache Hadoop fornece alguns arquivos binários onde podem ser realizadas algumas operações importantes. O diretório padrão onde se encontra os binários é o hadoop/bin, nele você encontra os seguintes binários:

container-executor  hdfs      mapred.cmd               yarn
hadoop              hdfs.cmd  rcc                      yarn.cmd
hadoop.cmd          mapred    test-container-executor

Por comodidade é mais prático configurarmos este diretório no arquivo ~/.bashrc ou no /etc/profile. Para isso devemos especificar o caminho hadoop/bin no Path do sistema, adicionando o seguinte comando.

export HADOOP_INSTALL=/opt/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin

*ps: Não se esqueça de atualizar as variáveis de ambiente com o comando source ~/.bashrc our /etc/profile

O comando mais utilizado é o HDFS, com ele é possível executar as rotinas MapReduce. Para executar um código MapReduce basta executar o seguinte comando:

~$ hadoop jar WordCount.jar WordCount /input /output

Com o comando HDFS também é possível gerenciar os arquivos que estão no sistema de arquivos do Hadoop. A seguir e demonstrado alguns exemplos básicos de comando básicos no sistema de arquivos HDFS, note que todos os comando apresentados se assemelham ao comandos do bash.

*ps: Todos os comando iniciam com o prefixo hdfs dfs, mas existe também a possibilidade de utilizar o comando depreciado hadoop fs.

Criar um diretório:

#Comando
hdfs dfs -mkdir <paths>
#Exemplo
~$ hdfs dfs -mkdir /user/hduser/input

Listar diretórios:

#Comando
hdfs dfs -ls <args>
#Exemplo
~$ hdfs dfs -ls /user

Fazer upload de um arquivo:

#Comando
hdfs dfs -put <file_path> <hdfs_path>
#Exemplo
~$ hdfs dfs -put my_file.txt /user/hduser/input

Fazer download de um arquivo:

#Comando
hdfs dfs -get <hdfs_path> <local_path>
#Exemplo
~$ hdfs dfs -get /user/hduser/input/my_file.txt ~/

Remover um arquivo:

#Comando
hdfs dfs -r <file_name>  
#Exemplo
~$ hdfs dfs -r /user/hduser/input/my_file.txt

Remover um diretório:

#Comando
hdfs dfs -rmr <hdfs_path>
#Exemplo
~$ hdfs dfs -rmr /user/hduser/input

Renomear um arquivo:

#Comando
hdfs dfs -mv <file_name> <file_name>
#Exemplo
~$ hdfs dfs -mv /user/hduser/input/my_file.txt /user/hduser/input/file.txt

Mover um arquivo:

#Comando
hdfs dfs -mv <hdfs_src> <hdfs_dest>
#Exemplo
~$ hdfs dfs -mv /user/hduser/input/my_file.txt /user/hduser

Mover um diretório:

#Comando
hdfs dfs -mv <hdfs_dir> <hdfs_dir>
#Exemplo
~$ hdfs dfs -mv /user/hduser/input /user

Mostrar o tamanho do arquivo em bytes:

#Comando
hdfs dfs -du <file or directory>
#Exemplo
~$ hdfs dfs -du /user/hduser/input/my_file.txt
~$ hdfs dfs -du /user/hduser/input/

Visualizar o conteúdo de um arquivo:

#Comando
hdfs dfs -cat <file>
#Exemplo
~$ hdfs dfs -cat /user/hduser/input/my_file.txt

Agora você aprendeu alguns comandos básicos do Hadoop. Agora você já pode gerenciar arquivos no HDFS e aplicar algumas operações básicas :)

Disclaimer

Material desenvolvido durante o meu Mestrado no Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP). Além disso, faço um agradecimento em especial ao Laboratório de Sistemas Distribuídos e Programação Concorrente (LaSDPC), o qual faço parte que me permitiu a criação deste material. Por fim, informo que é permitido livremente a reprodução integral deste material desde que sejam feitas as devidas referências ao autor ;)

Referências

[1] Apache Foundation. Hadoop: Apache Hadoop. Acessado em Agosto de 2016. Disponível em: http://hadoop.apache.org Dzone

[2] Dzone/Big Data Zone. Top 10 Hadoop Shell Commands to Manage HDFS. Acessado em Outubro de 2016. Disponível em https://dzone.com/articles/top-10-hadoop-shell-commands

Configuração do Apache Hadoop em Single Node - (PT-BR)

Sat, 21 Oct 2017 00:00:00 +0000

Instalação do Apache Hadoop 2.8.x em modo Single Node - (PT-BR)

Requisitos iniciais:

1) Tenha o Java 7+ instalado
2) Tenha o servidor SSH devidamente instalado e configurado
3) Tenha a variável JAVA_HOME configurada
4) Configure o SSH para o acesso sem senha com o endereço localhost

TL;DR

*para mais informações a respeito do Apache Hadoop acessem o site http://hadoop.apache.org/

Let’s get started

Neste tutorial você irá aprender a configurar o Apache Hadoop no modo Single Node. Montando um ambiente capaz de executar seus primeiros scripts em MapReduce.

Instale o Java JDK e configure o JAVA_HOME

Instale o Java 8 com o seguinte comando:

~# apt-get install openjdk-8-jdk

Verifique a instalação do Java:

~# java -version

Adicionar o JAVA_HOME na variável PATH:

~# vim /etc/environments

Adicionar ao final do arquivo a variável JAVA_HOME:

~# JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

Atualize os índices da variável de ambiente:

~# source /etc/environment

Verifique se o Path está correto:

~# echo $JAVA_HOME

Instale e Configure o Servidor SSH (Sem Senha)

Caso não tenha instalado o ssh, instale o servidor ssh com o seguinte comando:

~# apt-get install ssh

Verifique se a máquina tem acesso a ssh sem senha no localhost:

~# ssh localhost

Caso seja solicitado uma senha, faça o seguinte procedimento:

Gere uma chave pública de acesso ao ssh

~# ssh-keygen -t rsa -P ""

Agora com a chave gerada e adicione ela ao diretório de chaves autorizadas:

~# cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Configure o Apache Hadoop (Single Node)

Faça o download do Apache Hadoop, neste caso a versão 2.8.1:

~# wget http://mirror.nbtelecom.com.br/apache/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz

Descompacte o Apache Hadoop no diretório /opt:

~# tar -zxvf hadoop-2.8.1.tar.gz

Agora configure as variáveis de ambiente:

#caso você prefira que todos usuários do sistema tenham as variáveis de ambiente
~# vim /etc/profile

#caso você prefira que apenas o seu usuário tenham as variáveis de ambiente
~# vim ~/.bashrc

Adicione ao final do arquivo os seguintes variáveis de ambiente:

#HADOOP VARIABLES START
export JAVA_HOME=caminho_para_o_java_home
export HADOOP_INSTALL=caminho_para_o_haddop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

OBS: Substitua caminho_para_o_java_home e caminho_para_o_hadoop pelos seus respectivos paths ;)

Atualize os índices das variáveis de ambiente:

~# source ~/.bashrc

~# source /etc/profile

Agora edite o arquivo de variáveis de ambiente do Hadoop:

~# vim hadoop-2.8.1/etc/hadoop/hadoop-env.sh

Edite a variável de ambiente JAVA_HOME:

~# export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Crie o diretório onde será o ponto de montagem do sistemas de arquivos do Hadoop o HDFS:

~# mkdir -p ~/hadoop_store/hdfs/namenode
~# mkdir -p ~/hadoop_store/hdfs/datanode

Configure o arquivo hdfs-site.xml com o caminho das pastas criadas:

~# vim hadoop-2.8.1/etc/hadoop/hdfs-site.xml

Adicione as seguintes propriedades:

<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:######NAMENODE_FOLDER_PATH######</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:######DATANODE_FOLDER_PATH######</value>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Crie um diretório temporário na pasta de instalação do Hadoop:

~# mkdir -p ~/hadoop_store/hdfs/tmp

Configure o arquivo core-site.xml

~# vim hadoop-2.8.1/etc/hadoop/core-site.xml

Adicione as seguintes propriedades

<property>
  <name>hadoop.tmp.dir</name>
  <value>######TMP_FOLDER_PATH######</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Configure o arquivo mapred-site.xml:

~# cp hadoop-2.8.1/etc/hadoop/mapred-site.xml.template hadoop-2.8.1/etc/hadoop/mapred-site.xml

Adicione a seguinte propriedade:

<property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Configure o arquivo o arquivo yarn-site.xml:

~# vim yarn-site.xml

Adicione as seguintes propriedades:

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>frontend</value>
  <description>The hostname of the RM.</description>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Formate o sistema de arquivos HDFS:

~# hadoop namenode -format

Inicie os serviços do Hadoop:

~# start-dfs.sh && start-yarn.sh

Verifique os processos do Hadoop:

~# jps

O console deve aparecer uma saída semelhante a essa:

9757 Jps
8950 DataNode
9145 SecondaryNameNode
9438 NodeManager
8799 NameNode
9311 ResourceManager

Importante que apareça os processos *DataNode, SecondaryNameNode, NodeManager, NameNode e ResourceManager.

Configurar o Memory Heap da JVM

Caso enfrente algum problema com relação ao tamanho do heap de memória da JVM

1ª Etapa:

Adicione esta linha no arquivo /etc/profile:

export JVM_ARGS="-Xms1024m -Xmx1024m"

Esta mudança muda o heap de memória do Java para 1024 mb. Por padrão é 128 mb.

Atualize os índices do arquivo /etc/profile:

~# source /etc/profile

2ª Etapa:

Adicione ou edite a seguinte variável de ambiente:

~# export HADOOP_CLIENT_OPTS="-Xmx1024m $HADOOP_CLIENT_OPTS"

3ª Etapa:

Adicione a seguinte propriedade ao arquivo mapred-site.xml:

<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx1024m</value>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Se tudo estiver ok, pronto temos o Apache Hadoop configurado em modo Single Node ;)

O artigo Configuração do Apache Hadoop em Multi Node está disponível no seguinte link.

Disclaimer

Referências

[1] Apache Foundation. Hadoop: Setting up a Single Node Cluster. Acessado em Agosto de 2016. Disponível em: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

[2] Rajesh N. “Java Heap space Out Of Memory Error” while running a mapreduce program. Acessado em Agosto de 2016. Disponível em: http://stackoverflow.com/questions/30295606/java-heap-space-out-of-memory-error-while-running-a-mapreduce-program

Configuração do Apache Hadoop em Multi Node - (PT-BR)

Sat, 21 Oct 2017 00:00:00 +0000

Instalação do Apache Hadoop 2.8.x em modo Multi Node - (PT-BR)

Requisitos iniciais:

1) Tenha o Java 7+ instalado
2) Realize a configuração em modo single node para todas a máquinas desejadas
3) Tenha o servidor SSH devidamente instalado e configurado
4) Configure o SSH para o acesso sem senha com todos os endereços de IP das máquinas desejadas incluindo o localhost

TL;DR

*para mais informações a respeito do Apache Hadoop acessem o site http://hadoop.apache.org/

Let’s get started

Neste tutorial você irá aprender a configurar o Apache Hadoop no modo Multi Node. Montando um ambiente capaz de executar seus primeiros scripts em MapReduce.

Primeiramente configure todas as máquinas que deseja montar um cluster Hadoop no modo single node. Para configurar basta seguir as instruções disponíveis no seguinte link.

Outro ponto importante é a configuração do ssh sem senha entre todas máquinas que você pretende montar o cluster, o que inclui ela mesma (localhost). Para realizar essa tarefa basta seguir as instruções do tutorial disponibilizado no portal Viva o Linux.

Após realizada essa primeira etapa faça as devidas modificações para que o Hadoop funcione em modo cluster. Para isso esse tutorial foi dividido em três tipos de configurações, nó master, slaves e para ambos.

Para o nó Master

Para o nó master basta editar o arquivo de configuração etc/hadoop/hdfs-site.xml:

~# vim hdfs-site.xml

No caso do nó master iremos manter apenas a configuração do namenode, removendo a propriedade do datanode:

 <property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
 </property>

 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/opt/bigdata/hadoop-2.8.1/hadoop_store/hdfs/namenode</value>
 </property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Crie o arquivo com os endereços IP’s das máquinas slaves do Hadoop no diretório etc/hadoop:

~# touch slaves

Adicione o IP de todas as máquinas slaves em etc/hadoop/slaves:

~# vim slaves

Adicione os endereços IP’s ou hostname de cada uma das máquinas slaves:

IP_NODE_01
IP_NODE_02
IP_NODE_03
IP_NODE_04
IP_NODE_05
IP_NODE_0N
.
.
.

*ps: as informações deste arquivo devem ser apenas os IP’s ou Hostname das máquinas separadas por quebra de linha (enter)

Para os nós Slaves

Para os nós slaves iremos manter a configuração do datanode, removendo a propriedade namenode:

<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/opt/bigdata/hadoop-2.8.1/hadoop_store/hdfs/datanode</value>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Para ambos

Para ambas as máquinas tanto master e slave iremos manter a configuração do diretório tmp e iremos configurar o IP do nó master (Namenode) com a propriedade fs.defaultFS:

<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/bigdata/hadoop-2.8.1/tmp</value>
  <description>Temporary Directory.</description>
</property>

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://IP_MASTER:9000</value>
  <description>Use HDFS as file storage engine</description>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Edite e adicione as seguintes propriedades ao arquivo yarn-site.xml:

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>frontend</value>
  <description>The hostname of the RM.</description>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

*ps: a tag </property> deve ficar dentro de uma tag <configuration></configuration>

Finalização

Após as devidas configurações, logue via ssh na máquina master e formate o namenode:

~# hadoop namenode -format

Inicie o Hadoop e verificar se ele está funcionando em modo cluster:

~# start-dfs.sh && start-yarn.sh

Se tudo der certo, verifique os processos Hadoop que estão executando no nó master:

~# jps

Como você está acessando o nó master deve aparecer para você apenas os seguintes processos:

5417 Jps
4656 NameNode
5123 ResourceManager
4952 SecondaryNameNode

Acesse cada um dos nós slaves e verifique os processos que Hadoop que estão executando:

~# jps

Como você está acessando os nós slave deve aparecer para você apenas os seguintes processos:

14372 Jps
13987 DataNode
14168 NodeManager

Se tudo estiver ok, pronto temos o Apache Hadoop configurado em modo Multi Node ;)

Disclaimer

Referências

[2] Apache Foundation. Hadoop: Hadoop Cluster Setup. Acessado em Outubro de 2016. Disponível em: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

[3] Michael G. Noll. Running Hadoop on Ubuntu Linux (Multi-Node Cluster). Acessado em Outubro de 2016. Disponível em: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Configuração do PostgreSQL (Production) - (PT-BR)

Sun, 19 Feb 2017 00:00:00 +0000

Configuração do Banco de Dados PostgreSQL (Production) - (PT-BR)

TL;DR

PostgreSQL é um sistema gerenciador de banco de dados objeto relacional (SGBDOR), desenvolvido como projeto de código aberto. Hoje, o PostgreSQL é um dos SGBDs (Sistema Gerenciador de Bancos de Dados) de código aberto mais avançados, contando com diversos recursos. O PostgreSQL é compatível com diversos Sistemas Operacionais, dentre eles, o Linux, Windows e Mac OS. Para mais informações acessem o site https://www.postgresql.org.

Let’s get started

Neste tutorial você aprenderá a configurar o banco de dados PostgreSQL para uso em produção. Chega de conversa e vamos inciar o tutorial.

Instalação do PostgreSQL 9.x no Ubuntu e derivados

Atualize os repositórios:

~$ sudo apt-get update

Instale o PostgreSQL:

~$ sudo apt-get install postgresql postgresql-contrib

Teste o acesso ao PostgreSQL:

~$ sudo -i -u postgres
~$ psql
~# \q

Criar, Deletar e Acessar, uma base de dados:

~$ createdb mydb
~$ dropdb mydb
~$ psql mydb

Alterar a senha do usuário postgres:

~$ sudo -i -u postgres
~$ psql -d postgres -U postgres psql
~# ALTER USER postgres with PASSWORD 'minha_senha';
~# \q
~$ exit

Reinicie o PostgreSQL:

~$ sudo service postgresql restart

Adicione o postgres ao grupo sudo:

~$ sudo gpasswd -a postgres sudo

Alternar para usuário postgres no terminal como superusuário:

~$ sudo su - postgres

Crie um novo usuário no postgres:

~$ sudo -u postgres createuser -d -R -P my_user

Crie uma base de dados para o novo usuário:

~$ sudo -u postgres createdb -O my_user db_test

Entre no postgres com o superusuário:

~$ psql --username=postgres --password

Dê permissão para um usuário específico acessar uma determinada base de dados:

~# GRANT ALL PRIVILEGES ON DATABASE db_test TO my_user;
~# \q

Entrar no postgres com o novo usuário:

~$ psql --username=my_user --password

Extra (Opcional)

Liberar acesso remoto ao PostgreSQL

Libere o acesso remoto pela rede ao PostgreSQL (não recomendado para uso em produção):
*substitua o 9.x pelo número de sua versão atual do PostgreSQL

~$ sudo nano /etc/postgresql/9.x/main/postgresql.conf

Alterar:

de # listen_address = 'localhost'
para listen_address = '*'

~$ sudo nano /etc/postgresql/9.x/main/pg_hba.conf

Adicione a seguinte linha ao final do arquivo:

host all all 0.0.0.0/0 md5

A forma mais correta de configurar o acesso externo ao banco de dados é configurar um proxy para acesso ao banco. Dessa maneira o acesso não ficará disponível abertamente na internet.

Para mais informações recomendo o seguintes links 01 e 02. Em breve postarei um tutorial ensinando passo a passo como fazer esta configuração.

Instalando o PgAdmin

Instale o programa PgAdmin3 para gerenciar o banco de dados com uma interface gráfica:

~$ sudo apt-get install pgadmin3 -y

Para mais informações acessem o link.

Considerações Finais

Chegamos ao final do tutorial, caso tenha acontecido algum problema favor reportar nos comentários. Caso tudo tenha dado certo chegou a hora de criar suas tabelas e pôr o seu banco de dados no ar. Happy Code :)

Update

Foi feito uma pequena correção no tutorial sobre como fazer o acesso remoto ao Banco de Dados, sugestão feita nos comentários do post. Obrigado todos pelo feedback ;)

Disclaimer

É permitido a reprodução integral desse material desde que sejam feitas as devidas referências ao autor ;)

Referências

[1] PostgreSQL. PostgreSQL. Acessado em Fevereiro de 2017. Disponível em: https://www.postgresql.org.

[2] PostgreSQL Wikipedia. PostgreSQL Wiki. Acessado em Fevereiro de 2017. Disponível em: https://pt.wikipedia.org/wiki/PostgreSQL.

[3] Comunidade Brasileira de PostgreSQL. PostgreSQL Brasil. Acessado em Fevereiro de 2017. Disponível em: https://www.postgresql.org.br.

Configuração do Servidor JBoss Wildfly 10 (Production) - (PT-BR)

Sat, 11 Feb 2017 00:00:00 +0000

Configuração do Servidor JBoss Wildfly 10 (Production) - (PT-BR)

TL;DR

O Jboss Wildfly é um web-container para aplicações em java mantida pela Red Hat. O Wildfly é um dos mais famosos web-containers java do mercado, sendo uma boa alternativa ao Oracle Glassfish. O WildFly, anteriormente conhecido como JBoss AS, ou simplesmente JBoss, é um servidor de aplicativos criado pelo JBoss, agora desenvolvido pela Red Hat. O WildFly é escrito em Java e implementa a especificação Java Platform Enterprise Edition (Java EE). Ele é executado em várias plataformas. WildFly é um software livre e de código aberto, sujeito aos requisitos da licença LGPL, versão 2.1. Em 20 de novembro de 2014, o JBoss Application Server foi renomeado como WildFly. A comunidade JBoss e outros produtos JBoss da Red Hat, como o JBoss Enterprise Application Platform, não foram renomeados. Para mais informações acessem o site http://wildfly.org/.

Let’s get started

Neste tutorial você aprenderá a configurar o servidor Jboss Wildfly 10.x para produção. Chega de conversa vamos iniciar o tutorial.

Configurações Iniciais do Servidor

Instale o Java (Caso já tenha, desconsidere esta etapa):

~$ sudo add-apt-repository -y ppa:webupd8team/java \
&& sudo apt-get update \
&& sudo echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | sudo /usr/bin/debconf-set-selections \
&& sudo apt-get install oracle-java8-installer -y

Faça o download do servidor Wildfly:

~$ cd /opt
~$ sudo wget http://download.jboss.org/wildfly/10.0.0.Final/wildfly-10.0.0.Final.zip
~$ sudo unzip wildfly-10.0.0.Final.zip
~$ sudo rm -r wildfly-10.0.0.Final.zip
~$ sudo mv wildfly-10.0.0.Final/ wildfly/

Configuração do Servidor Wildfly 10.x

~$ sudo addgroup wildfly
~$ sudo useradd -g wildfly wildfly

Mude o dono da pasta do Wildfly recursivamente:

~$ sudo chown -R wildfly:wildfly /opt/wildfly/

Crie um link simbólico para o Wildfly:

~$ sudo ln -s wildfly /opt/wildfly

Configure o init.d/ para o Wildfly:

~$ sudo cp /opt/wildfly/docs/contrib/scripts/init.d/wildfly-init-debian.sh /etc/init.d/wildfly
~$ sudo chown root:root /etc/init.d/wildfly
~$ sudo chmod ug+x /etc/init.d/wildfly

Para dar start e stop no Wildfly pela primeira vez:

~$ sudo /etc/init.d/wildfly start
~$ sudo /etc/init.d/wildfly stop

Atualize o Wildfly como serviço:

~$ sudo update-rc.d wildfly defaults

Configurando acesso externo ao servidor

Acesse o diretório:

~$ cd /opt/wildfly/standalone/configuration/

Edite o arquivo de configuração:

~$ sudo nano standalone.xml

Substitua as seguintes configurações:

<interface name="public">
    <inet-address value="${jboss.bind.address:127.0.0.1}"/>
</interface>

por:

<interface name="public">
    <any-address/>
</interface>

E a configuração de acesso ao painel de configurações do Wildfly:

<interface name="management">
    <inet-address value="${jboss.bind.address:127.0.0.1}"/>
</interface>

por

<interface name="management">
    <any-address/>
</interface>

Configurando usuário administrador

Primeiramente finalize o processo do Wildfly:

~$ sudo service wildfly stop

Acesse o diretório:

~$ cd /opt/wildfly/bin

Execute o script para adicionar um novo usuário:

~$ sudo ./add-user.sh

Faça as seguintes instruções:

Digite (a) para Management User Digite (admin) para Username
Are you sure you want to add user ‘admin’ yes/no? (yes)
Digite uma senha para password
Confirme a senha
What groups do you want this user to belong to? (enter)
Is this correct yes/no? (2x yes)
Digita yes e enter para todas as perguntas

Inicie o Wildfly novamente:

~$ sudo service wildfly start

Acesse o IP da máquina :8080 para conferir o acesso ao painel de configuração do Wildfly:

http://localhost:9990 ou http://IP_EXTERNO:9990

Considerações Finais

Chegamos ao final do tutorial, caso tenha acontecido algum problema favor reportar nos comentários. Caso tudo tenha dado certo chegou a hora de “codar” e colocar suas aplicações em produção no Wildfly. Happy Code :)

Disclaimer

É permitido livremente a reprodução integral desse material desde que sejam feitas as devidas referências ao autor ;)

Referências

[1] Jboss Wildfly. Wildfly. Acessado em Junho de 2016. Disponível em: http://wildfly.org/

[2] Jboss Wildfly Wikipedia. JBoss Wildlfy Wiki. Acessado em Fevereiro de 2017. Disponível em: https://en.wikipedia.org/wiki/WildFly

[3] ForgeZilla Let’s Forge it!. Installing Wildfly 10 on Debian/Ubuntu. Acessado em Junho de 2016. Disponível em: http://forgezilla.com/installing-wildfly-10-on-debianubuntu/

Maratona de Programação 2015 - (PT-BR)

Sun, 06 Mar 2016 00:00:00 +0000

Final Brasileira Maratona de Programação 2015 - (PT-BR)

Em 2015 eu mais meus parceiros de equipe MyCoffeeSoft (Matheus Pedroza, Thaylon Guedes e Herinson Rodrigues) fomos classificados para a final brasileira da Maratona de Programação 2015 em São Paulo (SP) para representar o Tocantins em nome da Universidade Federal do Tocantins (UFT). A Maratona de Programação ocorreu durante os dias 13 e 14 de novembro de 2015 no Instituto Brasileiro de Tecnologia Avançada (IBTA). A participação da equipe MyCoffeeSoft na final nacional foi marcante pois foi a segunda vez que uma equipe do Tocantins representou o estado na final nacional da Maratona de Programação ICPC.

O que é?

A Maratona de Programação é um evento da Sociedade Brasileira de Computação (SBC) que existe desde o ano de 1996. A Maratona nasceu das competições regionais classificatórias para as finais mundiais do concurso de programação da ACM, o ACM International Collegiate Programming Contest, e é parte da regional sul-americana do concurso. A Maratona de Programação destina-se a alunos de cursos de graduação e início de pós-graduação na área de Computação e afins (Ciência da Computação, Engenharia de Computação, Sistemas de Informação, Matemática, etc). A competição promove nos alunos a criatividade, a capacidade de trabalho em equipe, a busca de novas soluções de software e a habilidade de resolver problemas sob pressão.

Várias universidades do Brasil desenvolvem concursos locais para escolher os melhores times para participar da Maratona de Programação. Estes times competem na Maratona (e portanto na regional sul-americana) de onde os melhores serão selecionados para participar das Finais Mundiais do evento. Os times são compostos por três alunos, que tentarão resolver durante 5 horas o maior número possível dos 8 ou mais problemas que são entregues no início da competição.

Fase Regional (UFT - TO)

A primeira fase da Maratona de Programação foi realizada no dia 12 de setembro de 2015 em uma parceria entre a Sociedade Brasileira de Computação (SBC) e a Fundação Carlos Chagas (FCC). O evento foi organizado na UFT pelo Centro Acadêmico de Ciência da Computação (CACCOMP) em conjunto com a coordenação e professores do curso. Na primeira fase, a sede de Palmas contou com seis times de três diferentes escolas, que foi um feito inédito para o estado do Tocantins.

Equipes Fase Regional Maratona de Programação UFT - Palmas (TO).

Nome das equipes (Fase regional TO):

MyCoffeSoft (UFT)

Me segura que eu vou programar (UFT)

Iceberg (UFT)

Destemidos (UFT)

Computa In Action (UNIRG)

UlbraPalmas (ULBRA)

Lista de Problemas Primeira Fase

Os problemas da competição foram os seguintes:

A - Mania de Par - Vinícius Fernandes dos Santos

B - Bolsa de valores - Vinícius, Bruno, Cláudio

C - Tri-du - Ricardo Anido

D - Quebra-cabeça - Ricardo Anido

E - Espiral - Guilherme Albuquerque Pinto

F - Fatorial - Vinícius Fernandes dos Santos

G - Guaridões Curiosos - Stefano Tommasini

H - Praça do Retângulo - Vinícius Fernandes dos Santos

I - Ominobox - Davi Duarte Pinheiro

J - Jogo da Estratégia - Vinícius Fernandes dos Santos

K - Palíndromo - Vinícius Fernandes dos Santos

L - Loteria - Bruno Junqueira Adami

Ao final da competição ganhamos a competição no Tocantins e ficamos classificados na 6° posição da Super sede Brasil. O placar global de todas as sedes pode ser conferido neste link. Clique em ‘Pal’ para ver o placar de Palmas e em ‘BRA’ para ver o placar da sede regional (Palmas, Cuiabá, Porto Velho e Campo Grande).

Final Nacional (IBTA - SP)

Inicialmente não fomos classificados para a final nacional da maratona, mas após o resultado final a equipe MyCoffeeSoft foi classificada pelo critério da regra 3 (critério a e c) da Maratona de Programação:

a) O melhor time da instituição anfitriã;
b) O melhor time formado apenas por meninas;
c) Os melhores times dos estados ainda não representados na final: Alagoas, Sergipe, Tocantins e Rondônia.

Foto oficial equipe MyCoffeeSoft - São Paulo (SP).

Após a classificação da equipe estávamos nós na Final Nacional da Maratona de Programação 2015, na competição estavam presentes todas as melhores equipes do país (62 equipes). Ao final, após cinco horas de competição conquistamos o título de melhor equipe da região Norte do país (Amazonas, Pará e Tocantins) na 47° posição no placar geral, como pode ser conferido neste link.

Foto oficial da premiação como melhor equipe do Norte do país - São Paulo (SP).

Lista de Problemas Final Nacional

Os problemas da competição foram os seguintes:

A - At most twice - Pablo Ariel Heiber

B - Blood groups - Guilherme Albuquerque Pinto

C - Cake cut - Pablo Ariel Heiber

D - D as in Daedalus - Guilherme Albuquerque Pinto

E - Exposing Corruption - Walter Erquínio Pezo

F - Fence the vegetables fail - Pablo Ariel Heiber

G - Galaxy taxes - Rafael Armando Garcia Gomez

H - Height map - Pablo Ariel Heiber

I - Identifying tea - Inés Kereki

J - Just a bit sorted - Jorge Enrique Moreira Broche

K - Keep it energized - Fidel I. Schaposnik Massolo

Experiência

A experiência de participar da etapa nacional da Maratona de Programação é muito gratificante, pois proporciona aos participantes uma competição saudável que agrega novos conhecimentos, vivências e amizades. O evento proporcionou momentos de networking com as empresas patrocinadoras dentre elas a B2W e o Facebook. Durante esse momento com as empresas foi apresentado diversos assuntos interessantes como a utilização do Virtual Reality (VR) e técnicas de inteligência artificial e aprendizagem de máquina aplicada a sistemas de e-commerce. Abaixo você pode conferir um pequeno vídeo com um breve resumo de como foi a Maratona de Programação e as nossas rápidas aventuras na cidade de São Paulo.

Referências

[1] Maratona de Programação. IME-USP. Disponível em: http://maratona.ime.usp.br/. Acesso em: 06, mar. 2016.

Minicurso Controle de versão com Git e Github - (PT-BR)

Fri, 01 Jan 2016 00:00:00 +0000

Minicurso Controle de versão com Git e Github - (PT-BR)

Nos dias 3, 4 e 5 de Novembro aconteceu a VIII Semana Acadêmica de Ciência da Computação na UFT onde tive a oportunidade junto ao meu amigo Herinson Rodrigues @herodrigues de montar um minicurso com tema “Controle de Versão com Git e Github”. No primeiro dia ensinamos diversas maneiras de instalação do GIT e ferramentas de GUI nas diversas plataformas existentes no mercado como Windows, Linux e OSX. Abordamos durante os três dias do evento uma introdução ao controle de versão e aos comandos básicos do git como init, status, commit, clone, add, rm, pull e push além de comandos avançados como branch, checkout, merge, diff, remote, tag dentre outros. No último dia criamos um projeto simples colaborativo onde todos contribuiriam e colocaram em prática os comandos ensinados no minicurso

Link para o site VIII Semana Acadêmica de Ciência da Computação - UFT

O minicurso bastante proveitoso, pois muitos dos presentes nunca tiveram um contato com controle de versão ou com o Git e o Github!

No geral o planejamento e execução do minicurso um grande aprendizado, pois foi a minha primeira oportunidade de ministrar um curso

Foto da galera reunida no final do minicurso

Segue abaixo os slides apresentados no minicurso, por fins didáticos e de aprendizado utilizei a ferramenta de desenvolvimento de apresentações em HTML5, CSS e JS o RevealJS. A apresentação está hospedada no Github, lá vocês poderão acompanhar o histórico dos commit’s e também contribuírem com o projeto

Acesse o link para ver a apresentação em tela cheia

Mas afinal de contas o que é o Coding Dojo? - (PT-BR)

Fri, 01 Jan 2016 00:00:00 +0000

Mas afinal de contas o que é o Coding Dojo? - (PT-BR)

A palavra DOJO, em uma tradução literal do japonês, significa “lugar do caminho” e é originalmente usada para designar um espaço de meditação dos monges budistas. Em uma tradução livre dojo significa “lugar onde se estuda a vida”, mas hoje em dia o termo é mais conhecido como lugar onde se pratica artes marciais em uma sala dentro de uma academia com o chão coberto de tapetes.

Como funciona o Coding Dojo?

O dojo não é um local para exibicionismo ou competição. O principal objetivo do Coding Dojo é a prática e troca de conhecimento entre os participantes em qualquer nível de conhecimento. Acontece muito de um programador ter bom conhecimento de uma linguagem e um conhecimento deficiente de outra, por isso é proposto à realização do Dojo, para ensinar através do compartilhamento de ideias e conhecimentos.

Hello World - (PT-BR)

Thu, 31 Dec 2015 00:00:00 +0000

Hello World - (PT-BR)

Olá Mundo, aqui no meu blog você irá encontrar informações sobre meus projetos, tutoriais e artigos sobre desenvolvimento de uma forma prática e convidativa!