Docker containers high availability using Congruit

Congruit cannot be cool if it does not control Docker containers. From today it does! At moment is still an experimental feature but it seems to work fine.

logomakr_9879lg

Start Congruit in friend mode

congruit -debug -friend -token \

foobar -debug \

-gitrepo https://github.com/Congruit/example-stockroom.git \

-ssl_cert /vagrant/insecure-domain.crt  \

-ssl_key /vagrant/insecure-domain.key

With these arguments your Congruit instance starts and waits for a work to do…

screen-shot-2017-01-04-at-22-18-51

Start Congruit in Supervisor mode..

Supervisor mode is used to control Congruit “friends” via HTTPS.

-gitrepo https://github.com/Congruit/stockroom-docker-clu-controller.git  


-supervisor  -debug

You can find instructions to start and monitor two Docker containers here.

You will find an example of the workplace for managing Dockers in a Linux Centos7 down below:

[
 {
 "places": ["centos7" , "docker_is_not_installed"],
 "works": ["docker_package_yum"]
 },
 {
 "places": ["docker_is_not_running_systemd"],
 "works": ["docker_start_systemd"]
 },
 {
 "places": ["docker_tomcat_image_is_not_present"],
 "works": ["docker_pull_tomcat"]
 },
 {
 "places": ["everywhere", "docker_tomcat_is_not_running"],
 "works": ["run_tomcat_docker"]
 }
]
Advertisements

Anno nuovo, configuration management nuovo…

Buon anno a tutti i lettori di devopsrecipes.info 🙂

Qualche giorno fa, approfittando dell’apparente calma lavorativa tipica delle feste natalizie, ho deciso di studiare GO (https://golang.org/).

Molto figo, ma soprattutto, usare i puntatori mi ha fatto tornare indietro nel tempo quando “smanettavo” pesantemente in C.

Quel che è uscito fuori, tra un pò i programmi pieni di “foo” e “foobar” senza senso, è stato Congruit. Un nuovo configuration management tool scritto in GO ma che opera prettamente in Bash…

Link al repo Github

logomakr_9879lg

Naturalmente è molto minimale ma ha un non so che di “Bash” che lo colora molto di Sys-admin.

Diciamo che nell’ottica Devops è un pò più Ops. Pull request al repo sono benvenute 😉

Saluti

Cluster Liferay? Vagrant up @ Liferay Symposium Italy 2016

Salve a tutti,

dopo ormai svariati anni che lavoro sulle metodologie Devops, con una particolare attenzione al configuration management, penso sempre che alcune tecniche non possano più stupire/interessare una platea di persone altamente specializzate.

Invece il feedback di quanto mostrato oggi, al Liferay Symposium 2016 tenutosi a Milano, è stato molto positivo ( grazie anche alla spettacolare partecipazione di Alessio Biancalana aka dottorblaster http://dottorblaster.it/ e Claudio Umana ).

Di cosa si è parlato?

Il tema era molto semplice, come dare agli sviluppatori la possibilità di tirare su un cluster Liferay in pochi minuti.

Effetto demo… dovevo avere un exit strategy nel caso in cui la demo si rompesse.. Eccolo qui:

https://www.youtube.com/watch?v=VofvrMGaBqc

Tool Devops utilizzati?

Ho optato per, un ormai consolidato binomio, Vagrant + Chef.

L’architettura?

Ormai, in azienda, sanno tutti che sono un fan di Ha-Proxy per cui l’ho posizionato davanti a tutto.

clustat

Screen Shot 2016-11-09 at 19.48.04.png

Sotto, i due backend Apache Tomcat con la versione enterprise di Liferay Portal 6.2 EE sp14, che comunicano tramite multicast.

default.admin.password=liferay
default.admin.screen.name=Admin
default.admin.email.address.prefix=admin
default.admin.first.name=Test
default.admin.last.name=Test
setup.wizard.enabled=false
users.reminder.queries.enabled=false
terms.of.use.required=false

web.server.display.node=true
org.quartz.jobStore.isClustered=true

cluster.link.enabled=true
ehcache.cluster.link.replication.enabled=true
lucene.replicate.write=true
net.sf.ehcache.configurationResourceName=/ehcache/hibernate-clustered.xml
ehcache.multi.vm.config.location=/ehcache/liferay-multi-vm-clustered.xml

dl.store.impl=com.liferay.portlet.documentlibrary.store.AdvancedFileSystemStore
dl.store.file.system.root.dir=<%=node[‘sourcesense_liferay’][‘data_nfs_mount’]%>/document_library

cluster.link.autodetect.address=192.168.50.4:3306

jdbc.default.driverClassName=com.mysql.jdbc.Driver
jdbc.default.url=jdbc:mysql://<%=node[‘sourcesense_mysql’][‘db_host’]%>/<%=node[‘sourcesense_mysql’][‘database’]%>?useUniCode=true&characterEncoding=UTF-8&useFastDateParsing=false
jdbc.default.username=<%=node[‘sourcesense_mysql’][‘dbuser’]%>

Sotto ancora, una macchina con NFS per il disco dati condiviso, e Mysql Server.

Ho versionato il tutto su https://github.com/lucky-sideburn/demo-liferay  dichiarando nel Vagrantfile, nodi come questo:

liferaynode01.vm.provision :chef_solo do |chef|
chef.roles_path = ‘./chef/roles’
chef.data_bags_path = ‘./chef/data_bags’
chef.run_list = [
‘role[java]’,
‘recipe[sourcesense_liferay]’
]
end

 Il codice usato per la demo lo trovate qui:

https://github.com/lucky-sideburn/demo-liferay

Sarebbe bello scorporare i vari cookbook e condividerli nella community Chef 🙂 Per cui prendetene e cheffizzatene tutti!

ciao!

A simple recipe for MongoDB clusters

Hi everybody!

my task of today, was to configure a MongoDB with redundancy and high availability…

I decided to write my own Chef cookbook to configure “replica”

Below the most important parts:

Install MongoDB packages

Screen Shot 2016-10-14 at 21.13.03.png

Use template for the main configuration file

screen-shot-2016-10-14-at-21-15-04

Enable Linux service of MongoDB at the boot

screen-shot-2016-10-14-at-21-15-57

What about the replica’s configuration?

I suggest to use a custom LWRP that execute rs.initiate() to declare the replica set, rs.add(); to add primary and secondary servers, rs.addArb() to add arbiter servers. You can loop over hashes like this:

foobar => { “secondaries” => [“mynode01:27017″,”mynode02:27017”]}

and a Chef provider like this

screen-shot-2016-11-09-at-21-38-31

I need to test my cluster, so let’s prepare a Vagrant file like this in order to manage all virtual machines concurrently

screen-shot-2016-10-14-at-21-23-16

Finally, Haproxy as reverse proxy and load balancer! Use autodiscovery (https://github.com/hw-cookbooks/haproxy) in order to find automatically the backends and “health check” to point to the right node after a new primary server’s promotion.

screen-shot-2016-10-14-at-21-25-20

 

Ad maiora!

Come costruire un sistema anti-intrusione con notifica su HipChat

Salve a tutti i lettori di devopsrecipes.info!

è da un pò di tempo che volevo dare un’occhiata alla libreria OpenCV ( in particolare per la parte di face detection e video streaming capture da webcam ) e perchè no, montiamo il tutto su un Raspberry Pi!

Questo è quello che è venuto fuori 🙂

img_20160908_201751

Di seguito, il video di un test casalingo ( appena viene puntata la webcam su un volto umano, scatta subito la notifica verso HipChat )

How to

Procuratevi le seguenti cose:

  1. un Rasperry Pi
  2. una webcam
  3. una chiavetta USB wireless ( insomma… fate in modo che il vostro Raspberry esca su internet )

Una volta recuperati tutti gli oggetti…

  1. Installate OpenCV sul Raspberry. Se state utilizzando Raspbian potete anche installare i pacchetti libopencv-dev python-opencv senza dover compilare.
  2. Potete prendere come esempio FaceDetection in cui troverete uno script in Python con un pò di commenti utili e uno script shell per inviare i messaggi su HipChat.
  3. Se usate il send_message.sh, inserite ROOM_ID e AUTH_TOKEN corretti.
  4. Lanciate face.py ed il gioco è fatto. Commentate cv2.imshow(frame,gray) nel caso in cui non abbiate interfaccia grafica, oppure esportate il display su un altro computer per fare tutte le prove necessarie.

Link Utili:

Un getting started su come leggere lo stream video della vostra webcam

Un tutorial su come eseguire “face detection” con OpenCV

 

Saluti!

 

 

 

Perchè gli automobilisti 2.0 si accollano di meno ai semafori

Untitled

Non volevo crederci ma i dati di questo grafico sono stati verificati, o almeno a me, è capitato di poterli riscontrare empiricamente.

Il merito o demerito è tutto di Facebook e Whatsapp perchè distraggono anche gli utenti più nevrotici, quelli della classe U.A.N. (utenti abbienti nervosetti). Più che distratti, sono così affamati di feedback da non poter aspettare l’arrivo alla meta. Di solito mi scatto un selfie per far capire che sto guidando e non risponderò mai (non voglio incappare in quella che chiamo “sensazione di finta repulsione all’accollo” per cui, chi ti attacca il pippone/pilotto su Whatsapp, si possa sentire ignorato visto che le mie riposte sono composte solo da monosillabi e strane crasi).

Oppure al posto di ridere ahahahahahaha ridi tipo jhhjhjhkhihihkhhjhzqzqzqzq.

Quindi meglio troncare la conversazione e parlare dopo con calma.

Ted1-jpg.jpg

Finalmente, le mie ferie sono arrivate e ho deciso di interrompere i post smanettoni per quelli finalizzati al solo cazzeggio. Come questo che sto scrivendo (l’argomento trattato è un pò stupido lo so… però manca parecchio alla cena e devo ingannare il tempo scrivendo).

Gli step per questo esperimento sono molto semplici e i prerequisiti facilissimi da soddisfare.

  1. Un’automobile. Ho scelto la Peugeot 106 Rally di cui c’ho sempre avuto la fissa… mai comprata perchè famiglia, amici e fidanzatine varie me l’hanno sempre descritta come una macchina coatta anni 90. E’ molto figa invece.peugeot-106-rallye-5
  2. Un paio di freni per fermarvi ad un semaforo. Non fate come Anthony Hopkins in Indian – La grande sfida, che andate a cannone… E’ molto pericoloso per la salute e l’esperimento non funziona…Indian-La-grande-sfida-2005-604x340
  3. Un’automobile in coda alla vostra che contenga un conducente (se i conducenti sono più di uno l’esperimento è compromesso). Dallo specchietto retrovisore assicuratevi che la sua testa stia in rotta di collisione con uno smartphone. Ignorate chi manda messaggi audio da Whatsapp (quest’ultimi hanno una buona reattività al colore verde del semaforo)cellulare-alla-guida.jpg
  4. Non intralciate il traffico ma, abbiate una piccola esitazione nel partire ad un semaforo verde..abbiate una di quelle esitazioni che un tempo vi sarebbe costata una fastidiosa suonata di clacson e un probabile, simpatico, mattutino e poco 2.0 vaffanculo.maxresdefault

Scommetto un kebab che è andato tutto liscio!

Bella per tutti.

On how to annoy those who interrupt your Zen moment at the beach with the radio at a very high volume…

Due to the success achieved with the last post, we decided to translate it into English so that you all can enjoy it! Have fun!

A summer greeting to all the followers of devopsrecipes.info 😉

My holidays are getting closer and soon I’ll be away from the city chaotic life… In my backpack, besides a couple of big bottle of Peroni beers this year I’ll bring a “FM pirate Radio transmitter” just in case somebody annoys my nap at the beach by listening to the radio at a too high volume (so common in Italy, ain’t it?) intolerable! if you have taken drugs, it is very likely the music you hear doesn’t come from the neighbor’s speakers, then I suggest you to go and buy an Ice cream at the nearest cafe.

listening-to-old-time-radio-on-the-beach

If you wanna equip yourself with this powerful weapon, get the following things, or buy a Radio transmitter on Amazon (though is not cool to buy or download the app 😛 ):

  1. A Raspberry PI
  2. A portable power supply for smartphones (solar energy would be perfectfoglioline)
  3. A wireless pen drive
  4. A PHP script for the web interface management, like this https://github.com/lucky-sideburn/piratepiwave.git
  5. A software to grant the FM signal, for ex: https://github.com/rm-hull/pifm
  6. Last but not least, your smartphone!

Why point 4?

I was too lazy to fiddle around with GPIO to connect a LCD screen and a frequency controller, so I preferred to control the transmitter via my Smartphone.

  1. At first let’s install a web-server Apache + Php on our Raspbian Jessie Lite (of course everyone is free to use the favourite OS or web-server)
  2. If you are lazy it is also possible to use my PHP script https://github.com/lucky-sideburn/piratepiwave.git (I am not a web-developer so YES the graphic interface is super basic and not cool!)
  3. Install https://github.com/rm-hull/pifm in /usr/local/pifm (in the docs you will find wich GPIO you need to use to hook a handcrafted antenna made of metallic wire)
  4. Configure the wireless network interface controller in order to connect to your Smartphone hotspot (from the Admin panel you will get the assigned IP)
  5. Set everything to autostart on boot, attach the external battery to the Raspberry, once ready from your smartphone launch a http://$ipdelraspberry.

What shall we play on the “Zen moment harasser” radio?

Either you can copy and paste your fav audio tracks on /usr/local/pifm/sounds and modify the path of the file you want to use in the PHP script.

How do I select the FM frequencies? 

… or you can use the handy bar on top if you want to tune on a radio.

Screen Shot 2016-08-15 at 11.25.27.png

Or you can create buttons like these, with the selected radio frequencies

Screen Shot 2016-08-15 at 11.28.20.png

There you are, the final result!

IMG_20160815_113020

Happy holiday!!!