Digital Ocean - THINGS IO | Low-code data koppelen vanuit Groningen

Hoe bouw je een Open Source data management platform?

Hans Blaauw — Tue, 03 Sep 2024 08:21:48 +0000

Introductie De doelgroep voor deze post is het MKB, voor grotere bedrijven zijn er hele andere opties. Maar, wellicht kun je er nog iets van opsteken.

Wat was onze uitdaging?

Voor een middelgrote klant met logistieke centra en allerlei losse oplossingen zochten we:

een platform om data te verzamelen uit API’s;
een low-code oplossing om die data eenvoudig te bekijken/beheren;
een database;
een workflow automation tool;
een eenvoudige server management tool;
een eenvoudige server omgeving.

Uiteraard was een belangrijke eis beveiliging, dit is altijd de grootste uitdaging. Alle tools moesten dus bij voorkeur op een krachtige server draaien met alleen maar connecties over het interne netwerk. Daarnaast zoveel mogelijk 2FA, IP whitelisting en andere zaken.

Heb je een dergelijke oplossing nodig en moeten we dit voor je opzetten?

Plan afspraak

Een eenvoudige server management tool

Toen we hier een jaar geleden mee begonnen was dit een uitdaging. We zochten iets simpels met ook de mogelijkheid om eenvoudig applicaties in een Docker omgeving te deployen. Bj voorkeur ook nog met een marketplace.
Na een zoektocht van enkele maanden kwamen we Easypanel tegen, een moderne manier om een server te beheren met een supereenvoudige installatie. De reviews waren geweldig en tot nu toe hebben we geen enkele teleurstelling gehad.

Intussen hebben we ook een andere managed omgeving ontdekt voor Open Source tools maar daar berichten we later over.

Het mooie van Easypanel is de ondersteuning voor Docker en Docker swarm en de marketplace voor Open Source tools. Alle applicaties zoals:

N8N,
Budibase,
MariaB,
Postgress;
PHP admin;
WordPress
en nog 50 andere applicaties

zijn met 1 klik te installeren.

Easypanel heeft ook een hele reeks aan features die goed van pas komen:

automatische MariaDB backups;
Docker compose;
Traefik reverse proxy met whitelisting op service niveau;
domain configuratie;
maintenance mode;
redirects;
monitoring;
en nog veel meer.

Data verzamelen uit API's

De opdracht was groot. Door allerlei data silo’s in o.a.: Visma, Superoffice, website, spreadsheets en specifieke applicaties was er behoefte aan 1 plek voor data en applicaties die met die data kunnen werken.

Feitelijk zochten we een ETL oplossing zoals je die wel ziet in het Saas model.

Hoewel we ook veel werken met tools zoals Zapier en Make.com was de conclusie dat dit niet zou gaan werken. Het zijn prachtige tools maar op het moment dat je miljoenen records doet is het simpelweg te duur. De prijs was in dit geval dus de spelbreker. Daarnaast zochten we gewoon een oplossing om alles op 1 krachtige server te draaien.

Voor het verzamelen en transformeren van data gebruiken we de combinatie N8N en MariaDB. MariaDB kan met de juiste server specificaties miljoenen records aan en dat is wat we zochten. N8N is een mooi Open Source alternatief voor Zapier en Make.com en kan ook per workflow duizenden records afhandelen.

Een low-code oplossing voor interne applicaties

Onze zoektocht naar een flexibele en eenvoudige Open Source low-code tools was langer. Enkele geteste oplossingen: Tooljet, Appsmith, NocoDB, Baserow en Budibase.

Uiteindelijk is ons oog gevallen (geen spijt) op Budibase en daar werken we nu al meer dan een jaar mee. Budibase is ons platform voor het inzichtelijk maken van alle data die via de API binnenkomt. Maar daarnaast worden er ook andere interne applicaties mee gebouwd. Omdat het Open Source is lopen we niet teveel risico, de code van het platform is altijd beschikbaar.

De licentiestructuur van Budibase is eenvoudig, tot 20 gebruikers gratis met bepaalde features en daarna betaald. Je kunt dan nog steeds kiezen voor self-hosted of cloud.

De tools aan elkaar knopen

Uiteindelijk is de keten Easypanel > MariaDB > N8N > Budibase zeer sterk gebleken. Met uitstekende support voor alle tools is dit een ijzersterke combinatie.

Over het algemeen zetten we de tools als volgt in:

N8N voor alle workflow automation en ETL in combinatie met MariaDB;
Budibase voor beheren/verwerken/visualiseren van de data;
MariaDB voor het opslaan van de data.

Eenvoudige server omgeving

We zijn al jaren fan van Digital Ocean, niet omdat de servers altijd het snelst zijn maar meer i.v.m. het gebruiksgemak en de beschikbaarheid van een API en S3.

Hoewel we intussen een betere omgeving aan het optuigen zijn, managed Open Source, heeft de Digital Ocean omgeving ons nooit in de steek gelaten. We gebruiken de volgende features:

S3 Spaces voor MariaDB backups en file backups;
API voor snapshots.

Op dit moment draait de eerder genoemde applicatie combinatie het beste op een server met 8 Gb. met 4 vCPU’s. Dan moet je aan een prijsniveau van EUR 100-200 per maand denken. Dan heb je een hele complete server omgeving waarop je diverse applicaties kunt ontwikkelen.

Het opzetten van een omgeving die we hier beschrijven is zelf te doen maar wil je alle valkuilen voorkomen dan kunnen we het voor je doen voor een vaste flatfee.

Heb je een dergelijke oplossing nodig en moeten we dit voor je opzetten?

Plan afspraak

The post Hoe bouw je een Open Source data management platform? first appeared on THINGS IO | Low-code data koppelen vanuit Groningen.

Zombie verbruik voorkomen met Digital Ocean servers

Hans Blaauw — Mon, 04 Dec 2023 14:16:15 +0000

Digital Ocean Digital Ocean vereenvoudigt cloud computing zodat ontwikkelaars en bedrijven meer tijd kunnen besteden aan het bouwen van software die de wereld verandert.

Wat is Zombie verbruik?

We hebben het over Zombie verbruik als je servers nutteloze dingen staan te doen of als er servers aan blijven staan voor bijvoorbeeld development.

Waarom wil je minder Zombie verbruik?

Dat is natuurlijk simpel te beantwoorden, bij Digital Ocean is minder verbruik gelijk aan minder kosten. Zombie verbruik is slecht voor je portemonnee en slecht voor het milieu. Die servers staan namelijk voor jandoedel te draaien en dat is niet heel erg schoon.

Wat zijn typische Zombie verbruik veroorzakers?

In bedrijven waar je ook developers hebt zie je ook veel Zombie gebruik. Ze hebben vaak test machines nodig en vergeten die of uit te zetten of te verwijderen.

Daarnaast kunnen applicaties die alleen tijdens kantooruren nodig zijn ook Zombie verbruik creëren. Als iets alleen tijdens kantooruren nodig is dan kun je het ook uitzetten. Laat jij het licht ook altijd branden?

Hoe kunnen we het aanpakken?

Digital Ocean heeft gelukkig een zeer uitgebreide API waarmee je ook je machines kunt: starten, stoppen, resizen enz. Door slim gebruik te maken van de API kun je elke dag kosten besparen.

Een kleine maar... Deze aanpak zal niet werken voor elk scenario. Als het gaat om servers die een website hosten dan is deze aanpak niet te gebruiken mits je publiek alleen Nederlands is en niet in de nacht zit te kijken. In de situatie van een website kun je nog wel je server downsizen in de nacht, het is dan toch rustiger.

Alle stappen

Om dit voor elkaar te krijgen moeten we een aantal stappen nemen:

Access Token aanmaken;
ID van je Droplet achterhalen;
Scenario’s bedenken;
Volgorde van acties;
Details API calls;
Hoe gebruiken we dit nu?

Acces token aanmaken

Om met de Digital API te kunnen werken heb je een acces token nodig.

Door Generate New Token te klikken kun je een nieuwe token aanmaken. Het is belangrijk om de name, expiration, en write opties te gebruiken. Zonder write access kun je niet veel. Als je superveilig wilt laat dan de token regelmatig verlopen.

Noteer het token direct en sla deze digitaal op op een veilige plek. Je hebt hem nodig voor de authenticatie met de Digital Ocean API.

ID van je droplet achterhalen

Als we het binnen Digital Ocean over een droplet hebben dan bedoelen we meestal een server met of zonder een applicatie. Dit is de benaming van Digital Ocean. Als je via de API’s bepaalde zaken van die droplet wilt aanpassen dan heb je een droplet ID nodig. Die ID kun je achterhalen in het droplet overzichtscherm.

Als je op een droplet klikt dan kun je in de URL, die je kunt zien in je browser adresbalk, de ID zien. Noteer of copy deze ID.

Scenario's bedenken

Er zijn een paar droplet acties die van belang zijn: shutdown, power_off, power_on en resize. Er zijn meer acties maar met deze beginnen we.

Wat is de volgorde van acties?

Sommige Droplet acties zijn nodig voordat je een andere uitvoert. Wil je bijvoorbeeld een upzise uitvoeren dan moet je bijvoorbeeld de volgende volgorde aanhouden:

power_off
shutdown
resize
power_on

Verder moet er tussen de acties een redelijke pauze zitten, ook afhankelijk van wat er allemaal op de server staat.

Let op Als je power_off en shutdown uitvoer dan is je serer gewoon niet bereikbaar. Stel je wilt je webserver in de nacht downsizen dan is deze tijdelijk onbereikbaar. Je maakt dus altijd een kosten baten brekening voordat je dit doet. Verder adviseren we altijd voldoende snapshots te maken (kan ook via de API).

In ons voorbeeld gebruiken we Pipedream om dit alles automatisch aan te roepen. Pipedream is een automation engine die op gezette tijden API’s kan aanroepen. Je kunt dit ook via o.a. Zapier, Make.com en N8N doen.

Hoe zien de API calls eruit?

We beschrijven hier welke API calls je moet doen. Zoals gezegd kan dit ook via Pipedream enz. Mocht je dit willen dan kunnen we je daarbij helpen.

In de basis gebruiken we 1 URL om via de API aanpassingen aan een droplet te doen:

https://api.digitalocean.com/v2/droplets//actions

Deze URL roepen we altijd aan met de header: Authorization Bear De aanroep is altijd een POST.

De header Content-Type moet ingesteld zijn op application/json.

De body bestaat uit JSON die elke keer anders is bij de actie die we aanroepen.

power_off: {“type”: “power_off”}

shutdown: {“type”: “shutdown”}

power_on: {“type”: “power_on”}

resize: {“type”: “resize”,“disk”: false,“size”: “s-2vcpu-4gb-amd”} De size parameter is de soort machine.

Hoe gebruiken we dit nu?

Het uitgangspunt is dat je elke nacht je servers kunt stoppen en dan op tijd in de ochtend weer alles aan kunt zetten. Uiteraard kun je hiermee spelen naar eigen wens.

Ken je Digital Ocean nog niet?

Ontdek nu

The post Zombie verbruik voorkomen met Digital Ocean servers first appeared on THINGS IO | Low-code data koppelen vanuit Groningen.

Run your own automation with N8N and Digital Ocean

Hans Blaauw — Mon, 03 Jul 2023 09:04:29 +0000

Why run your own automations platform

Like with hyperscalers (AWS, Azure), hosted automation platforms can become expensive depending on a few factors:

for what scenarios you use it;
how many executions you need.

Disclaimer For referring we sometimes earn a small commission. In almost all cases, we write about tools/plugins because we have successfully deployed or used them ourselves. You will never find wonderful stories here from, for example, dropshipping experts with implausible stories about earning millions. You get the "real deal" here. THINGS IO is an expert by experience and tries to help you as much as possible.

Which automation platforms do we use?

Self hosting N8N

We have discovered that automation tools that charge by operations can become expensive fast. Take for example the scenario that you need to parse a JSON file and add all “records” found to a database. This eats a lot of operations. Another sample is using an automation platform as a kind of rule engine for sensor data. This can easily get out of control because sensors can post a lot of changes.

In these cases self hosted N8N can be interesting.

I’m not an infrastructure expert but setting up N8N on for example Digital Ocean is straightforward and pretty easy. Of course, for a stable high availability solution this basic setup isn’t good enough.

What do you need?

You need the following things:

1-3 hours of your time;
a Digital Ocean account;
a domain.

We have a referral link for Digital Ocean which you can use. We plants trees for part of the referral money we earn.

Digital Ocean gives you $200 credit for the coming 60 days, pretty good deal if you ask me.

There is a great tutorial available on the N8N site and we didn’t want to rewrite that one. A link will follow at the end of this post.

Basically what you need to do is:

setup a droplet on Digital Ocean;
lgin to droplet;
clone a repository;
setup DNS;
open ports;
start configuring N8N.

We advise you to use the Digital Ocean console if you are not so familiair with other tools.

Check the tutorial for N8N.

Visit

The post Run your own automation with N8N and Digital Ocean first appeared on THINGS IO | Low-code data koppelen vanuit Groningen.