Eenvoudig data scrapen met ChatGPT en n8n

Hans Blaauw — Mon, 02 Sep 2024 08:47:04 +0000

Introductie Je hebt wat data nodig van een site en je wilt dit opslaan in bijvoorbeeld in MySQL. Vroeger deed je dit wellicht met HTML scarping maar tegenwoordig kan dit ook met AI. Hoe eenvoudig gaat dit?

Wat is de uitdaging?

De uitdaging is om via AI dynamische energieprijzen op te halen en te verwerken. In het verleden deden we dit met webscraping maar met AI kan dit een stuk eenvoudiger.

Wat heb je nodig?

Wat ons betreft bestaat deze toolset standaard uit een low-code oplossing die we vaak gebruiken, namelijk:

Easypanel server beheer;
n8n workflow automation;
MYSQL;
Budibase (CRUD tool);
ChatGPT API account en key;
Gotenberg.

Met deze oplossing kun je elke keer weer:

alles eenvoudig beheren;
workflow logica bouwen;
data opslaan;
interne applicaties rondom die data bouwen.

Als je als bedrijf ook een dergelijke Open Source omgeving wilt laat het ons dan weten, voor een fee regelen we het voor je.

Waar halen we de data?

Dit is een belangrijke vraag en ik promoot zeker niet het onbeperkt scrapen van data. In dit geval haal ik de data bij Jeroen.nl. Dat is een leuke site en heel toevallig komt hij ook nog eens uit Groningen.

De data

Op de site van Jeroen.nl staat de volgende data.

Dat is interessante data om iets mee te doen.

De tools aan elkaar knopen

Dit is het belangrijkste onderdeel. Zorg in ieder geval dat je de volgende tools hebt draaien onder Easypanel:

Gotenberg (screenshots);
n8n (workflow).

Vervolgens bouwen we in n8n de flow hieronder. Deze moet ervoor zorgen dat we een actuele prijs uitlezen uit een screenshot.

We zullen de stappen in de n8n flow uitleggen. In deze post leggen we niet uit hoe je Gotenberg moet installeren. Dit kun je eenvoudig doen als je Easypanel hebt draaien.

Screenshot maken

Hoewel het misschien wat omslachtig klinkt maken we als eerste een screenshot van de URL bij jeroen.nl. Dit doen we met een HTTP request.

Om het screenshot via Gotenberg te laten werken moet je de volgende parameters vullen:

URL Gotenberg applicatie;
Body parameter url;
Body parameter o;
Body parameter clip;
Body parameter width;
Body parameter height;

URL
Dit is de URL van Gotenberg. Dit kun je in Easypanel vinden onder domain. Uiteraard alleen als je easypanel gebruikt.

url
Dit is de URL van de website waar je de data wilt ophalen, in dit geval https://jeroen.nl/dynamische-energie/prijzen#:~:text=Actuele%20dynamische%20energieprijzen%20voor%20vandaag,00%20en%2020%3A00).

o
Dit is de naam van het bestand om het screenshot in te bewaren, bijvoorbeeld screenshot.png

clip
Deze zet je op true.

width
Dit is de breedte van het screenshot.

height
Dit is de hoogte van het screenshot.

Als je nu de workflow zou draaien dan maakt hij het screenshot.

Bestand wegschrijven

We gebruiken hiervoor de N8N module Read/Write Files from Disk. Dit hebben we nodig om het bestand tijdelijke te bewaren en te kunnen gebruiken voor ChatGPT.

Je ziet hierboven welke waarden je moet vullen.

Teksten uit het screenshot halen via ChatGPT

Wat we nu willen doen is bepaalde informatie uit het screenshot halen, dit doen we via de ChatGPT API.

Binnen n8n gebruik je de OpenAI module, hieronder zie je de instellingen.

We gebruiken in dit geval de ChatGPT mini uitvoering, die is wat goedkoper. Let erop dat je de module moet configureren met je API key.

Het resultaat

Als je de workflow draait dan zal hij het screenshot analyseren en je de juiste prijs geven.

Via n8n kun je natuurlijk weer een hele hoop doen met de verkregen data, bijvoorbeeld opslaan in een database.

Uiteraard hangt er een prijskaartje aan. ChatGPT mini is een stuk goedkoper dan de volledige versie. Een dergelijke dagelijkse check voor iets op een website kost ongeveer 1 cent.

Interesse in hoe je dit zelf eenvoudig doet?

Lowcode server

The post Eenvoudig data scrapen met ChatGPT en n8n first appeared on THINGS IO | Low-code data koppelen vanuit Groningen.

Using ChatGPT to create WordPress automation plugin for make.com

Hans Blaauw — Mon, 03 Jul 2023 19:08:57 +0000

How easy was it to create a plugin to post order details to a make.com webhook?

Well, very very easy. I have been doing some PHP stuff in my life and other programming languages but I never bothered to get into WordPress plugin development. Too lazy and simple not interesting enough. Below is an extract of what ChatGPT offered me.

First of all, do I see any danger in this?

I’m not scared of new technology, I always feel we need to try before we judge. I think AI is challenging when it comes to original content and the truth, but as a copilot to help us it is great.

Will people lose their job? Sure they will but jobs will change like always. When I got my first computer in the 80’s my life changed and the way I approached work changed. Yes this is more radical because AI can do more on itself but still.

Back to the WordPress plugin.

Because of the automation work I do when it comes to WooCommerce ordering etc. I challenged ChatGPT to create a plugin that would connect to make.com and send data after an order is created. This can all be done with current tools but I wanted to see how fast and accurate ChatGPT could write this. Spoiler alert, pretty fast and good!

My original prompt Create a wordpress plugin that connects to a make.com webhook after a woocommerce order is received.

The first result

The first result was simple and short and did not include a settings page. I did not expect ChatGTP to know the http:// webhook format of Make.com and that was indeed the case.

What surprised me was the fact it knows the event you can use in WordPress to do this. And it also knows what the order format of WordPress is, very good indeed.

I took the result and changed the Make.com webhook URL by handed and zipped all up. I uploaded it in my WordPress site and yes it worked. Overall 10-15 minutes work, wow.

Ok, I wanted more

I thought cool but let’s regenerate the response.

Different and actually better. I now used my second prompt.

My second prompt Add a settings page for the make url

Now including settings page

Based on my second prompt ChatGPT started working on a settings page and it worked perfectly.

I just needed to add two lines to the original function to make the settings page work and use the settings URL.

$options = get_option(‘make_com_webhook_integration_settings’);

$webhook_url = isset($options[‘make_com_webhook_integration_url’]) ? $options[‘make_com_webhook_integration_url’] : ”;

The end result

I like the end result and it works perfectly in WordPress. For sure there will be challenges but ChatGPT was a great help in creating a useful and simple plugin.

ChatGPT and WordPress in the future

This whole idea of WordPress and plugins is great but I foresee a change in the near future. Instead of configuring lots of setting of all kinds of plugin WordPress will probably move to a model where you can create custom plugins through ChatGPT in their own interface. Anyone can do it and it’s not hard to use.

ChatGPT

Visit site

The post Using ChatGPT to create WordPress automation plugin for make.com first appeared on THINGS IO | Low-code data koppelen vanuit Groningen.

chatgpt - THINGS IO | Low-code data koppelen vanuit Groningen