วีดีโอ

Thank you so much for sharing your experience! It's truly inspiring to hear how you successfully transitioned from a freelancer to an employer while building your own business. Your ability to recognize your worth and the value you bring to companies is commendable, and charging $1200 per day on your first job is impressive. I also appreciate you highlighting the importance of continuous education and how it impacts productive time. Many freelancers face similar challenges, and your insights can definitely help them understand the significance of investing in their skills and knowledge. I'm glad the video resonated with you, and your story will surely encourage other freelancers to recognize their value and strive for success. Keep up the great work, and thank you for contributing to the conversation!

Habe ich gerne gemacht 🤝🏼🔥

Hi @LANDLORDINHO ich muss direkt schmunzeln, endlich mal einer der es ausspricht haha, ja du, du hast verdammt recht! Aber hey, das ist eine Nische die niemand bedient (bzw. nur wenige) und auch wenn sie klein ist, sind es genau die Leute die erreichen möchte. Dein Kommentar animiert mich mehr Videos zu machen, weil ich eben doch nicht alleine bin 🥳 und du und ich als Coder wissen, dass man auch ganz gut mit nur einem Kunden pro Monat überlegen kann, deswegen suche ich qualitative Zielgruppen. Beste Grüße aus Leipzig

@@ossenbrueck ich wünsche dir ganz viel Erfolg!

Vielen Dank für deinen informativen Kommentar zu automatisierten Browsern und Cloudflare-Umgehung! Du bietest hier wirklich wertvolle Einblicke für alle, die sich mit Web Scraping und Automatisierung beschäftigen. SeleniumBase klingt nach einer ausgezeichneten Option! Auch undetected-chromedriver scheint eine starke Alternative zu sein. Es ist praktisch, dass beide headless laufen können - das spart definitiv Ressourcen. Dein Tipp zu nodriver ist ebenfalls interessant. Es könnte sich lohnen, diese Library genauer unter die Lupe zu nehmen. Was die Captcha-Lösung betrifft, ist dein Vorschlag mit Capmonster wirklich clever. Es ist cool zu hören, wie du das bei deinem Browser-Game-Bot eingesetzt hast. Die Beschreibung des Prozesses ist sehr aufschlussreich und könnte vielen Entwicklern helfen, die vor ähnlichen Herausforderungen stehen und das Video und dein Kommentar hier sehen. Insgesamt bietest du hier einen tollen Überblick über verschiedene Tools und Techniken. Deine praktischen Erfahrungen machen den Kommentar besonders wertvoll. Vielen Dank, dass du dein Wissen mit der Community teilst!

@@ossenbrueck die Antwort hört sich stark nach ChatGPT an. Irgendwie unpersönlich

Hi Tony, ich betreibe das Programm auf meinem Server in Docker-Containern. Ich teile das Dockerfile gerne mit dir/euch! """ # Use an official Python runtime as a parent image FROM python:3.10.14 ADD . / WORKDIR / # Install any needed packages specified in requirements.txt COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # Run main.py when the container launches CMD ["python3", "-u", "main.py"] """ Das war's! Auf dem Server nutze ich Docker-Compose und hier ist der Code: """ version: "3.9" services: bot-crawl-websites-1: image: index.docker.io/...:master container_name: bot-crawl-websites-for-emails-1 volumes: - ./input-1.json:/input.json - ./output-1.json:/output.json deploy: resources: limits: cpus: '1' memory: '4096M' network_mode: host privileged: true """ Das kannst du mit beliebig vielen Containern machen, du musst nur für jeden neuen Container eine neue Input- und Output-Datei anlegen (input-1.json, input-2.json, usw.) PS: In allen meinen Videos habe ich den Code auf Github hochgeladen, außer bei diesem Projekt. Das ist etwas groß und besteht ja aus 4 Modulen, und Bedarf mehr Dokumentation und Anleitung für die Community. Wenn wirklich Interesse an dem Crawler besteht und das Video mehr Watchtime bekommt, dann nehme ich mir die Zeit und veröffentliche gerne das Programm. Alles Gute und ich hoffe ich konnte Helfen!

@@ossenbrueck Hi Kevin, super spannendes Projekt! Saß diese Woche an einem ähnlichen Ansatz, allerdings mit scrapegraphai (LLM + Webscraping), bei das Modell mit Prompts Infos über die Seite sammeln soll und Zusammenfassung erstellen kann. Das ist gerade für personalisierte E-Mail Kampagnen interessant, damit die Mail nicht wie Spam vorkommt. E-Mails zu extrahieren habe ich damit leider noch nicht hinbekommen. Würde mich super freuen, wenn du Dockerfile teilen könntest! LG

Hi @@alexppv9182 das ist eine tolle Idee! Das wäre auch eine Ausbaustufe meines Programms! Ich habe es für die Demonstration im Video weggelassen, weil: A) simpel ist besser für TH-cam-Videos und B) die GPT-Requests via API kosten ja Geld und bei der Menge an Daten die durchgejagt werden, sind die Kosten etwas hoch. In Zukunft werde ich das Programm auf jeden Fall um LLMs erweitern, aber nur lokal betriebene und kostenfreie. Kennst du ein LLM/Tool das ich lokal nutzen könnte um die Kosten von GPT zu umgehen, aber das mindestens genau so eine gute Qualität wie GPT oder Claude.ai liefert? Liebe Grüße Kevin

@@alexppv9182 Keine Intelligenz, dafür ein schlaues Skript, dass E-Mails in den meisten Fällen erkennt ;-) Das Python-Skript: """" import re from typing import Set, List, Tuple from urllib.parse import urlparse, unquote from collections import defaultdict from publicsuffix2 import PublicSuffixList from config.logger_config import setup_logger logger = setup_logger(__name__) class EmailFinder: """ EmailFinder: The Sherlock Holmes of Email Addresses This digital detective is on a mission to uncover email addresses hiding in plain sight. Armed with regex superpowers and a keen eye for obfuscation, it leaves no stone unturned in its quest for the elusive email. Key Features: - Regex Magnifying Glass: Spots emails in their various disguises. - Mailto Link Decoder: Cracks the code of those sneaky mailto: links. - Domain Bloodhound: Sniffs out emails matching specific domains. - Obfuscation Buster: Sees through the clever tricks used to hide emails from lesser sleuths. Whether you're hunting for contact info or just curious about what email treasures lie buried in your content, EmailFinder is your trusty sidekick. Let's solve some mysteries! """ def __init__(self): """ Gearing up for the email hunt! We're loading our regex rifles with patterns so precise, they could spot an @ symbol in a haystack of asterisks. """ # The Swiss Army Knife for catching general email addresses self.psl = PublicSuffixList() self.email_pattern = re.compile( r'\b([A-Za-z0-9._%+-]+)\s*(?:@|\[at]|\(at\)|\(ät\)|\(et\)|\s+at\s+)\s*([A-Za-z0-9.-]+(?:\s*(?:\.|\s*\[dot]\s*|\s*\(dot\)\s*)\s*[A-Za-z0-9]+)+)\b', re.IGNORECASE | re.UNICODE ) # The Mailto Mangler: For when emails try to hide in plain sight self.mailto_pattern = re.compile(r'mailto:([^?&\s]+)', re.IGNORECASE | re.UNICODE) def find_emails(self, content: str, domain: str) -> Set[str]: """ The Great Email Hunt: Finding needles in a haystack of text. This method is like a truffle pig, but instead of tasty fungi, it's sniffing out email addresses. It's not picky - it'll find any email, but it has a soft spot for those matching our special domain. Args: content (str): The jungle of text we're exploring. domain (str): The VIP domain we're especially interested in. Returns: Set[str]: A treasure chest of unique email addresses. If we find our VIP emails, that's all you get. Otherwise, here's everyone we found at the party. """ if not content: return set() base_domain = self.get_base_domain(domain) processed_emails = defaultdict(set) # First, let's check those mailto links. They're like email gift baskets. mailto_emails = self.mailto_pattern.findall(content) for email in mailto_emails: processed_email = unquote(email) # Unwrapping the gift email_domain = processed_email.split('@')[1] if '@' in processed_email else '' if self.is_matching_domain(email_domain, base_domain): processed_emails['domain_specific'].add(processed_email) else: processed_emails['other'].add(processed_email) # Now, let's cast our net wide and see what other emails we can catch all_emails = self.email_pattern.findall(content) for local_part, domain_part in all_emails: processed_email = self.process_email(local_part, domain_part) email_domain = processed_email.split('@')[1] if self.is_matching_domain(email_domain, base_domain): processed_emails['domain_specific'].add(processed_email) else: processed_emails['other'].add(processed_email) # If we found our VIP emails, that's our headline act. Otherwise, here's everyone we met. return processed_emails['domain_specific'] if processed_emails['domain_specific'] else processed_emails['other'] @staticmethod def process_email(local_part: str, domain_part: str) -> str: """ The Email Makeover Artist: Turning rough drafts into email supermodels. This method takes the scattered pieces of an email address and assembles them into something that'll turn heads in any inbox. Args: local_part (str): The "you" in "you@example.com". Let's make it shine! domain_part (str): The "example.com" part. We'll give it a good polish. Returns: str: A fully assembled, ready-for-the-runway email address. """ local_part = local_part.strip().lower() domain_part = re.sub(r'\s*(?:\[dot]|\(dot\))\s*', '.', domain_part).strip().lower() # Squeezing out all the air (whitespace) from the domain domain_part = ''.join(domain_part.split()) return f"{local_part}@{domain_part}" def get_base_domain(self, domain: str) -> str: """ 🔮 The Mystical Art of Domain Essence Extraction 🔮 Behold, brave code wizard, for you have stumbled upon the sacred scroll detailing the arcane ritual of base domain extraction! This mystical method is a powerful incantation capable of distilling the very essence of a domain, revealing its true form beneath layers of subdomains and schemes. Args: domain (str): The mystical string containing a domain name or URL. It may be adorned with schemes, www's, or subdomains, like a tree heavy with ornaments. Returns: str: The true, unadorned base domain. """ parsed_url = urlparse(domain) hostname = parsed_url.hostname if parsed_url.hostname else domain base_domain = self.psl.get_public_suffix(hostname) return base_domain @staticmethod def is_matching_domain(email_domain: str, base_domain: str) -> bool: """ The Domain Matchmaker: Seeing if two domains are meant to be together. This method checks if our email domain and base domain are a perfect match, or at least closely related. It's like a dating app, but for domains. Args: email_domain (str): The domain part of an email, looking for love. base_domain (str): The domain we're hoping to match with. Returns: bool: True if it's a match made in heaven (or at least in DNS), False if they're just not that into each other. """ # Removing all whitespace - domains don't need personal space email_domain = ''.join(email_domain.split()) base_domain = ''.join(base_domain.split()) return email_domain == base_domain or email_domain.endswith('.' + base_domain) def batch_process(self, contents: List[str], domain: str) -> Set[str]: """ The Email Assembly Line: Processing content faster than you can say "spam". This method is like a factory worker with octopus arms, efficiently handling multiple pieces of content at once. It's all about quantity AND quality. Args: contents (List[str]): A conveyor belt of content strings, ready for processing. domain (str): The domain we're keeping an eye out for. Returns: Set[str]: A big bag of unique email addresses, freshly harvested from all our content. """ all_emails = set() for content in contents: all_emails.update(self.find_emails(content, domain)) return all_emails @staticmethod def analyze_results(emails: Set[str]) -> Tuple[int, List[str]]: """ The Email Statistician: Crunching numbers like a boss. This method takes our email harvest and gives us the juicy stats. It's like ESPN for email domains, but with fewer sports metaphors. Args: emails (Set[str]): Our big collection of email trophies. Returns: Tuple[int, List[str]]: A dynamic duo of digits and domains. First, how many unique domains we've conquered. Second, a VIP list of these domains, sorted for your viewing pleasure. """ domains = {email.split('@')[1] for email in emails} return len(domains), sorted(domains) """"

@@alexppv9182 Das Dockerfile ist: """ # Use an official Python runtime as a parent image FROM python:3.10.14 ADD . / WORKDIR / # Install any needed packages specified in requirements.txt COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt # Run main.py when the container launches CMD ["python3", "-u", "main.py"] """ PS: Wenn das Video mehr Reichweite erlangt, dann werde ich den Code auf Github veröffentlichen.

Danke für das Teilen deiner Erfahrung.

Vielen Dank für Ihren Beitrag und die Warnung bezüglich CCleaner! Es ist sehr wertvoll, dass Sie Ihre Erfahrungen und Erkenntnisse mit der Community teilen. Sie haben recht, dass sich die Technologie und Best Practices im Laufe der Zeit ändern. Ein drei Jahre altes Video kann in der schnelllebigen Welt der Technologie tatsächlich schon veraltet sein. Ihre Warnung vor CCleaner ist sicherlich beachtenswert. Es stimmt, dass unsachgemäße Nutzung von Systemoptimierungs-Tools zu Problemen führen kann. Windows 10 und 11 bieten in der Tat robuste integrierte Werkzeuge zur Systempflege. Die von Ihnen erwähnten Alternativen - Wintoys, Winget und Microsoft PowerToys - sind interessante Optionen, die viele Nutzer vielleicht noch nicht kennen. Es wäre spannend, mehr über Ihre Erfahrungen mit diesen Tools zu hören. Ihre Betonung, dass die eingebauten Windows-Funktionen oft ausreichen, ist ein wichtiger Punkt. Viele Nutzer unterschätzen möglicherweise die Fähigkeiten ihres Betriebssystems. Dennoch möchte ich anregen, dass verschiedene Nutzer unterschiedliche Bedürfnisse haben können. Während Ihre Empfehlungen für viele zutreffen mögen, könnten andere Nutzer in bestimmten Situationen von zusätzlichen Tools profitieren. Es ist immer gut, informierte Entscheidungen zu treffen und vorsichtig mit System-Tools umzugehen. Danke nochmals für Ihren engagierten Beitrag zur Diskussion. Solche Warnungen und Alternativen helfen der Community, bessere und sicherere Entscheidungen für ihre Computersysteme zu treffen.

Danke für das liebe Kommentar 🙏🏻 wenn du mehr Informationen oder Hilfe benötigst beim Programmieren, kannst du mich auch direkt kontaktieren. Auf meiner Homepage (www.ossenbrück.de) findest du am Ende der Seite ein Kontaktformular. Keep Coding 😎👊🏻✨

Grüße, hast du noch Fragen zum Thema oder brauchst du Hilfe?

@@ossenbrueck Ich will Programmieren lernen. In C oder Pascal. Ich habe mir cygwin mal installiert weil ich manche Mailbox (BBS) testen will. Manche bzw sehr viele Programmierer bieten ihre Programme auf Github an. Und die user sollen sich das Ding selbst kompilieren mit make makegnu gcc oder Visual Studio. Die Archive heißen dann BBS-Master. Das finde ich aber viel zu schwierig. in einem Makefile steht kaum was drin und dabei macht der Compiler schon nichts. Und erstellt er dann beim Makefile für windows EXE Dateien? Wie läuft die Compilierung von Makefiles ab? Muß man dazu ein Projekt erstellen? Ich habs mit cygwin probiert nd ein Compiler aufgerufen. Geht nicht.

@@schreibhecht Ja, um kompilieren zu können musst du vorher ein Projekt erstellen.

@@ossenbrueck Auch wenn ich ein fremdes Programm kompilieren will? Das hätte ich nicht erwartet.

@@schreibhecht du musst das Projekt in deine IDE importieren. Welche IDE nutzt du, IntelliJ IDEA?

Grüße, was bedeutet das?

Yepp! Totaler Mist!

​@@klausadams1150 komm zu mir in die Telegram-Gruppe via Handy über t.me/team_bitfuture - dann schauen wir uns das Problem an.

komm zu mir in die Telegram-Gruppe via Handy über t.me/team_bitfuture - dann schauen wir uns das Problem an.

@@ossenbrueck Dankeschön, aber es ist schon geklärt! Man muß ein Smartphone haben, weil man bei der Anmeldung einen QR-Code scannen muß. Telegram sendet keine SMS mehr aufs normale Handy. Gruss

@@klausadams1150 Danke für die Info. Dann werde ich bald ein neues Video dazu machen und dieses hier ersetzen.

Du brauchst ein Smartphone mit SIM-Karte und Kamera.

@@ossenbrueck ok dann gehts nicht ich mag sowas nicht.

Läuft oder gibt es Probleme?

Hallo Bot

Hi Anna, funktioniert dein Mikrofon in anderen Anwendungen auf dem gleichen Gerät ordnungsgemäß oder geht es in anderen Anwendungen auch nicht?

@@ossenbrueck danke, dass du so schnell geantwortet hast👍🏻😊 Das Problem ist behoben, musste nur die Desktop Version installieren 😅, und da wusste ich ja durch dein Video, wie es geht 👍🏻👍🏻👍🏻 Danke nochmal 😊

Hi Erna, möchtest du in einem bestehenden Datensatz ein Passwort generieren oder ein zweites Passwort in einem Datensatz hinterlegen?

@@ossenbrueck ​ @Kevin Ossenbrück hi kevin,so wie du es in deinem video beschrieben hast habe ich handynr. eingegeben, code bekommen und schon war ich bei telegram. nun erfahre ich jedoch, dass es besser ist ein zusätzliches passwort anzulegen.sorry, ich bin nicht so bewandert, was computer betrifft und denke, dass wohl eher der bestehende datensatz in frage kommt, da ich ja den code schon eingegeben habe. danke für deine hilfe

Guten Morgen@@ernaschulz4779 Du hast die Möglichkeit Telegram auf deinem Computer mit einem Pin Code absichern, damit der Zugriff auf das Programm, selbst wenn dein Windows Computer nicht gesperrt ist, durch ein extra Passwort gesichert ist. Ich antworte dir im Laufe des Tages, wie das funktioniert.

@@ossenbrueck danke für deine info und für deine hilfe

@@ernaschulz4779 In der Telegram-Desktop-Anwendung unter "Einstellungen" -> "Privatsphäre und Sicherheit" -> "Lokaler Pincode" - dort kannst du die PIN erstellen.

Hallo Carola, in welchem Format hast du deine Festnetznummer angegeben?

@@ossenbrueck hab jetzt nochmal von vorne begonnen. Festnetznummer mit Ländercode ohne die Null - genau wie es da steht - eingegeben. Anzeige: falsche Telefonnummer. Steht auch auf ebendieser Seite: Mobilfunknummer eingeben. Also geht es mit Festnetznummer definitiv nicht. Oder gibts noch einen Trick?

Die kommenden Videos werden dir dabei helfen ihn zu finden 😁👍

Hi Sean, kannst du einen Screenshot von dem Fehler auf de.imgbb.com/ oder imgur.com/ hochladen. Poste den Link zum Bild hier in die Kommentare, ich schaue sie mir dann an.

Danke für dein Feedback!

Den Job kannst du gerne übernehmen :P :P

Kommenden Monat!

Danke für dein Feedback! Das hilft mir sehr. Werde ich nacharbeiten.

PS: Die Videos zur Cygwin und Java JRE&SDK Installation folgt am Wochende.

Hallo Mdad0k, ➡️ NetBeans Installation: th-cam.com/video/p1M60KAdI7Q/w-d-xo.html ➡️ Eclipse Installation: th-cam.com/video/asaIzYVsLNA/w-d-xo.html ➡️ Cygwin Installation: th-cam.com/video/fLJPZxZ0c-4/w-d-xo.html

Nächstes Wochenende!

Du sagst es!

Freut mich, wenn ich dir Mehrwert mit diesem Video bieten kann.

Regelmäßig findest du neue Videos auf meinem Kanal.

Check 😎

Danke für dein Feedback Alex!

Aktiviere die Glocke, dann verpasst du kein Video mehr. Gruß Kevin

Danke für dein Feedback @jan.schmeckenbecher!