Bagaimana menggunakan kunci Shed dengan sistem berasaskan kafka?

Oct 29, 2025

Tinggalkan pesanan

Amanda Li
Amanda Li
Sebagai penganalisis kelestarian, saya memberi tumpuan kepada pelaksanaan amalan mesra alam dalam proses pengeluaran kami. Di Lianhu, kami komited untuk meminimumkan jejak alam sekitar kami.

Hei ada! Saya pembekal kunci Shed, dan hari ini saya ingin berbual tentang bagaimana anda boleh menggunakan kunci Shed dalam sistem berasaskan kafka. Ia mungkin terdengar sedikit teknikal, tetapi jangan risau, saya akan memecahkannya untuk anda dengan cara yang mudah.

Mula -mula, mari kita cepat pergi ke apa yang Kafka dan Kunci Shed. Kafka adalah platform streaming yang diedarkan yang sangat popular untuk mengendalikan suapan data masa sebenar. Ia membolehkan anda menerbitkan, melanggan, menyimpan, dan memproses aliran rekod. Sebaliknya,Kunci Kunciadalah alat yang hebat ketika datang untuk memastikan bahawa hanya satu contoh tugas berjalan pada satu masa dalam sistem yang diedarkan.

Jadi, mengapa anda mahu menggunakan kunci kandang dalam sistem berasaskan kafka? Nah, dalam persediaan Kafka, anda sering mempunyai banyak pengguna memproses mesej dari topik. Kadang -kadang, anda mungkin mempunyai tugas yang tidak sepatutnya berjalan serentak. Sebagai contoh, anda boleh mempunyai tugas yang mengemas kini sumber bersama berdasarkan mesej Kafka. Jika pelbagai contoh tugas ini dijalankan pada masa yang sama, ia boleh membawa kepada ketidakkonsistenan data atau isu -isu lain. Di situlah kunci Shed berguna.

Mengintegrasikan kunci gudang dengan kafka

Langkah pertama dalam menggunakan kunci Shed dengan sistem berasaskan kafka adalah untuk menambah kebergantungan yang diperlukan. Sekiranya anda menggunakan projek Java, anda boleh menambah kebergantungan kunci gudang ke andapom.xmlJika anda menggunakan Maven.

<ggantency> <groupid> net.javacrumbs.shedlock </groupId> <veadtifactid> shedlock-spring </artifactid> <version> 4.44.0 </version> </dependency>

Sebaik sahaja anda telah menambah kebergantungan, anda perlu mengkonfigurasi pembekal kunci. Terdapat pelbagai jenis pembekal kunci yang tersedia, seperti pangkalan data atau berasaskan redis. Untuk kesederhanaan, mari kita anggap kita menggunakan pembekal kunci berasaskan pangkalan data. Anda perlu menyediakan jadual dalam pangkalan data anda untuk menyimpan maklumat kunci.

Buat jadual shedlock (nama varchar (64), lock_until timestamp (3) null, locked_at timestamp (3) null, locked_by varchar (255), kunci utama (nama));

Dalam aplikasi Spring Boot anda, anda boleh mengkonfigurasi pembekal kunci seperti ini:

import net.javacrumbs.shedlock.core.lockprovider; import net.javacrumbs.shedlock.provider.jdbctemplate.jdbctemplateLockProvider; import org.springframework.context.annotation.bean; import org.springframework.context.annotation.configuration; import org.springframework.jdbc.core.jdbctemplate; import javax.sql.dataSource; @Configuration public class shedlockconfig {@bean public lockprovider lockProvider (datasource datasource) {return jdbctemplatplateLockProvider (jdbctemplateLockProvider.configuration.builder (). }}

Menggunakan kunci gudang dalam pengguna kafka

Sekarang kita mempunyai kunci Shed yang disediakan, mari kita lihat bagaimana kita boleh menggunakannya di pengguna Kafka kami. Katakan anda mempunyai pengguna Kafka yang memproses mesej dari topik dan mengemas kini sumber bersama. Anda boleh menggunakan@SchedulerlockAnotasi yang disediakan oleh Shed Lock untuk memastikan bahawa hanya satu contoh tugas berjalan pada satu masa.

import net.javacrumbs.shedlock.spring.annotation.schedulerlock; import org.springframework.kafka.annotation.kafkalistener; import org.springframework.stereotype.service; Kelas awam kelas awam KafKaconsumerService {@KafKalistener (topik = "anda - topik", groupId = "your - group - id") @schedullock (name = "kafkAconsumerTask", lockatmostfor = "pt10m" System.out.println ("Mesej yang diterima:" + Mesej); }}

Dalam kod di atas,@SchedulerlockAnotasi memastikan bahawaPenggunaKaedah dikunci selama sekurang -kurangnya 1 minit dan paling banyak 10 minit. ThenamaAtribut digunakan untuk mengenal pasti kunci.

Pertimbangan dan amalan terbaik

Apabila menggunakan kunci Shed dengan sistem berasaskan kafka, terdapat beberapa perkara yang perlu diingat.

21-62-2

  • Tempoh kunci: Anda perlu memilih dengan telitilockatmostfordanlockatleastfornilai. JikalockatmostforNilai terlalu pendek, kunci mungkin dikeluarkan sebelum tugas selesai, yang membawa kepada beberapa contoh yang berjalan pada masa yang sama. Jika terlalu lama, ia boleh menyebabkan kelewatan yang tidak perlu.
  • Pengendalian ralat: Anda harus mempunyai pengendalian ralat yang betul di tempatnya. Jika ralat berlaku semasa pelaksanaan tugas terkunci, kunci harus dibebaskan dengan anggun. Jika tidak, ia boleh membawa kepada keadaan kebuntuan.
  • Skalabiliti: Sebagai skala sistem Kafka anda, pastikan pembekal kunci dapat mengendalikan beban yang meningkat. Sebagai contoh, jika anda menggunakan pembekal kunci berasaskan pangkalan data, pastikan pangkalan data anda dapat mengendalikan permintaan kunci serentak.

Jenis kunci lain untuk kes penggunaan yang berbeza

ManakalaKunci KunciSangat bagus untuk memastikan pelaksanaan tugas tunggal, terdapat jenis kunci lain yang mungkin berguna dalam sistem berasaskan kafka. Contohnya, jika anda berurusan dengan kunci fizikal di pintu atau kandang di pusat data di mana infrastruktur kafka anda terletak, anda mungkin mempertimbangkanKunci giliran sukuatauKunci pintu bulat. Kunci ini boleh memberikan lapisan tambahan keselamatan untuk peralatan anda.

Kesimpulan

Menggunakan kunci Shed dengan sistem berasaskan Kafka boleh membantu anda mengelakkan ketidakkonsistenan data dan isu -isu lain yang boleh timbul daripada pelaksanaan tugas serentak. Dengan mengikuti langkah -langkah yang digariskan di atas, anda boleh mengintegrasikan kunci Shed dengan mudah ke dalam aplikasi Kafka anda. Sekiranya anda berminat untuk membeli kunci kualiti yang berkualiti tinggi atau mempunyai sebarang pertanyaan tentang bagaimana mereka boleh masuk ke dalam sistem Kafka anda, jangan ragu untuk menjangkau perbincangan perolehan. Kami di sini untuk membantu anda mencari penyelesaian terbaik untuk keperluan anda.

Rujukan

  • Dokumentasi Boot Spring
  • Dokumentasi Kafka
  • Repositori GitHub Kunci Kunci
Hantar pertanyaan