معلومة

Fastq-dump باستخدام mkfifo لدفق البيانات

Fastq-dump باستخدام mkfifo لدفق البيانات


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

لذلك ، fastq-dump لديه القدرة على أن يتم تشغيله فقط على رقم وصول ملف SRA ، مثل أن يتم تحويل SRA إلى FASTQ أثناء التنقل ، ولا يلزم كتابة SRA على القرص.

أشعر بالفضول فيما إذا كان من الممكن استخدام fastq-dump للكتابة إلى أنبوب مسمى (باستخدام mkfifo) وإدخال ذلك في برنامج آخر ، على سبيل المثال Trinity ، لتشغيل تجميع على ملف FASTQ دون الحاجة إلى كتابة كل ذلك. البيانات إلى القرص. بالنسبة لمجموعات البيانات الكبيرة ، يمكن لهذا في الواقع توفير قدر كبير من الوقت بشكل إجمالي.

هل فعل أحد شيء مشابه؟ سأحاول وأجرّب هذه التقنية قريبًا ، لكني أ) لا أعرف الكثير عن عملية mkfifo لتبدأ بها و ب) لست متأكدًا من كيفية عمل هذا الإجراء مع البيانات ذات النهاية المزدوجة حيث يتم تقسيم fastq-dump ملف SRA كما يذهب. كيف يمكن للمرء تحديد الإخراج الذي سيذهب إلى أي أنبوب؟

تحرير: مثال (افتراضي):

ملف mkfifo

fastq-dump SRR123456> fileStream

الثالوث - ملف واحد

يجب أن يأخذ ذلك بيانات fastq-dump ويدفقها إلى الأنبوب المسمى "fileStream" ، والذي يمكن استخدامه بعد ذلك لدفق البيانات إلى Trinity. لا أعرف ما يكفي عن جميع الأوامر ، مع ذلك ، لمعرفة ما إذا كان هذا منطقيًا.

سأرحب بأي أفكار من المستخدمين الأكثر خبرة!

تحرير: تمت إضافة التحديث كإجابة أدناه.


fastq-dump يمكن أن يكتب إلى stdout ؛ ال-Zالخيار يتيح لك القيام بذلك. هذا ، يمكنك توجيه أي عملية في اتجاه مجرى النهر. [مثال]. راجع أيضًا دليل مجموعة أدوات SRA.

أعتقد أن أحدهم طرح هذا السؤال في بيوستار أيضًا.


كما أشار WYSIWYG ، يمكن إخراج fastq-dump إلى STDOUT ، لذلك إذا كنت تريد دمجه مع الأنابيب المسماة ، فيمكنك القيام بما يلي:

mkfifo mydata.fifo fastq-dump -Z mydata.sra> mydata.fifo & cat mydata.fifo # أو أيًا كان rm mydata.fifo

إذا حاولت التقاط الإخراج من fastq-dump بدون-Zفشل معطلب غير شرعي (29)خطأ:

mkfifo mydata.fastq fastq- تفريغ mydata.sra &

بالمناسبة ، كن حذرًا في تحليلاتك النهائية: إذا تمت قراءة الإدخال أكثر من مرة ، فسوف يفشل البرنامج المعني في إعادة قراءته من الأنبوب الخاص بك. بالنسبة إلى البيانات أحادية النهاية و Trinity ، ربما لا يكون هذا هو الحال ، لكنني أظن أنه بالنسبة للبيانات ذات النهاية المزدوجة ، سيحاول Trinity قراءة ملفات الإدخال في أكثر من خطوة واحدة.


حسنًا ، بالنسبة للآخرين الذين قد يتعثرون في هذا الأمر ، إليك وصفًا موجزًا ​​لتطبيق واحد لهذه التقنية للتشغيل مع بيانات RNA-seq ذات النهاية المزدوجة:

fastq-dump SRA_file - تقسيم الملفات -I -Z | نقطة الإنطلاق> (grep '@. * . 1  s' -A3 - no-group -eparator> namedPipe_1)> (grep '@. * . 2  s' -A3 - no-group -eparator> namedPipe_2 )> / dev / null

يتطلب هذا أولاً إنشاء أنبوبين مسميين باستخدام mkfifo. بالنسبة إلى البيانات ذات النهاية المزدوجة ، فإن ملف-Zتصبح العلامة مشكلة لأنها تفرض البيانات في دفق واحد. هناك العديد من الطرق لاستعادة الزوجين ، لكن الطريقة التي اخترتها للقيام بذلك هي استخدام- تقسيم الملفاتلتفريق الدفق مسبقًا ،-أنالإلحاق ".1" أو ".2" بنهاية كل رأس ، ثم استخدمقمزةلتكرار الدفق بالإضافة إلى grep مع regex لتحليل المعلومات من كل زوج للخارج إلى أنابيب منفصلة للاستخدام في المصب.

لقد اختبرت هذا مع Trinity ، يعمل على كل أنبوب مسمى تمامًا كما أفعل مع ملف FASTQ ، ويبدو أنه يعمل بشكل جيد. على الرغم من أنني لست متأكدًا بنسبة 100٪ من أن Trinity لن يحاول العودة إلى ملفات FASTQ الأصلية ، فإن أول شيء تفعله Trinity هو أخذ ملفات FASTQ هذه وتحليلها إلى تنسيق FASTA ، والذي يتم دمجه لاحقًا في "both.fa" ، ولذا فأنا على ثقة تامة من أن هذا سينجح.

تحديث: لن يعمل هذا التنفيذ (على الأقل ، ليس بقدر ما أستطيع أن أقول) مع المكون الإضافي Trimmomatic لـ Trinity. يبدو أن شيئًا ما قد تم إفساده بسبب الطريقة التي يسحب بها Trimmomatic من التدفقات - مجرد ملاحظة تحذيرية ، لم أحسب السبب.



تعليقات:

  1. Elmo

    آسف ، لكن هذا الخيار لا يناسبني.

  2. Madison

    ما هذا؟

  3. Mooguktilar

    أنا أقبلها بسرور. موضوع مثير للاهتمام سوف أشارك فيه. معًا يمكننا الوصول إلى الإجابة الصحيحة.

  4. Kahla

    الجملة الخاصة بك ببراعة

  5. Osla

    أنا أحب هذا الموضوع

  6. Giannes

    يمكنني أن أوصي بالذهاب إلى الموقع ، حيث يوجد العديد من المقالات حول الموضوع الذي يثير اهتمامك.

  7. Birj

    أعتذر ولكن في رأيي أنت تعترف بالخطأ. يمكنني إثبات ذلك. اكتب لي في PM ، سنتعامل معها.

  8. Matsimela

    Senks للحصول على المعلومات ، واحترام منفصل لمحرك الأقراص والطنين! قون



اكتب رسالة